OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

El artículo presenta OmniVideo-R1, un nuevo marco reforzado que mejora el razonamiento multimodal en video mediante la combinación de estrategias de anclaje intensivo en consultas y fusión atenta a modalidades, logrando un rendimiento superior en diversas pruebas de comprensión audio-visual.

Lo esencial

Imagina que tienes un amigo muy inteligente, pero que a veces se distrae. Cuando le muestras un video, él puede describirte perfectamente lo que ve (un perro corriendo), pero si en el video el perro está ladrando, tu amigo podría ignorar el sonido y decirte que el perro está "en silencio". O peor aún, si le preguntas algo complejo, podría inventar una respuesta basándose solo en lo que cree que debería pasar, sin mirar realmente ni escuchar lo que hay en la pantalla.

Este es el problema que intenta resolver el OmniVideo-R1, un nuevo "entrenador" para la inteligencia artificial. Aquí te explico cómo funciona con una analogía sencilla:

El Problema: El "Ciego de Oídos"

La mayoría de las inteligencias artificiales actuales son como personas que tienen los ojos vendados cuando escuchan, o tapones en los oídos cuando ven. Aunque pueden ver y oír por separado, no saben unir ambas cosas para entender la historia completa. A veces, añadir el sonido incluso las confunde y hacen peores descripciones que si solo tuvieran el video.

La Solución: OmniVideo-R1

Los creadores de OmniVideo-R1 no solo le dieron más videos al modelo; le enseñaron cómo pensar. Imagina que el modelo es un detective y OmniVideo-R1 es su nuevo manual de instrucciones. Este manual tiene dos reglas de oro:

1. La Regla del "Detective con Lupa" (Grounding Intensivo)

Antes de responder, el detective debe señalar exactamente dónde y cuándo vio o escuchó la pista importante.

• La analogía: Imagina que te piden encontrar una aguja en un pajar. En lugar de adivinar, el modelo debe decir: "Mira aquí, en el minuto 2:15, se ve la aguja brillando".
• El truco: Como es muy caro y difícil pedirle a humanos que marquen cada segundo, el modelo se entrena a sí mismo. Se le pide: "Dime qué pasa en este trozo de video y luego descríbelo". Si su descripción coincide con lo que realmente sucede en ese trozo, gana puntos. Así, aprende a buscar pistas reales en lugar de alucinar.

2. La Regla del "Equipo Perfecto" (Fusión Atenta)

Aquí es donde la magia ocurre. El entrenador le dice al modelo: "Si usas solo tus ojos, puedes acertar. Si usas solo tus oídos, puedes acertar. Pero si usas ambos a la vez, ¡tienes que acertar mucho mejor!".

• La analogía: Piensa en un equipo de fútbol. Si tienes un delantero increíble (la vista) y un portero increíble (el oído), el equipo gana. Pero si el delantero ignora al portero, el equipo pierde.
• El truco: El modelo se enfrenta a un reto: responder a una pregunta solo con video, solo con audio, y con ambos. Si la respuesta con "ambos" no es mejor que las otras dos, el modelo recibe una "palmada en la mano" (una penalización). Esto lo fuerza a buscar la conexión mágica entre lo que ve y lo que oye. Por ejemplo, entender que un sonido de "crac" significa que un vaso se rompió, aunque no veas el vaso caer en ese preciso instante.

¿Qué pasó después del entrenamiento?

Después de estas dos etapas, el modelo se convirtió en un "super-detective":

1. No se distrae: Ya no ignora los sonidos importantes.
2. Es más preciso: No inventa cosas; busca la evidencia en el video y el audio.
3. No pierde sus habilidades: Lo mejor de todo es que, al aprender a unir todo, no se volvió "tonto" para ver videos sin sonido. Sigue siendo excelente en eso también.

En resumen

OmniVideo-R1 no es un modelo que simplemente "sabe más datos". Es un modelo que aprendió a pensar mejor. Aprendió a no saltar a conclusiones, a buscar pistas concretas en el tiempo y a entender que, para conocer la verdad de una escena, a veces necesitas ver el fuego y escuchar el crujido al mismo tiempo.

Es como pasar de tener un amigo que solo mira la película a tener un amigo que la vive, la escucha y la entiende en su totalidad.

Resumen técnico

Resumen Técnico: OmniVideo-R1

1. El Problema: La Paradoja Multimodal

Aunque la cognición humana integra naturalmente señales visuales y auditivas para comprender el entorno, los modelos de lenguaje multimodales (MLLMs) actuales enfrentan desafíos significativos en tareas de razonamiento audio-visual.

• Sesgo de Modality: Los modelos "omnimodales" de última generación (como la familia Qwen3-Omni) a menudo sufren de un sesgo inherente. Al incorporar el audio, el rendimiento en tareas puramente visuales o de razonamiento lógico suele degradarse en comparación con sus contrapartes solo visuales.
• Falta de Razonamiento Intermedio: Los métodos de entrenamiento posteriores (SFT o RL estándar) no entrenan explícitamente el comportamiento de localizar y componer evidencia a través de múltiples modalidades. Como resultado, los modelos pueden ignorar pistas decisivas (auditivas o visuales) y obtener respuestas correctas aprovechando sesgos del conjunto de datos o atajos unimodales, sin realmente "razonar" con la información multimodal.
• Limitación de Datos: Escalar datos de alta calidad mixtos y alinearlos con necesidades de razonamiento complejo es costoso y difícil de obtener con anotaciones de nivel de proceso.

2. Metodología: OmniVideo-R1

El paper propone OmniVideo-R1, un marco de entrenamiento basado en Aprendizaje por Refuerzo (RL) diseñado para mejorar el razonamiento multimodal mixto. El enfoque se basa en dos estrategias clave que permiten al modelo "pensar con pistas omnimodales":

A. Estructura de Entrenamiento (Dos Etapas)
El modelo se entrena utilizando el algoritmo GSPO (Group Sequence Policy Optimization) para optimizar el proceso de razonamiento completo en lugar de solo la respuesta final.

1. Etapa 1: Anclaje Intensivo a la Consulta (Query-Intensive Grounding - QI)

   • Objetivo: Enseñar al modelo a localizar y razonar sobre segmentos audio-visuales relevantes antes de generar una respuesta.
   • Innovación: Utiliza un esquema de aprendizaje auto-supervisado. Dado que las anotaciones de anclaje (grounding) son costosas, el modelo genera pares de "tiempo-captura" (time-caption) y se evalúa su consistencia interna contra descripciones textuales.
   • Mecanismo de Recompensa: Se recompensa la coherencia entre el segmento temporal seleccionado y su descripción, así como la completitud y precisión de la evidencia extraída para responder a la consulta. No se requieren anotaciones humanas de nivel de proceso.

2. Etapa 2: Fusión Atenta a la Modalidad (Modality-Attentive Fusion - MA)

   • Objetivo: Forzar al modelo a integrar sinérgicamente el audio y el video, evitando depender de una sola modalidad.
   • Innovación: Se utiliza una estrategia de aprendizaje contrastivo. Se compara el rendimiento del modelo con tres configuraciones de entrada: (i) Audio + Video, (ii) Solo Video, (iii) Solo Audio.
   • Mecanismo de Recompensa: Se otorga una recompensa de atención (attention reward) solo si el modelo obtiene una puntuación más alta (o igual) con la entrada multimodal completa en comparación con las entradas de modalidad única. Esto obliga al modelo a descubrir relaciones sinérgicas entre eventos visuales y sonoros.

B. Preparación de Datos

• Se construyó un corpus de alta calidad de 80,000 muestras audio-visuales mediante un pipeline de limpieza de tres etapas: evaluación de calidad (usando Gemini-2.5-Pro), filtrado heurístico y equilibrio categórico.
• Se filtraron muestras de baja calidad y se equilibraron las categorías para evitar sesgos, seleccionando un subconjunto de 12,887 muestras de alta dependencia audio-visual para la segunda etapa.

3. Contribuciones Clave

1. Primer Marco RL para Razonamiento Mixto: OmniVideo-R1 es el primer marco basado en RL diseñado específicamente para mejorar el razonamiento multimodal mixto, superando las limitaciones de los enfoques SFT o RL "vanilla".
2. Corpus de Datos Curado: Creación de un conjunto de datos de 80k muestras limpias y equilibradas, específicamente diseñado para tareas de razonamiento complejo.
3. Paradigma de Dos Etapas sin Anotaciones de Proceso: Introduce un enfoque que combina anclaje auto-supervisado y fusión contrastiva, permitiendo que el modelo aprenda intención de consulta y atención a la modalidad sin depender de anotaciones costosas de nivel de proceso.
4. Generalización Robusta: Demuestra que es posible mejorar el razonamiento audio-visual sin sacrificar el rendimiento en tareas puramente visuales.

4. Resultados Experimentales

El modelo fue evaluado sobre una base de modelos state-of-the-art (SOTA) tanto de código abierto como cerrados.

• Rendimiento Audio-Visual:

  • OmniVideo-R1 supera consistentemente a los modelos base y a otros SOTA.
  • En el benchmark Daily-Omni, alcanza un 82.8%, superando al modelo cerrado Gemini-3-Pro (81.1%) y al modelo de código abierto Video-SALMONN 2+-72B (79.4%).
  • En IntentBench, logra un 74.2%, superando a Gemini-3-Pro (71.5%).
  • En el benchmark desafiante OmniVideoBench, mejora un 21.1% sobre la base (Qwen3-Omni-30B-A3B), rompiendo el estancamiento de métodos anteriores que operaban cerca del azar.

• Rendimiento Solo Visual (Robustez):

  • A diferencia de otros modelos que degradan su rendimiento visual al añadir audio, OmniVideo-R1 mantiene o mejora su capacidad en benchmarks de video silencioso (Video-MME, MLVU, LVBench), demostrando que la integración multimodal no sacrifica la visión.

• Estudios de Ablación:

  • La eliminación de la etapa de anclaje (QI) o de la fusión contrastiva (MA) resulta en caídas significativas de rendimiento, confirmando que ambas etapas son complementarias y necesarias.
  • El modelo es insensible a superposiciones de marcas de tiempo numéricas, gracias a su aprendizaje implícito de la temporalidad.

5. Significado e Impacto

OmniVideo-R1 representa un avance significativo hacia la Inteligencia Artificial General (AGI) multimodal.

• Cambio de Paradigma: Demuestra que el rendimiento multimodal no se logra simplemente añadiendo más datos o capas, sino mediante la instilación de comportamientos de razonamiento robustos (localización de evidencia y fusión sinérgica).
• Eficiencia de Datos: Al utilizar aprendizaje auto-supervisado para el anclaje, reduce la dependencia de anotaciones humanas costosas, haciendo escalable el entrenamiento de modelos de razonamiento complejo.
• Aplicabilidad: El marco establece una base sólida para futuras investigaciones en comprensión de video, análisis de eventos y sistemas de IA que requieren una percepción holística del entorno, similar a la humana.

En resumen, OmniVideo-R1 logra que los modelos "piensen" activamente con pistas omnimodales, transformando la comprensión multimodal de una simple fusión de características a un proceso de razonamiento guiado por la intención de la consulta.