OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

El artículo presenta OmniVideoBench, un nuevo benchmark a gran escala diseñado para evaluar de manera rigurosa la comprensión sinérgica audio-visual en modelos de lenguaje multimodal mediante 1000 pares de preguntas y respuestas de alta calidad derivados de videos diversos, revelando una brecha significativa entre el rendimiento de los modelos actuales y el razonamiento humano.

Lo esencial

¡Hola! Imagina que los modelos de inteligencia artificial (IA) son como estudiantes muy inteligentes que han leído millones de libros y visto miles de películas. Pero, hasta ahora, estos estudiantes tenían un problema: cuando les mostrabas una película, a menudo ignoraban el sonido o no entendían cómo el sonido y la imagen trabajaban juntos.

Aquí te explico el paper "OmniVideoBench" como si fuera una historia, usando analogías sencillas:

1. El Problema: El Estudiante que Solo Mira, No Escucha

Imagina que estás en una clase de cine. El profesor pone una película donde un personaje susurra un secreto mientras hace un gesto con la mano.

• Los modelos antiguos (y algunos actuales): Se enfocan tanto en la imagen que dicen: "¡Vi que movió la mano! ¡Eso es todo!". Ignoran el susurro.
• Otro problema: A veces, las pruebas que usábamos para evaluarlos eran como exámenes de "rellenar huecos" muy fáciles, donde la respuesta estaba escrita en la pregunta misma. No medían si realmente entendían la película, solo si podían adivinar.

El equipo de NJU-LINK (de la Universidad de Nanjing) dijo: "¡Alto ahí! Necesitamos un examen que obligue a la IA a escuchar y ver al mismo tiempo, y a pensar lógicamente sobre cómo se conectan ambas cosas".

2. La Solución: El "Examen de Cine" Definitivo (OmniVideoBench)

Han creado un nuevo banco de pruebas llamado OmniVideoBench. Imagina que es una gymkana gigante diseñada para entrenar y probar a estos estudiantes de IA.

• El Material: No usaron clips de 5 segundos. Usaron 628 videos reales (noticias, documentales, vlogs, deportes) que duran desde unos segundos hasta 30 minutos. Es como pedirle a un estudiante que analice una película completa, no solo un fotograma.
• Las Preguntas: Crearon 1,000 preguntas muy difíciles. No son del tipo "¿De qué color es el coche?". Son del tipo: "Si el personaje no hubiera dicho esa frase en el audio, ¿qué habría pasado con el objeto que estaba en la pared?".
• La Magia (El Razonamiento): Lo más genial es que cada pregunta viene con un "mapa de pensamiento". No solo tienen la respuesta correcta, sino que explicaron paso a paso cómo se llegó a ella: "Paso 1: Escuché la risa (audio). Paso 2: Vi que la persona se tapaba la boca (video). Paso 3: Concluyo que está escondiendo algo". Esto es como tener el libro de respuestas con la explicación del profesor.

3. La Prueba de Fuego: ¿Cómo les fue a los estudiantes?

Cuando pusieron a los modelos de IA más famosos (como Gemini, Qwen, etc.) a hacer este examen, los resultados fueron un poco... decepcionantes, pero reveladores.

• La Brecha Humana: Los humanos obtuvieron un 82% de aciertos. ¡Los mejores modelos de IA apenas llegaron al 59%! Es como si un estudiante de secundaria (la IA) estuviera intentando competir contra un doctor (el humano) en un examen de medicina.
• El Problema de la Música: A las IAs les va terriblemente mal cuando hay música de fondo. Si la película tiene una canción triste, la IA no entiende que la escena es triste; solo ve caras. Los humanos, en cambio, conectan la melodía con la emoción instantáneamente.
• Videos Largos: Cuando los videos son muy largos (más de 10 minutos), la IA se pierde. Es como si le pidieras a alguien que recuerde todos los detalles de una novela de 500 páginas después de leerla una sola vez; se les olvida el principio.

4. ¿Por qué es importante esto?

Piensa en OmniVideoBench como un entrenador personal estricto.
Antes, las IAs podían "hacer trampa" en los exámenes antiguos. Ahora, con este nuevo banco de pruebas, no pueden ignorar el sonido ni saltarse detalles importantes.

• El objetivo: Que las IAs dejen de ser "ciegas y sordas" y se conviertan en verdaderos detectives multimodales que entienden el mundo tal como lo hacemos nosotros: viendo, escuchando y conectando los puntos.

En resumen

Este paper nos dice: "Tenemos una nueva herramienta de evaluación muy estricta que demuestra que, aunque las IAs son inteligentes, todavía les falta mucho para entender la complejidad de los videos reales, especialmente cuando hay que combinar lo que se ve con lo que se oye".

Es un paso necesario para que, en el futuro, tu IA no solo te diga "hay un perro en la pantalla", sino que te explique: "El perro está ladrando porque el sonido de la puerta indica que alguien se acerca, y su postura sugiere que está asustado".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs", presentado por el equipo NJU-LINK.

1. El Problema

A pesar de los avances recientes en Modelos de Lenguaje Multimodales Grandes (MLLMs) en la comprensión de video, existen deficiencias críticas en los métodos de evaluación actuales:

• Falta de Sinergia Audio-Visual: Los benchmarks existentes a menudo evalúan la visión o el audio por separado, o los integran de manera inconsistente, fallando en medir la capacidad de razonamiento sinérgico entre ambas modalidades.
• Dependencia de Clips Cortos: Muchas pruebas se centran en clips de video breves, lo que no captura las dependencias temporales a largo plazo ni la complejidad de escenas dinámicas prolongadas.
• Tratamiento del Audio como Secundario: En muchos casos, el audio se trata como un complemento opcional en lugar de un componente esencial para la inferencia lógica.
• Brecha de Rendimiento: No existe una evaluación rigurosa que determine si los modelos actuales pueden realizar un razonamiento genuino basado en la complementariedad de modalidades, especialmente en videos de larga duración y contextos diversos.

2. Metodología

El equipo desarrolló OmniVideoBench, un benchmark de gran escala diseñado específicamente para evaluar la comprensión colaborativa de audio y visión.

Recolección de Datos

• Fuentes: Se recopilaron 628 videos reales de YouTube y Bilibili.
• Diversidad: Los videos abarcan 8 categorías principales (Vlogs, Noticias, Dibujos Animados, Deportes, Documentales, TV, Ego-centric y Otros) y 68 subcategorías.
• Duración: La longitud varía desde unos pocos segundos hasta 30 minutos, permitiendo evaluar el razonamiento en diferentes escalas temporales.
• Criterios de Calidad: Se excluyeron videos con subtítulos incrustados (para evitar que el modelo "lea" el audio), videos estáticos o con audio irrelevante, y se priorizaron publicaciones recientes (post-junio 2024) para evitar contaminación con datos de entrenamiento existentes.

Anotación y Construcción del Dataset

• Pares Pregunta-Respuesta (QA): Se crearon 1,000 pares QA de alta calidad.
• Tipos de Tareas: Se definieron 13 tipos de tareas, incluyendo: percepción granular, razonamiento espacial, comparación de atributos, comprensión de fondo y música, conteo, comprensión temporal, resumen, análisis de sentimientos, razonamiento causal, razonamiento de relaciones, razonamiento de referencia, razonamiento ego-céntrico y razonamiento hipotético.
• Cadenas de Razonamiento (Reasoning Traces): Cada respuesta incluye una cadena de razonamiento paso a paso, donde cada paso especifica explícitamente:
  1. Modalidad: Si la evidencia proviene de audio (A) o visión (V).
  2. Evidencia: La información específica extraída.
  3. Inferencia: La deducción lógica.
• Garantía de Calidad: Se implementó un proceso riguroso de filtrado:
  1. Filtrado por MLLM (Gemini 2.0 Flash) para eliminar preguntas resolubles con una sola modalidad.
  2. Filtrado por LLM (DeepSeek-V3.1) para eliminar preguntas resolubles solo con conocimiento textual o pistas textuales.
  3. Revisión manual para asegurar la unicidad de la respuesta y la corrección de las cadenas de razonamiento.

3. Contribuciones Clave

1. Primer Benchmark Específico para Razonamiento Sinérgico: OmniVideoBench es el primer conjunto de datos que exige explícitamente la integración lógica de audio y visión para responder preguntas, evitando la dependencia de una sola modalidad.
2. Escala y Diversidad: Con videos de hasta 30 minutos y una distribución equilibrada de tipos de audio (habla, sonidos ambientales, música), cubre desafíos que los benchmarks anteriores ignoran.
3. Anotación de Razonamiento Explicativo: La inclusión de trazas de razonamiento paso a paso permite no solo evaluar la respuesta final, sino analizar cómo el modelo razona y qué modalidades utiliza en cada paso.
4. Evaluación Exhaustiva de Modelos: Se evaluaron tanto modelos de código abierto (Qwen3-Omni, Qwen2.5-Omni, Baichuan-Omni, etc.) como modelos propietarios (Gemini series), estableciendo una línea base clara para el estado del arte.

4. Resultados Principales

La evaluación en OmniVideoBench reveló brechas significativas entre el rendimiento de los modelos y el razonamiento humano:

• Rendimiento General: Ningún modelo actual alcanza una puntuación de aprobación (>60%). El mejor modelo, Gemini-2.0-Pro, obtuvo un 58.90% de precisión. Los modelos de código abierto, en general, rindieron cerca del azar.
• Desafío de la Música: Los modelos tienen dificultades significativas con videos que contienen música. Por ejemplo, Gemini-2.5-Pro obtuvo solo un 38.46% en tareas de música, frente a un 61.66% en habla. Esto sugiere que los modelos luchan para traducir señales acústicas abstractas (estilo, tempo) en razonamiento lógico.
• Límites en Videos Largos: Aunque algunos modelos líderes muestran cierta robustez, la mayoría (incluyendo Qwen3-Omni y Gemini-2.0-Flash) tienen un rendimiento pobre en videos de larga duración, indicando problemas en la gestión de contextos temporales extensos.
• Dependencia de ASR: Al evaluar modelos solo visuales con transcripciones de reconocimiento automático de voz (ASR), se observó que el ASR ayuda en tareas de habla, pero es insuficiente para comprender música o sonidos ambientales, confirmando que la comprensión de audio nativa es irremplazable.
• Rendimiento Humano: Los humanos alcanzaron un 82.69% de precisión, destacando la gran brecha que aún existe para que las IA alcancen capacidades de razonamiento multimodal humano.
• Formato de Pregunta: El rendimiento cae drásticamente en preguntas de respuesta abierta (Open-ended) en comparación con preguntas de opción múltiple (MCQ), lo que sugiere que los modelos podrían estar adivinando o aprovechando pistas en las opciones en lugar de razonar genuinamente.

5. Significado e Impacto

OmniVideoBench establece un nuevo estándar para la evaluación de MLLMs "Omni" (capaces de procesar cualquier combinación de modalidades). Sus hallazgos indican que:

• La integración real de audio y visión es un desafío mucho mayor de lo que los benchmarks actuales sugieren.
• Existe una necesidad urgente de mejorar la capacidad de los modelos para entender señales acústicas no semánticas (como la música) y para mantener el razonamiento coherente a lo largo de secuencias temporales largas.
• El benchmark servirá como una herramienta crucial para guiar el desarrollo de futuras arquitecturas de modelos multimodales más robustas, generalizables y capaces de un razonamiento profundo similar al humano.

El equipo ha comprometido la liberación del dataset y el código para fomentar la investigación en esta área.