🤖 AI

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

Este artículo introduce la Brecha de Dependencia Visual (VDG, por sus siglas en inglés) para demostrar que la alta precisión en los puntos de referencia de los modelos de lenguaje de gran tamaño para video a menudo proviene de prioridades lingüísticas en lugar de una comprensión visual genuina, revelando que el orden temporal contribuye mínimamente al rendimiento mientras que la diversidad de fotogramas impulsa la mayoría de las mejoras.

Autores originales: Jae Joong Lee

Publicado 2026-07-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jae Joong Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a entender el mundo. Le das una cámara y un cerebro, y le haces preguntas sobre lo que ve. Durante mucho tiempo, los científicos han medido qué tan "inteligentes" son estos robots dándoles una prueba: muéstrales un video, hazles una pregunta y mira si obtienen la respuesta correcta. Si el robot obtiene una puntuación alta, asumimos que realmente está "viendo" y comprendiendo el video. Pero aquí está el truco: el hecho de que un robot obtenga la respuesta correcta no significa que haya mirado la imagen. Podría simplemente haber adivinado basándose en las palabras de la pregunta, como un estudiante que sabe que el profesor siempre pregunta sobre "gatos" los martes y simplemente responde "gato" sin mirar la pizarra. Este artículo se sumerge en el mundo desordenado y confuso de los "Modelos de Lenguaje de Video" (Video Large Language Models)—computadoras superinteligentes que pueden leer texto y ver videos—para hacer una pregunta aterradora: ¿estos robots realmente están viendo las películas, o solo son muy buenos adivinando las respuestas usando solo el texto?

Los investigadores decidieron jugarle una pequeña broma a veinte robots diferentes que ven videos, que van desde diminutos hasta masivos con cerebros enormes. Tomaron una prueba estándar llamada MVBench, que tiene cientos de preguntas sobre videos, y ejecutaron la prueba dos veces para cada pregunta. La primera vez, le mostraron al robot el video real. La segunda vez, le mostcieron exactamente la misma pregunta, pero el video fue reemplazado por una pantalla negra sólida. Si el robot estuviera realmente "viendo", su puntuación debería caer casi a cero cuando el video desaparece. Si el robot seguía obteniendo las respuestas correctas incluso con una pantalla negra, significaba que no estaba mirando en absoluto; solo estaba usando trucos del lenguaje para adivinar.

Los resultados fueron un poco impactantes. El equipo descubrió que, para muchas preguntas, los robots se desempeñaban casi exactamente igual si estaban viendo un video o mirando un vacío negro. Introdujeron una nueva forma de medir esto llamada "Brecha de Dependencia Visual" (Visual Dependency Gap o VDG), que es básicamente la diferencia entre qué tan bien lo hace un robot con un video frente a uno sin él. Descubrieron que para ciertos tipos de preguntas, como "¿De qué color es el coche?" (Percepción de Atributos), los robots realmente necesitaban el video para acertar. Pero para otros tipos, como "¿Qué sucede después?" (Razonamiento Temporal), los robots obtenían las respuestas correctas incluso cuando la pantalla estaba negra. Esto significa que las preguntas de la prueba no estaban probando realmente si los robots entendían el tiempo o la secuencia; solo estaban probando si los robots podían adivinar la respuesta basándose en la redacción de la pregunta.

Los investigadores también intentaron averiguar por qué los robots obtenían estas respuestas. Descompusieron el video en diferentes partes: solo un único fotograma, un montón de fotogramas desordenados y el video completo con el tiempo avanzando. Descubrieron que a los robots no les importaba en absoluto el orden de los eventos. Ya fuera que el video se reprodujera hacia adelante, hacia atrás o fuera un desastre de imágenes mezcladas, los robots obtenían la misma puntuación. Lo único que parecía ayudar era ver diferentes imágenes (diversidad de fotogramas), no verlas en el orden correcto. De hecho, para algunos de los modelos más nuevos y avanzados, el video de entrada parecía confundirlos, haciendo que se desempeñaran ligeramente peor que si simplemente hubieran ignorado el video por completo y adivinaran basándose en el texto.

Uno de los hallazgos más interesantes fue sobre cómo estos robots manejan la compresión. Normalmente, si exprimes un archivo de video para hacerlo más pequeño, la calidad empeora. Los investigadores esperaban que, si un robot estuviera realmente "viendo", un video borroso y comprimido lo haría fallar. Pero las puntuaciones de los robots se mantuvieron planas y estables incluso cuando el video estaba fuertemente comprimido. El equipo se dio cuenta de que esto no era porque los robots fueran súper robustos; era porque las preguntas eran tan fáciles de adivinar a partir del texto que los robots no necesitaban los detalles visuales en absoluto. La "robustez" era una ilusión creada por malas preguntas de prueba.

Finalmente, observaron cómo estos robots cambiaban a medida que se hacían más grandes y más inteligentes. Encontraron que, si bien los modelos más grandes generalmente mejoraban en el uso del video, algunos de los modelos más nuevos en realidad se volvían peores en el uso de la información visual. Un modelo, Qwen3-VL, parecía haber olvidado cómo usar los fotogramas de video de manera efectiva, dependiendo casi totalmente de adivinar a partir del texto, aunque sus puntuaciones generales en la prueba parecían buenas. El artículo concluye que ya no podemos confiar ciegamente en las puntuaciones de las tablas de clasificación. Una puntuación alta no significa que un robot sea un gran observador; puede significar que es un gran adivinador. Para saber si un robot realmente está viendo, necesitamos verificar si falla cuando la pantalla se pone negra. Si no falla, es que no estaba mirando en primer lugar.

Resumen Técnico: Precisión Sin Anclaje

Planteamiento del Problema

El supuesto prevalente en la evaluación de modelos de lenguaje de gran tamaño (LLM) de video es que una mayor precisión en los benchmarks equivale a una mayor comprensión visual. Este artículo desafía ese supuesto, argumentando que la precisión en los benchmarks a menudo confunde el anclaje visual genuino con la explotación de prioridades lingüísticas (solubilidad basada solo en texto). Si bien trabajos previos han identificado que algunas preguntas de video pueden responderse sin visión, estos estudios no han cuantificado este fenómeno por pregunta ni han demostrado estadísticamente que la precisión y la dependencia visual sean ejes separables. En consecuencia, las mejoras en las tablas de clasificación pueden señalar un mejor modelado de lenguaje en lugar de un progreso genuino en el razonamiento espacio-temporal.

Metodología

Los autores introducen la Brecha de Dependencia Visual (VDG, por sus siglas en inglés), una métrica diagnóstica por pregunta definida como la diferencia en la corrección entre una condición de video original y una condición de pantalla negra (donde todos los fotogramas se reemplazan por imágenes negras sólidas, preservando el texto y las opciones).
$VDG(q) = \mathbb{1}[\text{correcto}_{\text{original}}] - \mathbb{1}[\text{correcto}_{\text{pantalla\_negra}}]$
El estudio evalúa 20 video LLMs que abarcan de 2 a 78 mil millones de parámetros y 10 familias de arquitecturas (incluyendo modelos de pesos abiertos como Qwen, InternVL, LLaVA y modelos de API propietarios como GPT-4o y Gemini) a través de tres benchmarks: Video-MME, MVBench y EgoSchema.

Los protocolos experimentales clave incluyen:

Prueba de Disociación de McNemar: Se aplican pruebas de McNemar pareadas a los resultados de corrección binaria para determinar si los modelos difieren en su dependencia visual independientemente de la precisión general.
Escalera Diagnóstica de Cuatro Condiciones: Para descomponer la dependencia visual, los autores prueban los modelos bajo cuatro condiciones: (1) Pantalla negra, (2) Fotograma único (repetido), (3) Fotogramas mezclados (contenido diverso, sin orden temporal) y (4) Video original. Esto aísla las contribuciones del reconocimiento espacial, la diversidad de fotogramas y el ordenamiento temporal.
Análisis de Robustez a la Compresión: Los videos se re-codifican con H.264 en niveles de CRF variables (18–38) para probar si la estabilidad de la precisión agregada enmascara cambios bidireccionales en las respuestas.
Ablación de FPS: Las tasas de fotogramas se varían de 0.5 a 24 FPS para descartar que la escasez de fotogramas sea una causa de las bajas puntuaciones de razonamiento temporal.

Contribuciones Clave

Disociación Estadística de la Precisión y el Anclaje: Utilizando pruebas de McNemar pareadas, el artículo demuestra que la precisión y la dependencia visual son estadísticamente separables. Por ejemplo, en MVBench, InternVL2-8B supera significativamente a Qwen2-VL-7B en el video original ( $p=0.0003$ ) pero es estadísticamente indistinguible en pantallas negras ( $p=0.53$ ).
Espectro de VDG por Tipo de Tarea: Los autores establecen una jerarquía estable de dependencia visual a través de los tipos de tareas. La Percepción de Atributos es la categoría más anclada visualmente (VDG $\approx$ 0.41), mientras que el Razonamiento Temporal se acerca a la línea base de solo lenguaje (VDG $\approx$ 0.06). Este ranking se mantiene constante a través de 20 modelos y tres benchmarks distintos.
Descomposición de Señales Visuales: La escalera diagnóstica revela que la diversidad de fotogramas (observar múltiples fotogramas distintos) suministra la gran mayoría del beneficio visual, mientras que el orden temporal contribuye con una precisión cercana a cero en 16 modelos de pesos abiertos.
Ilusión de Robustez a la Compresión: El estudio demuestra que las curvas de precisión planas bajo la compresión H.264 son artefactos de una cancelación bidireccional (las preguntas que pasan de correctas a incorrectas se cancelan con las que pasan de incorrectas a correctas), en lugar de una verdadera robustez del modelo. Las preguntas que son sensibles a la compresión están desproporcionadamente ancladas visualmente.

Resultados Clave

Disociación: Los modelos que mejor se desempeñan en el video original no necesariamente se desempeñan mejor en pantallas negras, lo que indica que las clasificaciones en las tablas suelen reflejar la explotación de prioridades lingüísticas en lugar de la capacidad visual.
Fallo del Razonamiento Temporal: En todos los modelos, el ordenamiento temporal proporciona ganancias de precisión insignificantes. El VDG para las tareas de razonamiento temporal es cercano a cero, lo que sugiere que los benchmarks actuales no evalúan eficazmente la comprensión temporal.
Dominancia de la Diversidad de Fotogramas: El "delta de diversidad" (ganancia de precisión de fotogramas mezclados frente a fotograma único) es la señal visual dominante (oscilando entre +0.075 y +0.185), mientras que el "delta temporal" (original frente a mezclado) es cercano a cero.
Regresión Generacional: Aunque el escalado generalmente mejora el VDG (por ejemplo, el escalado de Qwen2.5-VL de 3B a 7B aumenta el VDG de 0.210 a 0.297), la serie más reciente Qwen3-VL muestra una regresión en el VDG (por ejemplo, el VDG de Qwen3-VL-8B es de 0.107 frente al 0.297 de Qwen2.5-VL-7B). Esto se atribuye a un colapso en la extracción de la diversidad de fotogramas ( $\Delta_{diversidad} \approx 0.034$ ), a pesar de una mayor precisión en pantalla negra (fuertes prioridades de lenguaje).
Artefactos de Cuantización: Los modelos grandes (ej. InternVL2.5-78B) bajo cuantización de 4 bits pueden exhibir un VDG negativo o cero, indicando que su precisión en el benchmark está impulsada enteramente por las prioridades del lenguaje.
Generalización entre Benchmarks: La taxonomía de niveles de VDG (Percepción > Acción > Temporal/Lingüística) predice con éxito el rendimiento por tipo de tarea en EgoSchema, un benchmark con cero solapamiento de la fuente de video con los datos de entrenamiento, confirmando la generalizabilidad de la métrica.

Significado y Reivindicaciones

El artículo sostiene que la precisión de los benchmarks es un mal indicador del anclaje visual. Los autores argumentan que el campo corre el riesgo de optimizar la explotación de prioridades lingüísticas en lugar de una comprensión visual genuina. Al introducir el VDG como un instrumento de auditoría estándar, el artículo busca:

Distinguir entre modelos que realmente dependen de la entrada visual y aquellos que resuelven tareas mediante el texto.
Revelar que los benchmarks actuales de "Razonamiento Temporal" fallan mayormente en probar la comprensión temporal, ya que el ordenamiento temporal contribuye con una precisión cercana a cero.
Destacar que la "robustez" ante la compresión es a menudo una ilusión causada por la composición del benchmark en lugar de la capacidad del modelo.

Los autores posicionan el VDG no como una medida de la capacidad del modelo, sino como un diagnóstico de la validez del benchmark. Concluyen que, para que los benchmarks de video midan la capacidad anclada visualmente, deben ir más allá de la precisión agregada e incorporar diagnósticos como el VDG para asegurar que las preguntas requieran entrada visual. El código y las anotaciones se han puesto a disposición pública para facilitar esta auditoría.