Resumen Técnico: ¿Realmente ven los Video-LLM? Diagnóstico de fallos en el seguimiento de personajes en videos de larga duración

Planteamiento del problema

Aunque los recientes modelos de lenguaje de video de código abierto (Video-LLMs) de 7–8B han alcanzado precisiones reportadas del 37–38% en la tarea de "apariencia global" de InfiniBench —que requiere identificar el orden cronológico de los cambios de vestuario de un personaje con nombre a través de un episodio completo de televisión— existe una incertidumbre crítica respecto a la fuente de este rendimiento. No está claro si estos modelos rastrean genuinamente la identidad del personaje a lo largo del tiempo o si dependen de heurísticas superficiales, como pistas de género, sesgos de posición o asociaciones memorizadas, para responder correctamente. El problema central es distinguir entre el verdadero seguimiento de personajes (vincular la evidencia visual a una entidad con nombre específica) y el emparejamiento de patrones superficial que produce puntuaciones altas en los benchmarks sin una comprensión real.

Metodología

Los autores proponen un protocolo de diagnóstico de nueve condiciones para desacoplar la precisión del benchmark de la capacidad real de seguimiento de personajes. La evaluación se centra en la división de validación de The Big Bang Theory (BBT) de InfiniBench (129 preguntas) y se extiende a Friends y Castle para un análisis transversal entre series.

Modelos evaluados:

• Código abierto (7–8B): InternVL2-8B, Qwen2.5-VL-7B y LLaVA-NeXT-Video-7B.
• Referencia de frontera: Gemini 2.5 Flash (evaluado en un subconjunto parcial debido a restricciones de la API).

Condiciones de diagnóstico:

1. MC Estándar: Video de episodio completo con preguntas de opción múltiple.
2. Solo texto: 16 fotogramas negros con el mismo prompt para aislar el tanteo basado en texto.
3. Fotogramas dirigidos: Reemplazar el muestreo uniforme por fotogramas de oráculo de las ventanas de cambio de vestuario de la verdad fundamental para probar si la falta de contenido visual es el cuello de botella.
4. Sustitución de nombre (Diagnóstico central): Cambiar el nombre del personaje en la pregunta por otro miembro del elenco principal manteniendo el video y las opciones idénticos. Un modelo con seguimiento real debería cambiar su respuesta; un modelo que ignora el nombre no debería hacerlo. Esto se descompone además en intercambios de mismo género frente a cambio de género.
5. Abierto (OE): Eliminar las opciones de selección múltiple y pedir descripciones de texto libre de la secuencia de vestuario.
6. Solo metadatos: Eliminar el video por completo para probar la contaminación por preentrenamiento (memorización).
7. Ablación de recuento de fotogramas: Variar el número de fotogramas (8, 16, 32, 64) para probar si el aumento de la entrada visual mejora el seguimiento.
8. Abstención: Añadir una opción de "No puedo determinarlo" para probar la calibración.
9. Ablación de subtítulos: Añadir texto de diálogo analizado para probar si la falta de contexto textual impulsa los fallos.

Métricas:

• Sensibilidad a la sustitución de nombre: El porcentaje de casos donde el modelo cambia la letra de su respuesta tras una sustitución de nombre.
• Precisión colectiva: La fracción de episodios en los que todos los problemas se responden correctamente.
• Sesgo de posición: Pruebas de chi-cuadrado contra la distribución uniforme para detectar la preferencia de letra.

Resultados clave

1. Baja sensibilidad al seguimiento de personajes

El hallazgo principal es que los modelos de código abierto ignoran en gran medida el nombre específico del personaje.

• Sustitución de nombre: Cuando se cambió el nombre del personaje, los modelos cambiaron su respuesta solo en el 4–31% de los casos (dependiendo del modelo y la serie). Esto es significativamente inferior al cambio cercano al 100% esperado si el modelo estuviera rastreando la identidad.
• Mecanismo de sesgo de género: La sensibilidad es impulsada casi enteramente por los cambios de género. Al cambiar un personaje masculino por uno femenino (o viceversa), la sensibilidad aumenta al 20–43%. Sin embargo, para los cambios de mismo género (por ejemplo, de Sheldon a Howard), la sensibilidad cae al 4–17%. Esto indica que los modelos utilizan pistas de género gruesas pero no pueden distinguir entre individuos del mismo género.

2. La brecha entre Opción Múltiple y Abierto

• Modelos de código abierto: Cuando se les obliga a generar respuestas sin opciones, la precisión cae entre 18 y 25 puntos porcentuales. Crucialmente, 0 de 151 respuestas abiertas de código abierto fueron totalmente correctas.
• Gemini 2.5 Flash: Muestra una brecha menor (12.2 puntos) y logró 14/52 respuestas abiertas totalmente correctas, lo que sugiere un vínculo de identidad más robusto, aunque todavía imperfecto.
• Implicación: Las altas puntuaciones de MC para los modelos de código abierto son en parte un artefacto del conjunto de opciones restringido, que permite el filtrado por género grueso para eliminar respuestas incorrectas.

3. Sesgo de posición y calibración

• Sesgo de posición: Los modelos de código abierto exhiben sesgos de letra fuertes y específicos del modelo (por ejemplo, LLaVA predice 'A' el 70% de las veces; InternVL2 y Qwen predicen 'E' ~40% de las veces), lo cual es estadísticamente significativo y no está relacionado con el contenido.
• Calibración: Los modelos rara vez usan la opción "No lo sé" (tasas de abstención <12%), lo que indica que no pueden identificar su propia incertidumbre.

4. Descarte de explicaciones alternativas

• Recuento de fotogramas: Aumentar los fotogramas de 16 a 32 mejoró la precisión general pero no mejoró la sensibilidad a la sustitución de nombre. El cuello de botella no es la cantidad de datos visuales, sino el vínculo de esos datos con la entidad nombrada.
• Subtítulos: Añadir texto de diálogo no mejoró el rendimiento, descartando la falta de contexto textual como el principal modo de fallo.
• Memorización: Las líneas base de solo metadatos puntuaron a niveles de azar (~20%), descartando que la memorización del preentrenamiento de títulos de series o atuendos canónicos sea el motor del éxito.
• Estructura de anotación: El estudio encontró que la "dificultad" varía según la serie debido a la interacción entre la duración del episodio y los presupuestos fijos de fotogramas (por ejemplo, los episodios de Castle son más largos, lo que causa que el muestreo uniforme pierda cambios de vestuario con más frecuencia que en BBT). Esto es un artefacto estructural, no un problema de capacidad del modelo.

5. Precisión colectiva

A pesar de las puntuaciones agregadas de ~38%, 0 de 20 episodios de BBT fueron respondidos correctamente en su totalidad por cualquiera de los tres modelos de código abierto. Esto confirma que las respuestas correctas son tanteos dispersos en lugar de evidencia de comprensión a nivel de episodio.

Contribuciones clave

1. Protocolo de diagnóstico: Un marco de nueve condiciones que separa la precisión del benchmark de la capacidad de seguimiento de personajes, destacando específicamente el papel de la sustitución de nombres y la descomposición de género.
2. Evidencia empírica de fallo: Demostración de que los Video-LLM actuales de 7–8B no rastrean robustamente la identidad del personaje, apoyándose en lugar en pistas de género gruesas y sesgos de posición.
3. Lanzamiento de toolkit: Los autores lanzan un kit de herramientas de diagnóstico para auditar las afirmaciones de seguimiento de personajes en futuros benchmarks de Video-LLM.
4. Implicaciones en el diseño de benchmarks: Recomendaciones para reportar la invarianza a la sustitución de nombres, las estadísticas de anotación por episodio y la brecha MC-OE para evitar puntuaciones agregadas engañosas.

Significancia y Reivindicaciones

El artículo afirma que el progreso reportado en los benchmarks de Video-LLM (por ejemplo, 37–38% de precisión) es engañoso respecto a la capacidad específica de seguimiento de personajes. Los autores argumentan que estas puntuaciones reflejan la capacidad de un modelo para filtrar por género y adivinar basándose en el sesgo de posición, en lugar que la capacidad de "ver" y seguir a un personaje específico a través de un video largo.

El estudio concluye que las mejoras actuales en los Video-LLM (escalado de características visuales, razonamiento y longitud de contexto) no están abordando el cuello de botella fundamental: vincular la identidad visual con los tokens de lenguaje. Los autores enfatizan que sin abordar este mecanismo de vinculación, los Video-LLM seguirán fallando en tareas que requieren un verdadero seguimiento de identidad temporal, independientemente de las puntuaciones agregadas de los benchmarks. El trabajo sirve como un diagnóstico cauteloso para el campo, instando a un cambio de las métricas de precisión agregada hacia evaluaciones sensibles a la identidad.