Resumen Técnico: NARRATIVETRACK

1. Planteamiento del Problema

A pesar de los avances significativos de los Modelos de Lenguaje Multimodales Grandes (MLLMs) en el razonamiento visión-lenguaje, su capacidad para comprender narrativas que se desarrollan temporalmente en videos sigue siendo poco explorada. La comprensión narrativa requiere más que reconocer eventos aislados; exige mantener representaciones coherentes de "quién hace qué, cuándo y dónde" a través de transiciones de escena y brechas temporales.

Los desafíos actuales incluyen:

• Limitaciones de los Benchmarks existentes: La mayoría se centra en clips cortos, reconocimiento local o resúmenes globales, sin evaluar si los modelos rastrean entidades de manera consistente a lo largo de una narrativa compleja.
• Falta de Razonamiento Temporal Real: Muchos benchmarks actuales pueden resolverse utilizando pistas visuales estáticas o priores lingüísticos, sin necesidad de un verdadero razonamiento temporal.
• Compensación (Trade-off) no resuelta: Existe una tensión entre la anclaje perceptual (reconocer detalles visuales) y la continuidad temporal (mantener la identidad de una entidad en el tiempo).

2. Metodología

A. NARRATIVETRACK: El Nuevo Benchmark

Los autores introducen NARRATIVETRACK, el primer benchmark diseñado para evaluar la comprensión narrativa en MLLMs mediante un enfoque centrado en entidades y de abajo hacia arriba. En lugar de evaluar resúmenes de escenas, descomponen los videos en sus entidades constituyentes (principalmente humanos) y evalúan cómo los modelos razonan sobre su continuidad y evolución temporal.

El benchmark se basa en una Progresión de Razonamiento Composicional (CRP) que aumenta la complejidad narrativa en tres dimensiones:

1. Existencia de la Entidad: Evalúa la continuidad temporal básica. ¿Puede el modelo rastrear la presencia, desaparición y reaparición de una entidad?
2. Cambios de la Entidad: Evalúa la integración de la continuidad temporal con el anclaje perceptual. Incluye cambios de:
   • Acción: Evolución dinámica de eventos.
   • Vestimenta: Transiciones perceptuales finas.
   • Escena: Vinculación de la entidad con contextos ambientales.
3. Ambigüedad de la Entidad: Introduce entidades visualmente similares para desafiar la desambiguación perceptual fina bajo dinámicas temporales.

B. Pipeline Automatizado de Entidades

Para construir el benchmark de manera escalable sin supervisión humana costosa, desarrollaron un pipeline totalmente automatizado en tres etapas:

1. Detección de Entidades: Utiliza un ensamble de modelos de detección (Detectron2 y Owlv2) con una estrategia de consenso espacial para mejorar la precisión y evitar fusiones erróneas.
2. Rastreo de Entidades: Identifica a los personajes principales agrupando embeddings de cajas delimitadoras mediante modelos de Re-identificación (ReID) y refina la consistencia de identidad mediante reconocimiento facial y votación por mayoría de modelos MLLM.
3. Reconocimiento Contextual: Utiliza un modelo MLLM avanzado (Gemini-2.5-Pro) para inferir atributos contextuales (acción, vestimenta, escena) para cada trayectoria de entidad, generando representaciones temporales estructuradas.

C. Generación de Preguntas y Respuestas (QA)

Las preguntas se generan programáticamente a partir de las metadatos estructurados extraídos. Se utilizan plantillas alineadas con la CRP para crear tres formatos: binario, opción múltiple y ordenamiento cronológico. Se incluyen dos tipos de distractores:

• Reales: Entidades de otros personajes dentro del mismo video (prueba de discriminación fina).
• Sintéticos: Entidades de videos diferentes (prueba de robustez ante alucinaciones).

3. Contribuciones Clave

• Primer Benchmark Centrado en Entidades: NARRATIVETRACK es el primer marco que evalúa sistemáticamente la comprensión narrativa descomponiendo el video en entidades y sus trayectorias temporales.
• Pipeline de Anotación Automatizado: Un sistema escalable que extrae representaciones de entidades temporalmente ancladas (cajas, acciones, vestimenta, escena) sin intervención humana, permitiendo la creación de datasets grandes y diagnósticos.
• Marco CRP: Una estructura de evaluación que desglosa el razonamiento narrativo en niveles progresivos de dificultad (existencia, cambios, ambigüedad), permitiendo un diagnóstico granular de las fallas del modelo.
• Descubrimiento de una Compensación Fundamental: La evidencia empírica revela que los modelos actuales no pueden optimizar simultáneamente el anclaje perceptual y la coherencia temporal.

4. Resultados Experimentales

Se evaluaron 12 modelos de código abierto (generales y especializados en video) y un modelo propietario (GPT-4o).

• Rendimiento General: Los modelos actuales muestran dificultades significativas. GPT-4o obtuvo el mejor promedio (72.27%), seguido por modelos de código abierto como Qwen-2.5-VL-32B (56.90%).
• La Compensación Percepción-Tiempo:
  • Los MLLMs de propósito general (ej. Qwen, InternVL) tienen un fuerte anclaje perceptual (reconocen bien imágenes estáticas) pero fallan en mantener la coherencia temporal.
  • Los MLLMs especializados en video (ej. Video-LLaMA2) capturan mejor la continuidad temporal pero tienden a alucinar detalles visuales o atributos de las entidades.
• Sesgo Direccional Temporal: Los modelos muestran un sesgo fuerte hacia el razonamiento "hacia adelante" (inicio $\to$ fin). Su rendimiento cae drásticamente en razonamiento "hacia atrás" (fin $\to$ inicio) o bidireccional, similar a la "maldición de la reversión" en LLMs.
• Densidad de Frames: Aumentar la densidad de frames (más de 20) no mejora el rendimiento y a menudo lo degrada, indicando que el problema no es la cantidad de información temporal, sino la capacidad del modelo para integrarla coherentemente.
• Fallas en Ambigüedad: Los modelos fallan frecuentemente al distinguir entre entidades visualmente similares que reaparecen, confundiendo identidades o alucinando presencias.

5. Significado e Impacto

NARRATIVETRACK demuestra que la comprensión narrativa no es una habilidad emergente simple, sino una capacidad composicional que requiere la integración simultánea de razonamiento temporal preciso y percepción visual fina.

• Diagnóstico de Fallos: Proporciona la primera herramienta sistemática para identificar dónde y por qué fallan los MLLMs en la comprensión de videos largos (ej. pérdida de identidad, alucinación de atributos, incapacidad de razonamiento inverso).
• Dirección Futura: Sugiere que el progreso futuro no vendrá solo de escalar el tamaño del modelo o aumentar la densidad de frames, sino de innovaciones arquitectónicas como:
  • Modelado temporal bidireccional.
  • Objetivos de entrenamiento centrados en entidades.
  • Mecanismos de atención selectiva para mantener la coherencia de identidad a través de discontinuidades visuales.

En resumen, el trabajo establece que para que los MLLMs alcancen una verdadera comprensión narrativa, deben superar la dicotomía actual entre "ver bien" y "recordar bien" a lo largo del tiempo.