Narrative Aligned Long Form Video Question Answering

Resumen Técnico: NA-VQA y Video-NaRA

1. El Problema

A pesar de los avances recientes en Modelos de Lenguaje Multimodal (MLLMs) y la proliferación de benchmarks para el razonamiento en videos largos, la mayoría de las evaluaciones actuales presentan limitaciones críticas:

• Dependencia de señales locales: Los benchmarks existentes (como CinePile, Rextime) suelen centrarse en pistas localizadas o videos cortos (≤1 hora), fallando en capturar el razonamiento narrativo.
• Falta de cadenas causales: No evalúan adecuadamente la capacidad de los modelos para rastrear intenciones, conectar eventos distantes en el tiempo y reconstruir cadenas causales a lo largo de una película completa.
• Sesgo en el formato: Muchos benchmarks utilizan preguntas de opción múltiple, lo que permite a los modelos adivinar respuestas basándose en priores estadísticos sin comprender realmente el contenido del video.
• Fragilidad en dependencias de largo alcance: Los modelos actuales tienden a fallar cuando la evidencia necesaria para responder una pregunta está dispersa en escenas separadas por grandes intervalos temporales (evidencia "Lejana" o Far).

2. Metodología

El trabajo propone dos componentes principales: un nuevo dataset (NA-VQA) y una nueva arquitectura de modelo (Video-NaRA).

A. Dataset NA-VQA (Narrative-Aligned Video Question Answering)

• Composición: Incluye 88 películas completas de diversos géneros y 4,442 pares de preguntas y respuestas (QA) abiertas.
• Estructura de Evidencia: Cada pregunta está fundamentada en múltiples segmentos de evidencia distribuidos a lo largo de la línea de tiempo. Estos segmentos se clasifican por distancia temporal:
  • Corto (Short): Eventos cercanos.
  • Medio (Medium): Eventos con separación moderada.
  • Lejano (Far): Eventos separados por grandes duraciones, requiriendo memoria a largo plazo.
• Taxonomía de Razonamiento: Las preguntas se categorizan en 7 tipos de razonamiento: Causal, Narrativo, Centrado en Personajes, Temático, Basado en Metas, Social e Hipotético.
• Proceso de Creación: Se utilizó un pipeline automatizado con LLMs (Claude Sonnet 4) para extraer eventos, generar preguntas de razonamiento multi-paso y validar la calidad. Se aplicaron filtros estrictos para asegurar que las respuestas se basen únicamente en evidencia visual (sin depender de nombres de personajes o conocimiento externo) y que la evidencia sea completa, mínima y fiel.

B. Arquitectura Video-NaRA (Narrative Reasoning and Alignment)
Inspirada en cómo los humanos construyen la comprensión narrativa (conectando eventos clave en lugar de procesar cada fotograma uniformemente), Video-NaRA es un marco centrado en la narrativa:

1. Construcción de Memoria Narrativa:
   • En lugar de almacenar fotogramas o subtítulos en secuencia, el modelo utiliza un MLLM (Qwen2.5-VL) para agrupar clips en "slots narrativos".
   • Estos slots forman cadenas de eventos coherentes basadas en personajes, objetivos, objetos y contexto, creando una memoria estructurada que captura la evolución de la trama.
2. Extracción de Características Visuales:
   • Se extraen características visuales densas a nivel de fotograma (usando CLIP) y se agregan para formar representaciones estables de los clips, evitando embeddings ruidosos.
3. Módulo de Recuperación (Retrieval):
   • Dada una consulta, el sistema no busca clips aislados, sino que recupera cadenas narrativas completas relevantes.
   • Utiliza una puntuación de relevancia que combina la similitud del clip individual con la importancia del slot narrativo al que pertenece, priorizando clips que son relevantes tanto localmente como dentro de una cadena de historia coherente.
4. Razonamiento:
   • Un modelo de razonamiento (fine-tuned Qwen2.5-VL) recibe las cadenas narrativas recuperadas para generar la respuesta final, integrando la información dispersa.

3. Contribuciones Clave

1. Nuevo Benchmark (NA-VQA): La primera evaluación exhaustiva diseñada específicamente para probar el razonamiento narrativo profundo y las dependencias de largo alcance en películas completas (2 horas), con una taxonomía de 7 tipos de razonamiento y evidencia fundamentada.
2. Arquitectura Video-NaRA: Un enfoque novedoso que utiliza una memoria narrativa estructurada en lugar de una memoria episódica secuencial simple, permitiendo la recuperación de cadenas de eventos causales.
3. Análisis Exhaustivo: Evaluación extensa de modelos de última generación (MLLMs de código abierto y propietarios) que revela fallos sistemáticos en tareas de evidencia "Lejana".
4. Liberación de Datos: Compromiso de liberar el dataset NA-VQA públicamente para fomentar la investigación futura.

4. Resultados

• Rendimiento de Modelos Existentes: Los MLLMs más avanzados (incluyendo GPT-4o, Claude Sonnet 4.5 y Qwen2.5-VL) mostraron dificultades significativas, especialmente en preguntas que requieren evidencia "Lejana". Los modelos tienden a perder las conexiones causales entre eventos distantes.
• Eficacia de Video-NaRA:
  • Video-NaRA superó a los enfoques de zero-shot y fine-tuning estándar.
  • Logró una mejora de rendimiento relativa de hasta un 3% en comparación con las líneas base, demostrando su efectividad para manejar estructuras narrativas dispersas.
  • En el análisis de ablativo, se confirmó que eliminar la memoria narrativa o el módulo de recuperación degrada significativamente el rendimiento, especialmente en la recuperación de evidencia para preguntas de distancia "Lejana".
• Métricas: La evaluación se realizó utilizando un modelo juez (Claude Sonnet 4) para medir cuatro dimensiones: exhaustividad, profundidad, fundamentación en evidencia y calidad del razonamiento.

5. Significado e Impacto

Este trabajo marca un cambio de paradigma en la comprensión de videos largos:

• Más allá del contexto: Demuestra que el problema principal no es solo la longitud del contexto (número de tokens), sino la falta de mecanismos explícitos para modelar la estructura narrativa.
• Necesidad de Modelado Narrativo: Sugiere que para entender películas completas, los sistemas deben organizarse en torno a cadenas de eventos y objetivos de personajes, imitando la cognición humana, en lugar de tratar el video como una secuencia uniforme de fotogramas.
• Futuro de la Investigación: NA-VQA y Video-NaRA establecen una base rigurosa para desarrollar sistemas multimodales con memoria aumentada capaces de realizar inferencias complejas, causales y contrafactuales en contenido de video de larga duración.