Resumen Técnico: HAVEN – Benchmark Multimodal Jerárquicamente Alineado para la Comprensión Unificada de Video

Enunciado del Problema

Aunque los Modelos de Lenguaje Multimodal Grandes (MLLM) han demostrado un rendimiento sólido en tareas estándar de video como resumen, generación de subtítulos y respuesta a preguntas, su capacidad para resumir fielmente y razonar sobre narrativas complejas sigue siendo pobremente evaluada. Los benchmarks actuales de video adolecen de dos limitaciones sistémicas:

1. Supervisión Fragmentada: La mayoría de los conjuntos de datos existentes operan en una única granularidad temporal (por ejemplo, fotogramas clave, fragmentos o resúmenes a nivel de video), ignorando la estructura inherentemente jerárquica de los videos del mundo real, donde los fotogramas construyen planos y los planos construyen narrativas coherentes.
2. Falta de Anclaje Preciso Cross-Modal: Las anotaciones de texto suelen estar débilmente alineadas con el contenido visual. Esto permite que los modelos tengan éxito explotando priores lingüísticos sin localizar ni razonar con precisión sobre la evidencia visual relevante.

En consecuencia, los protocolos de evaluación actuales sobreestiman sistemáticamente las capacidades de los MLLM, creando una "ilusión de capacidad" donde los modelos producen texto fluido pero fallan al fundamentar sus salidas en evidencia visual correcta.

Metodología: El Benchmark HAVEN

Para abordar estas brechas, los autores introducen HAVEN (Benchmark multimodal Jerárquicamente Alineado para la Comprensión Unificada de Video), un conjunto de datos y marco de evaluación construido sobre dos principios fundamentales: Completitud jerárquica y Continuidad cross-modal.

Construcción del Conjunto de Datos

HAVEN se construye extendiendo seis conjuntos de datos existentes de resumen de video (SumMe, TVSum, OVP, YouTube, VideoXum y MR.HiSum). El proceso de construcción implica:

• Anotación Jerárquica: Cada instancia de video se anota en tres niveles:
  • Nivel de Fotograma: Fotogramas muestreados uniformemente (promedio de 164.9 por video) emparejados con descripciones textuales generadas por LLM ($D_V$) y fotogramas clave anotados por humanos ($V_{key}$).
  • Nivel de Plano: Los fotogramas se dividen en planos temporalmente coherentes ($H$) utilizando Segmentación Temporal de Kernel (KTS). Cada plano tiene una descripción generada por LLM ($D_H$) y planos clave anotados por humanos ($H_{key}$).
  • Nivel de Video: Un documento global ($T$) y un resumen conciso ($S$) se generan agregando descripciones a nivel de plano, con alineaciones explícitas de oración a plano.
• Alineación: El conjunto de datos presenta una alineación explícita y continua entre el contenido visual y las descripciones textuales en todos los niveles, asegurando que el lenguaje se fundamente en evidencia localizada temporalmente.
• Control de Calidad: La evaluación humana en 15 videos muestreados confirmó puntuaciones altas en precisión, informatividad y completitud en todos los niveles de anotación.

Suite de Evaluación

HAVEN define una suite unificada de cuatro familias de tareas para evaluar diferentes aspectos de la comprensión de video:

1. Resumen Multimodal: Incluye Resumen de Video a Texto (V2T), Selección de Fotogramas Clave (V2V) y Resumen Conjunto Video-Texto (V2VT).
2. Comprensión Temporal: Requiere que los modelos recuperen el orden cronológico de planos de video desordenados, con y sin contexto a nivel de documento.
3. Anclaje Multimodal: Tarea los modelos para alinear oraciones de resumen desordenadas con sus planos visuales correspondientes.
4. Clasificación de Saliencia: Requiere que los modelos clasifiquen los planos de video por importancia, con y sin contexto de documento.

Contribuciones Clave

1. Nuevo Conjunto de Datos: HAVEN es pionero en un marco completamente granular (fotograma, plano, video) y completamente multimodal con alineación cross-modal explícita y continua, derivado de conjuntos de datos existentes de alta calidad anotados por humanos.
2. Marco de Pruebas Riguroso: Los autores establecen una evaluación multifacética que cubre cuatro dimensiones centrales (resumen, anclaje, razonamiento temporal y saliencia), permitiendo un análisis controlado del comportamiento del modelo a través de niveles de abstracción.
3. Análisis Empírico: El artículo proporciona un análisis extenso de los MLLM más avanzados, exponiendo una discrepancia severa entre la fluidez textual superficial y el verdadero anclaje multimodal.

Resultados Experimentales

Los autores evaluaron varios MLLM comerciales y de código abierto (incluyendo GPT-5.2, Qwen3-VL, VideoLLaMA3 e InternVideo2.5) en un escenario de cero disparos (zero-shot). Los hallazgos clave incluyen:

• La "Ilusión de Capacidad": Los modelos producen consistentemente resúmenes textuales fluidos, pero a menudo fallan al fundamentar estas salidas en la evidencia visual correcta. Las puntuaciones altas en la generación de texto no se correlacionan con una comprensión visual precisa.
• Sensibilidad a la Tarea: El rendimiento del modelo es altamente sensible a la formulación de la tarea. Por ejemplo, los modelos fuertes en resumen V2T a menudo caen significativamente en tareas de selección de fotogramas clave (V2V) y anclaje multimodal.
• Limitaciones de la Generación Conjunta: La generación multimodal conjunta (V2VT) no mejora consistentemente la alineación entre las salidas textuales y visuales en comparación con la generación independiente. En algunos casos, conduce a una compensación donde la calidad del texto mejora a expensas de la precisión en la selección visual.
• Líneas Base de Proxy de Texto: Sorprendentemente, las líneas base que solo usan texto (usando descripciones de fotogramas) a menudo superan a los modelos multimodales en tareas de anclaje y razonamiento temporal, lo que sugiere que los MLLM actuales luchan por establecer correspondencias semánticas precisas entre modalidades a pesar de tener acceso a datos visuales.
• Saliencia vs. Resumen: Existe una brecha clara entre el rendimiento en resumen y la clasificación de saliencia. Un fuerte rendimiento en resumen no implica una comprensión precisa de la saliencia, lo que indica que el resumen se basa en una noción más holística de importancia, mientras que la clasificación de saliencia requiere un modelado visual explícito.

Significado y Afirmaciones

El artículo afirma que HAVEN avanza la evaluación de sistemas multimodales más allá de los formatos tradicionales de Respuesta a Preguntas (QA). Al ofrecer un campo de pruebas riguroso y estandarizado con alineación jerárquica explícita, HAVEN tiene como objetivo:

• Revelar las limitaciones de los MLLM actuales que están enmascaradas por protocolos de evaluación toscos o débilmente fundamentados.
• Impulsar la investigación futura hacia una comprensión de video jerárquica e interpretable, donde los modelos puedan fundamentar, alinear y razonar eficazmente sobre información textual y visual de manera unificada.
• Proporcionar un recurso para desarrollar modelos que vayan más allá de la generación de lenguaje "plausible" hacia una comprensión multimodal genuina.

Los autores reconocen limitaciones, señalando que el benchmark hereda sesgos de los conjuntos de datos fuente, actualmente omite modalidades de audio y se centra en videos relativamente cortos, dejando la comprensión de videos de formato largo y la integración multimodal (incluyendo audio) como direcciones para trabajos futuros.