VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
Este artículo presenta VideoMemBench, un nuevo referente que comprende 326 videos y diálogos de múltiples turnos con dependencias entre turnos verificadas, para evaluar las capacidades de "memoria de video en contexto" de los Modelos Grandes de Lenguaje Multimodales (MLLM), revelando que incluso los modelos con mejor desempeño tienen dificultades significativas con esta tarea, logrando una puntuación máxima de solo 45.7%.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Resumen Técnico: VideoMemBench
Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han avanzado hasta el punto en que pueden procesar videos de una hora con contextos de millones de tokens, permitiendo diálogos extendidos de múltiples turnos sobre un mismo video. Sin embargo, mantener tales conversaciones requiere una memoria de video en contexto: la capacidad de recuperar y reutilizar información establecida anteriormente en el diálogo, abarcando tanto los episodios visuales que el modelo ha visto como las respuestas que el modelo ha generado previamente.
Los benchmarks de comprensión de video existentes (por ejemplo, MVBench, Video-MME, LVBench) no logran medir esta capacidad. Sus preguntas son mutuamente independientes, nunca hacen referencia entre sí y son contestables únicamente a partir del video y la pregunta actual. En consecuencia, no hay necesidad de transportar información a través de los turnos, dejando sin medir el desafío crítico de la memoria de video en contexto.
Metodología: Construcción de VideoMemBench
Los autores presentan VideoMemBench, un benchmark diseñado para evaluar explícitamente la memoria de video en contexto a través de dependencias cruzadas de turnos tipificadas y estructuradas. El pipeline de construcción involucra tres roles de LLM y revisión de expertos humanos:
- Recolección de Videos: Se curó un conjunto inicial de aproximadamente 3,200 videos de benchmarks existentes (Video-MME, VSI-Bench, etc.) y de la web (YouTube), cubriendo cuatro dominios principales: Estilo de Vida y Entretenimiento, Conocimiento y Educación, Arte y Literatura, y Deportes y Competición.
- Planificación de Dependencias (Planner LLM): Antes de generar las preguntas, un planificador crea una especificación de diálogo global. Esto incluye una sinopsis del video, directrices de diálogo y un grafo de dependencia tipificado. El grafo asigna turnos padres a turnos dependientes, etiquetando las aristas como:
- Dependencia Episódica: La pregunta hace referencia a un episodio visual descrito en un turno anterior (sondeo de la memoria de lo que el modelo ha visto).
- Dependencia de Respuesta: La pregunta se construye sobre la propia respuesta anterior del modelo (sondeo de la memoria de lo que el modelo ha dicho).
- Generación por Turnos (Generator LLM): El generador construye el diálogo turno a turno, adhiriéndose al plan. Asegura que los turnos dependientes utilicen expresiones de referencia (por ejemplo, "la escena de T1") sin reestatar el contenido previo.
- Verificación Automatizada (Judger LLM): Un juez impone tres requisitos estrictos para cada turno:
- Necesidad: La pregunta debe ser no contestable si se eliminan los turnos padres (incluso con acceso al video).
- No filtración (Non-leakage): La pregunta no debe reestatar información de los turnos padres ni revelar sus respuestas.
- Anclaje Visual (Visual Grounding): Cada respuesta debe ser verificable contra fotogramas específicos del video.
Los turnos fallidos se regeneran; dos fallos consecutivos activan la replanificación.
- Revisión de Expertos Humanos: Ocho expertos humanos revisan todos los diálogos frente al video para verificar la corrección de las respuestas, la validez de la dependencia y la ausencia de filtración de información.
Estadísticas del Conjunto de Datos:
- 326 videos emparejados con 326 diálogos de múltiples turnos.
- 2,476 turnos de QA en total.
- 1,387 turnos son dependientes (56.02%), comprendiendo 1,200 dependencias Episódicas y 594 de Respuesta.
- Las dependencias incluyen estructuras de múltiples padres (hasta 3 padres) y cadenas de largo alcance (hasta 9 turnos de distancia).
Protocolo de Evaluación
El benchmark evaluó 25 MLLMs (8 de código cerrado, 17 de pesos abiertos) utilizando un protocolo de auto-ejecución (self-rollout) donde los modelos reciben 128 fotogramas muestreados uniformemente y el historial completo de la conversación. Se definieron tres métricas:
- TurnAcc: Precisión sobre todos los turnos, puntuada de forma independiente.
- EpiDepAcc: Precisión en los turnos con dependencias Episódicas (memoria del contexto visual).
- AnsDepAcc: Precisión en los turnos con dependencias de Respuesta utilizando crédito en cadena (chain crediting). Un turno solo recibe crédito si su respuesta y todas las respuestas a lo largo de su ascendencia de dependencia de Respuesta son correctas. Esto penaliza la acumulación de errores.
Resultados Clave
- Rendimiento General: El modelo con mejor desempeño, Claude Opus 5, logró una puntuación general de solo 45.7%, significativamente inferior a la línea base humana de 86.1%.
- Tipos de Dependencia: El rendimiento fue consistentemente más bajo en los turnos dependientes comparado con los independientes.
- AnsDepAcc fue la métrica más desafiante (35.7% para Claude Opus 5), rezagándose 16.6 puntos porcentuales respecto a TurnAcc. Esto indica una dificultad severa para mantener la consistencia con las respuestas previas.
- EpiDepAcc (49.1%) fue ligeramente mejor, pero aún por debajo de la precisión de los turnos independientes (52.3%).
- Impacto de la Complejidad:
- Distancia: La precisión disminuyó a medida que aumentó la distancia de la dependencia (de 30.2% en la distancia 1 a 23.1% en la distancia ≥5).
- Multi-padre: La precisión cayó a medida que aumentaba el número de turnos padres.
- Posición: Los turnos dependientes en posiciones tardías del diálogo mostraron descensos consistentes en la precisión.
- Fuentes de Error: Experimentos reemplazando el historial del modelo con el historial real (Oracle history) mostraron ganancias significativas de rendimiento (por ejemplo, Qwen3-VL-8B mejoró del 12.3% al 32.4%), confirmando que los errores en las respuestas anteriores son una fuente primaria de dificultad para los turnos subsiguientes. Sin embargo, incluso con un historial perfecto, la precisión se mantuvo por debajo de los niveles de los turnos independientes, sugiriendo que el historial correcto por sí solo es insuficiente para una memoria de video en contexto confiable.
Significado y Reivindicaciones
El artículo afirma que la memoria de video en contexto sigue siendo un problema abierto y desafiante para los MLLMs actuales, incluso para los modelos de frontera. Las contribuciones principales son:
- Identificación de una Brecha: Destacar que los benchmarks existentes no logran medir la capacidad de recuperar y reutilizar el contexto de diálogo establecido en las conversaciones de video.
- VideoMemBench: Proporcionar el primer benchmark con dependencias cruzadas de turnos explícitas y tipificadas (Episódica y de Respuesta) que imponen necesidad y no filtración, respaldado por un riguroso proceso de construcción.
- Evidencia Empírica: Demostrar que los modelos actuales tienen dificultades significativas con las dependencias cruzadas de turnos, particularmente al mantener la consistencia con sus propias respuestas previas (crédito en cadena) y al manejar dependencias de largo alcance o de múltiples padres.
Los autores concluyen que VideoMemBench proporciona una base necesaria para el desarrollo de MLLMs de video capaces de recordar y construir de manera confiable sobre observaciones y respuestas anteriores en conversaciones extendidas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.