💬 NLP

M $^3$ Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks

Este artículo presenta M $^3$ Eval, el primer benchmark con base cognitiva diseñado para evaluar sistemáticamente las capacidades de memoria en modelos multimodales a través de tareas de video especializadas, revelando debilidades críticas como la falta de desentrelazamiento en flujos paralelos y una memoria simbólica limitada que resaltan la necesidad de mejorar los mecanismos de memoria.

Autores originales: Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante nuevo que es increíblemente inteligente para mirar imágenes y leer texto. Puede describir una sola escena de una película a la perfección. Pero ahora, quieres ver si realmente puede recordar lo que pasó en una película entera, especialmente cuando las cosas se complican, como cuando dos películas se están reproduciendo al mismo tiempo o cuando se mezclan escenas similares.

El artículo "M 3Eval" es como una nueva y muy específica boleta de calificaciones diseñada para esto. Los investigadores se dieron cuenta de que, si bien tenemos pruebas para ver qué tan bien la IA "ve" o "piensa", no tenemos buenas pruebas para ver qué tan bien "recuerda". Así que construyeron un gimnasio para la memoria de la IA, basado en cómo los psicólogos humanos evaluamos nuestros propios cerebros.

Así es como probaron a la IA, usando cuatro juegos simples:

1. La prueba de la "Pantalla Dividida" (Atención Dividida)

La Configuración: Imagina ver dos programas de cocina diferentes al mismo tiempo, uno al lado del otro, en tu televisor. Uno está a la izquierda, el otro a la derecha. Cada pocos segundos, la televisión los intercambia para que el de la izquierda pase a la derecha y viceversa.
La Pregunta: "En el video que originalmente estaba a la izquierda, ¿el chef añadió cebollas o tomates?"
El Resultado: La IA se confundió mucho. No podía mantener las dos historias separadas. Era como una persona tratando de escuchar dos conversaciones diferentes en una fiesta ruidosa; la IA empezó a mezclar quién dijo qué y dónde. Cuando los videos se intercambiaron, la IA perdió el rastro de qué historia pertenecía a cada pantalla.

2. La prueba de la "Interferencia" (Interferencia de Memoria)

La Configuración: Imagina que ves un video de un hombre horneando un pastel (Video A). Inmediatamente después, ves un video muy similar de un hombre horneando un pay (Video B).
La Pregunta: "¿Qué le puso el hombre en el primer video (el del pastel) encima?"
El Resultado: La IA tuvo dificultades para mantener los dos recuerdos separados. A menudo respondía con detalles del video del pay en lugar del video del pastel.
El Giro: Los investigadores descubrieron algo sorprendente. Si mostraban el video del pastel dos veces antes de mostrar el del pay, la IA recordaba mucho mejor el pastel. Es como si escucharas una canción dos veces, es menos probable que la olvides cuando suena una canción similar justo después.

3. La prueba de la "Historia Mezclada" (Eventos Intercalados)

La Configuración: Imagina tomar dos películas diferentes, cortarlas en 10 piezas diminutas cada una y luego mezclarlas como un mazo de cartas (Pieza 1 de la Película A, Pieza 1 de la Película B, Pieza 2 de la Película A, Pieza 2 de la Película B...).
La Pregunta: "¿Puedes decir el orden correcto de los eventos solo para la Película A?"
El Resultado: La IA fue terrible en esto. No pudo desenredar las dos historias. Era como intentar rearmar dos rompecabezas diferentes que han sido mezclados en un solo montón grande. La IA también tuvo dificultades para saber cuándo sucedió algo (orden temporal) en comparación con dónde sucedió (ubicación espacial). Fue mejor recordando "La olla estaba a la izquierda" que "La olla se añadió antes que las cebollas".

4. La prueba "N-Back" (Memoria Simbólica)

La Configuración: Este es un juego cerebral clásico. Ves una larga secuencia de clips de video cortos. La regla es: "Si el clip actual se parece al que viste hace 3 clips, di 'Sí'".
El Resultado: Los humanos empeoran en esto a medida que la brecha se hace más grande (es difícil recordar 10 pasos atrás). Pero la IA fue extraña: no empeoró a medida que la brecha se hacía más grande, sino que se volvió terrible a medida que el número total de clips se hacía más largo.
La Metáfora: Imagina que un humano tiene una pequeña libreta y solo puede anotar las últimas pocas cosas que vio. Si le muestras demasiadas cosas, olvida las anteriores. La IA, sin embargo, tiene una biblioteca gigante donde guarda todo, pero no sabe cómo ignorar la basura. Se siente abrumada por el volumen de información, no por la distancia en el tiempo.

La Gran Conclusión

El artículo concluye que, si bien la IA está mejorando en la comprensión de video, su "memoria" es todavía muy diferente a la de un humano.

Los humanos somos buenos filtrando el ruido y recordando el orden de los eventos, incluso si olvidamos detalles con el paso del tiempo.
La IA tiene dificultades para mantener las historias paralelas separadas, se confunde con videos de apariencia similar y tiene problemas para organizar una larga lista de eventos en el orden correcto.

Los investigadores esperan que, al usar estos "juegos" específicos, otros científicos puedan construir mejores sistemas de IA que no solo "vean" el mundo, sino que realmente lo recuerden de la misma manera que nosotros. Han puesto sus preguntas de examen y sus videos a disposición de todos para su uso.

Resumen Técnico: M 3Eval: Evaluación de la Memoria Multimodal mediante Tareas de Video con Fundamento Cognitivo

Declaración del Problema

A medida que los modelos multimodales (MLM) avanzan hacia la comprensión de videos de larga duración, impulsados por la expansión de las ventanas de contexto, la memoria ha emergido como una capacidad crítica. Sin embargo, los benchmarks y conjuntos de datos existentes para la comprensión de video se centran principalmente en la percepción y el razonamiento visual. Si bien algunas tareas involucran implícitamente la memoria (por ejemplo, la comprensión de videos largos o el razonamiento de video), estas no logran aislar sistemáticamente los mecanismos de memoria. En consecuencia, las evaluaciones actuales proporcionan valoraciones solo parciales e indirectas, careciendo de la capacidad de desentrañar dimensiones específicas de la memoria como la capacidad (cuánta información se retiene), la fidelidad (qué tan precisamente se preserva la información) y la robustez (qué tan bien resisten las representaciones la interferencia). Actualmente, no existe un protocolo de evaluación dedicado para sondear sistemáticamente qué retienen los modelos, qué tan fielmente se preserva la información y qué tan robusta permanece la memoria bajo interferencia.

Metodología

Los autores presentan M 3Eval, el primer marco de evaluación y benchmark integral diseñado para sondear diferentes dimensiones de la memoria en modelos multimodales. La metodología tiene su fundamento en la psicología cognitiva, adaptando paradigmas experimentales controlados al dominio del video. El marco consta de cuatro paradigmas de evaluación distintos, cada uno instanciado mediante tareas de video cuidadosamente construidas y preguntas dirigidas:

Atención Dividida (Codificación bajo Carga Concurrente):
- Configuración: Dos videos semánticamente similares se muestran uno al lado del otro (pantalla dividida), ya sea sin intercambios o con frecuentes intercambios de izquierda/derecha.
- Objetivo: Evaluar la capacidad del modelo para mantener representaciones independientes para flujos paralelos.
- Métricas: Identificación de la Fuente (distinguir el origen del contenido), Comprensión del Orden (secuencia temporal/lógica) y Retención de Contenido (detalles de la trama).
- Modos de Fallo: Confusión de la fuente, confusión del orden y olvido de contenido.
Interferencia de Memoria (Robustez ante la Distracción):
- Configuración: Dos videos semánticamente similares se concatenan secuencialmente. Las preguntas se dirigen a un video específico mientras que el otro actúa como interferencia.
- Objetivo: Aislar la interferencia proactiva (el contenido anterior interrumpe el recuerdo posterior) y la interferencia retroactiva (el contenido posterior interrumpe el recuerdo anterior).
- Métricas: Precisión y Tasa de Intrusión (IR), que mide la proporción de respuestas que seleccionan opciones del video competidor.
Eventos Intercalados (Organización Temporal):
- Configuración: Segmentos de dos videos de origen se intercalan en un solo flujo (por ejemplo, A1–B1–A2–B2...).
- Objetivo: Evaluar la capacidad de desentrelazar segmentos intercalados y recuperar el orden temporal interno de una fuente específica.
- Métricas: Identificación de la Fuente, Comprensión del Orden, Retención de Contenido y Discriminación de Falsos Recuerdos (identificar consultas que no pertenecen a ninguno de los dos videos).
N-Back (Anclaje Simbólico y Capacidad de Memoria):
- Configuración: Se presenta una secuencia de clips de video cortos. El modelo debe determinar si el clip final coincide con el clip $N$ posiciones antes, basándose en atributos abstractos (Escena o Acción).
- Objetivo: Sondear la memoria simbólica y la capacidad de filtrar información irrelevante a través de brechas temporales.
- Métricas: Precisión en el emparejamiento de escena y acción a través de variaciones en la distancia de retraso ( $N$ ) y la longitud de la secuencia ( $K$ ).

Construcción del Conjunto de Datos:
El benchmark comprende 2,403 preguntas sobre 451 videos (aprox. 403 horas) extraídos de cinco conjuntos de datos públicos (HourVideo, Video-MME, LVBench, InfiniBench, CrossVid). Los pares de videos se seleccionan basándose en la similitud semántica para maximizar la interferencia. Las preguntas son generadas mediante LLMs (Qwen3.5-27B) y refinadas mediante revisión manual para asegurar la consistencia lógica y eliminar la ambigüedad.

Contribuciones Clave

Benchmark M 3Eval: El primer benchmark para evaluar sistemáticamente la memoria multimodal a través de cuatro dimensiones distintas (Atención Dividida, Interferencia, Eventos Intercalados, N-Back) utilizando tareas de video.
Diseño con Fundamento Cognitivo: Un diseño de evaluación novedoso que aísla mecanismos de memoria específicos adaptando paradigmas psicológicos establecidos (por ejemplo, tarea dual, N-Back, teoría de la interferencia) al entendimiento de video.
Evaluación Sistemática: Una evaluación exhaustiva a través de diversos modelos, incluyendo modelos propietarios (Gemini-3.1-Pro-Preview, GPT-5.4), modelos de pesos abiertos (Qwen3-VL, InternVL3.5) y métodos agénticos (VideoLucy, M3-Agent), comparados con el rendimiento humano.

Resultados Experimentales

La evaluación revela debilidades consistentes y comportamientos distintivos en los modelos multimodales actuales en comparación con los humanos:

Fallo de Procesamiento Paralelo: Los modelos luchan por mantener representaciones desentrelazadas cuando procesan flujos de video paralelos. El rendimiento cae significativamente en la Identificación de la Fuente en configuraciones de pantalla dividida, lo que sugiere una confusión de atención entre entradas visuales concurrentes.
Patrones de Interferencia: A diferencia de los humanos, que exhiben una interferencia retroactiva significativamente más fuerte que la proactiva, los modelos muestran niveles comparables de ambas. Además, los modelos tienen dificultades para resistir la interferencia de contenido semánticamente similar, con altas tasas de intrusión. Curiosamente, repetir los videos objetivo o de interferencia mejora sorprendentemente la precisión del modelo, probablemente debido al fortalecimiento de las representaciones mediante la atención causal.
Anclaje Temporal vs. Espacial: Los modelos son menos capaces que los humanos para organizar información temporalmente intercalada. El análisis muestra que el anclaje de la fuente espacial (pantalla dividida) es consistentemente más fuerte que el anclaje de la fuente temporal (eventos intercalados), donde muchos modelos caen por debajo de los niveles base aleatorios.
Memoria Simbólica y Filtrado: Los modelos están muy por detrás de los humanos en la memoria simbólica (tareas N-Back). Mientras que la precisión humana disminuye de forma monótona con el aumento del intervalo temporal ( $N$ ) debido a los límites de capacidad, la precisión del modelo a menudo permanece plana o mejora (debido a la atención global). Sin embargo, los modelos se degradan drásticamente a medida que aumenta el número total de símbolos ( $K$ ), revelando una incapacidad fundamental para filtrar información irrelevante de la memoria.
Alucinación: En las tareas de Discriminación de Falsos Recuerdos, la mayoría de los modelos rinden por debajo del nivel base aleatorio, lo que indica una severa alucinación cuando se les presentan consultas no relacionadas con el contenido del video.

Significado

El artículo posiciona a M 3Eval como un recurso de diagnóstico valioso para la investigación futura. Los hallazgos resaltan la memoria como una capacidad fundamental pero insuficientemente explorada en los modelos multimodales. Los autores argumentan que los benchmarks actuales confunden la memoria con la percepción y el razonamiento, oscureciendo fallos específicos. Al aislar estos mecanismos, M 3Eval ofrece perspectivas para diseñar mecanismos de memoria más efectivos, tales como refinar la atención para flujos paralelos, aprovechar estrategias de repetición, fortalecer el anclaje de la fuente temporal y mejorar la memoria simbólica para apoyar el filtrado de datos irrelevantes para la tarea. El trabajo pretende motivar el desarrollo de sistemas multimodales equipados con capacidades de memoria robustas, estructuradas y alineadas con los humanos.