💬 NLP

M $^3$ Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks

Este artigo apresenta o M $^3$ Eval, o primeiro benchmark cognitivamente fundamentado projetado para avaliar sistematicamente as capacidades de memória em modelos multimodais por meio de tarefas de vídeo especializadas, revelando fraquezas críticas, como o baixo desmembramento em fluxos paralelos e a memória simbólica limitada, que destacam a necessidade de mecanismos de memória aprimorados.

Autores originais: Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um novo aluno que é incrivelmente inteligente ao olhar para imagens e ler textos. Ele consegue descrever perfeitamente uma única cena de filme. Mas agora, você quer ver se ele consegue realmente lembrar o que aconteceu em um filme inteiro, especialmente quando as coisas ficam complicadas, como quando dois filmes estão passando ao mesmo tempo ou quando cenas semelhantes são misturadas.

O artigo "M 3Eval" é como um novo boletim escolar muito específico, projetado para isso. Os pesquisadores perceberam que, embora tenhamos testes para o quão bem uma IA "vê" e "pensa", não temos bons testes para o quão bem ela "lembra". Por isso, eles construíram uma academia para a memória da IA, baseada em como os psicólogos humanos testam nossos próprios cérebros.

Aqui está como eles testaram a IA, usando quatro jogos simples:

1. O Teste da "Tela Dividida" (Atenção Dividida)

A Configuração: Imagine assistir a dois programas de culinária diferentes ao mesmo tempo, lado a lado na sua TV. Um está na esquerda, outro na direita. A cada poucos segundos, a TV troca eles, fazendo com que o da esquerda vá para a direita e vice-versa.
A Pergunta: "No vídeo que estava originalmente na esquerda, o chef adicionou cebola ou tomate?"
O Resultado: A IA ficou muito confusa. Ela não conseguiu manter as duas histórias separadas. Era como uma pessoa tentando ouvir duas conversas diferentes em uma festa barulhenta; a IA começou a misturar quem disse o quê e onde. Quando os vídeos trocaram de lugar, a IA perdeu o rastro de qual história pertencia a qual tela.

2. O Teste da "Interferência" (Interferência de Memória)

A Configuração: Imagine que você assiste a um vídeo de um homem assando um bolo (Vídeo A). Imediatamente depois, você assiste a um vídeo muito semelhante de um homem assando uma torta (Vídeo B).
A Pergunta: "O que o homem no primeiro vídeo (o bolo) colocou por cima?"
O Resultado: A IA teve dificuldade em manter as duas memórias separadas. Frequentemente respondia com detalhes do vídeo da torta em vez do vídeo do bolo.
A Reviravolta: Os pesquisadores descobriram algo surpreendente. Se eles mostrassem o vídeo do bolo duas vezes antes de mostrar o da torta, a IA lembrava muito melhor do bolo. É como se você ouvisse uma música duas vezes, é menos provável que você a esqueça quando uma música semelhante toca logo em seguida.

3. O Teste da "História Embaralhada" (Eventos Intercalados)

A Configuração: Imagine pegar dois filmes diferentes, cortá-los em 10 pedacinhos cada e depois embaralhá-los como um baralho (Pedaço 1 do Filme A, Pedaço 1 do Filme B, Pedaço 2 do Filme A, Pedaço 2 do Filme B...).
A Pergunta: "Você consegue dizer a ordem correta dos eventos apenas para o Filme A?"
O Resultado: A IA foi terrível nisso. Ela não conseguiu desembaraçar as duas histórias. Era como tentar remontar dois quebra-cabeças diferentes que foram misturados em um único monte grande. A IA também teve dificuldade em saber quando algo aconteceu (ordem temporal) em comparação a onde aconteceu (localização espacial). Ela foi melhor em lembrar "O pote estava na esquerda" do que "O pote foi adicionado antes das cebolas".

4. O Teste "N-Back" (Memória Simbólica)

A Configuração: Este é um jogo cerebral clássico. Você assiste a um fluxo longo de clipes de vídeo curtos. A regra é: "Se o clipe atual se parece com o que você viu 3 clipes atrás, diga 'Sim'".
O Resultado: Humanos ficam piores nisso à medida que o intervalo aumenta (é difícil lembrar 10 passos atrás). Mas a IA foi estranha: ela não piorou conforme o intervalo aumentava, mas ficou terrível conforme o número total de clipes ficava mais longo.
A Metáfora: Imagine que um humano tem um pequeno bloco de notas e só consegue anotar as últimas coisas que viu. Se você mostrar muitas coisas, ele esquece as antigas. A IA, no entanto, tem uma biblioteca gigante onde guarda tudo, mas não sabe como ignorar o lixo. Ela fica sobrecarregada pelo volume de informações, não pela distância no tempo.

A Grande Conclusão

O artigo conclui que, embora a IA esteja ficando melhor em entender vídeos, sua "memória" ainda é muito diferente da de um humano.

Humanos são bons em filtrar o ruído e lembrar a ordem dos eventos, mesmo que esqueçamos detalhes com o passar do tempo.
IA tem dificuldade em manter histórias paralelas separadas, confunde-se com vídeos de aparência semelhante e tem dificuldade em organizar uma longa lista de eventos na ordem correta.

Os pesquisadores esperam que, ao usar esses "jogos" específicos, outros cientistas possam construir melhores sistemas de IA que não apenas "vejam" o mundo, mas que realmente o lembrem da mesma forma que nós. Eles disponibilizaram suas perguntas de teste e vídeos para que todos possam usar.

Resumo Técnico: M 3Eval: Avaliação de Memória Multimodal através de Tarefas de Vídeo Cognitivamente Fundamentadas

Declaração do Problema

À medida que os modelos multimodais (MLMs) avançam em direção à compreensão de vídeos de longa duração, impulsionados pela expansão das janelas de contexto, a memória emergiu como uma capacidade crítica. No entanto, os benchmarks e conjuntos de dados existentes para compreensão de vídeo focam primariamente na percepção visual e no raciocínio. Embora algumas tarefas envolvam implicitamente a memória (por exemplo, compreensão de vídeos longos ou raciocínio de vídeo), elas falham em isolar sistematicamente os mecanismos de memória. Consequentemente, as avaliações atuais fornecem apenas avaliações parciais e indiretas, carecendo da capacidade de dissecar dimensões específicas de memória, como capacidade (quanto a informação é retida), fidelidade (o quão precisamente a informação é preservada) e robustez (o quão bem as representações resistem à interferência). Não existe atualmente um protocolo de avaliação dedicado para sondar sistematicamente o que os modelos retêm, quão fielmente a informação é preservada e quão robusta a memória permanece sob interferência.

Metodologia

Os autores introduzem o M 3Eval, o primeiro framework de avaliação abrangente e benchmark projetado para sondar diferentes dimensões de memória em modelos multimodais. A metodologia é fundamentada na psicologia cognitiva, adaptando paradigmas experimentais controlados para o domínio do vídeo. O framework consiste em quatro paradigmas de avaliação distintos, cada um instanciado através de tarefas de vídeo cuidadosamente construídas e perguntas direcionadas:

Atenção Dividida (Codificação sob Carga Concorrente):
- Configuração: Dois vídeos semanticamente similares são exibidos lado a lado (tela dividida), seja sem trocas ou com trocas frequentes de esquerda/direita.
- Objetivo: Avaliar a capacidade do modelo de manter representações independentes para fluxos paralelos.
- Métricas: Identificação de Origem (distinguir a origem do conteúdo), Compreensão de Ordem (sequência temporal/lógica) e Retenção de Conteúdo (detalhes do enredo).
- Modos de Falha: Confusão de origem, confusão de ordem e esquecimento de conteúdo.
Interferência de Memória (Robustez à Distração):
- Configuração: Dois vídeos semanticamente similares são concatenados sequencialmente. As perguntas visam um vídeo específico enquanto o outro atua como interferência.
- Objetivo: Isolar a interferência proativa (conteúdo anterior perturbando a recuperação posterior) e a interferência retroativa (conteúdo posterior perturbando a recuperação anterior).
- Métricas: Acurácia e Taxa de Intrusão (IR), medindo a proporção de respostas que selecionam opções do vídeo concorrente.
Eventos Intercalados (Organização Temporal):
- Configuração: Segmentos de dois vídeos de origem são intercalados em um único fluxo (ex: A1–B1–A2–B2...).
- Objetivo: Avaliar a capacidade de dissecar segmentos intercalados e recuperar a ordem temporal interna de uma fonte específica.
- Métricas: Identificação de Origem, Compreensão de Ordem, Retenção de Conteúdo e Discriminação de Falsa Memória (identificar consultas que não pertencem a nenhum dos vídeos).
N-Back (Fundamentação Simbólica e Capacidade de Memória):
- Configuração: Uma sequência de clipes de vídeo curtos é apresentada. O modelo deve determinar se o clipe final corresponde ao clipe $N$ $N$ posições atrás com base em atributos abstratos (Cena ou Ação).
  - Objetivo: Sondar a memória simbólica e a capacidade de filtrar informações irrelevantes ao longo de lacunas temporais.
- Métricas: Acurácia no emparelhamento de cena e ação através de variações de distância de atraso ( $N$ ) e comprimentos de sequência ( $K$ ).

Construção do Dataset:
O benchmark compreende 2.403 perguntas sobre 451 vídeos (aprox. 403 horas) extraídos de cinco conjuntos de dados públicos (HourVideo, Video-MME, LVBench, InfiniBench, CrossVid). Os pares de vídeos são selecionados com base na similaridade semântica para maximizar a interferência. As perguntas são geradas por LLMs (Qwen3.5-27B) e refinadas através de revisão manual para garantir consistência lógica e eliminar ambiguidades.

Principais Contribuições

Benchmark M 3Eval: O primeiro benchmark para avaliar sistematicamente a memória multimodal através de quatro dimensões distintas (Atenção Dividida, Interferência, Eventos Intercalados, N-Back) usando tarefas de vídeo.
Design Cognitivamente Fundamentado: Um design de avaliação inovador que isola mecanismos de memória específicos ao adaptar paradigmas psicológicos estabelecidos (ex: tarefa dupla, N-Back, teoria da interferência) para a compreensão de vídeo.
Avaliação Sistemática: Uma avaliação abrangente em diversos modelos, incluindo modelos proprietários (Gemini-3.1-Pro-Preview, GPT-5.4), modelos de pesos abertos (Qwen3-VL, InternVL3.5) e métodos agênticos (VideoLucy, M3-Agent), comparados ao desempenho humano.

Resultados Experimentais

A avaliação revela fraquezas consistentes e comportamentos distintos nos modelos multimodais atuais em comparação com humanos:

Falha de Processamento Paralelo: Os modelos têm dificuldade em manter representações disjuntas ao processar fluxos de vídeo paralelos. O desempenho cai significativamente na Identificação de Origem em configurações de tela dividida, sugerindo confusão de atenção entre entradas visuais concorrentes.
Padrões de Interferência: Ao contrário dos humanos, que exibem uma interferência retroativa significativamente mais forte do que a proativa, os modelos mostram níveis comparáveis de ambas. Além disso, os modelos lutam para resistir à interferência de conteúdo semanticamente similar, com altas taxas de intrusão. Curiosamente, repetir os vídeos alvo ou de interferência melhora surpreendentemente a acurácia do modelo, provavelmente devido ao fortalecimento das representações via atenção causal.
Fundamentação Temporal vs. Espacial: Os modelos são menos capazes que os humanos em organizar informações temporalmente intercaladas. A análise mostra que a fundamentação de origem espacial (tela dividida) é consistentemente mais forte que a fundamentação de origem temporal (eventos intercalados), onde muitos modelos caem abaixo do nível de base aleatório.
Memória Simbólica e Filtragem: Os modelos estão muito atrás dos humanos em memória simbólica (tarefas N-Back). Enquanto a acurácia humana declina monotonicamente com o aumento do intervalo temporal ( $N$ ) devido aos limites de capacidade, a acurácia do modelo muitas vezes permanece constante ou melhora (devido à atenção global). No entanto, os modelos degradam bruscamente conforme o número total de símbolos ( $K$ ) aumenta, revelando uma incapacidade fundamental de filtrar informações irrelevantes da memória.
Alucinação: Em tarefas de Discriminação de Falsa Memória, a maioria dos modelos performa abaixo do nível de base aleatório, indicando alucinação severa quando apresentados com consultas não relacionadas ao conteúdo do vídeo.

Significância

O artigo posiciona o M 3Eval como um recurso de diagnóstico valioso para pesquisas futuras. Os achados destacam a memória como uma capacidade fundamental, porém subexplorada, em modelos multimodais. Os autores argumentam que os benchmarks atuais confundem memória com percepção e raciocínio, obscurecendo modos de falha específicos. Ao isolar esses mecanismos, o M 3Eval oferece insights para o design de mecanismos de memória mais eficazes, como o refinamento da atenção para fluxos paralelos, o uso de estratégias de repetição, o fortalecimento da fundamentação de origem temporal e a melhoria da memória simbólica para apoiar a filtragem de dados irrelevantes à tarefa. O trabalho visa motivar o desenvolvimento de sistemas multimodais equipados com capacidades de memória robustas, estruturadas e alinhadas aos humanos.