← Últimos artigos
💻 ciência da computação

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

Este artigo apresenta o VideoMemBench, um novo benchmark composto por 326 vídeos e diálogos de múltiplos turnos com dependências entre turnos verificadas, para avaliar as capacidades de "memória de vídeo em contexto" de Modelos de Linguagem de Grande Escala Multimodais (MLLMs), revelando que mesmo os modelos de alto desempenho lutam significativamente com esta tarefa, alcançando uma pontuação máxima de apenas 45,7%.

Autor original: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

Publicado 2026-11-04
📖 1 min de leitura☕ Leitura rápida

Autor original: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Resumo Técnico: VideoMemBench

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) avançaram ao ponto de poderem processar vídeos de uma hora com contextos de milhões de tokens, permitindo diálogos estendidos de múltiplas rodadas sobre um único vídeo. No entanto, sustentar tais conversações requer memória de vídeo em contexto: a capacidade de recuperar e reutilizar informações estabelecidas anteriormente no diálogo, abrangendo tanto episódios visuais que o modelo viu quanto respostas que o modelo gerou anteriormente.

Benchmarks existentes de compreensão de vídeo (ex: MVBench, Video-MME, LVBench) falham em medir essa capacidade. Suas perguntas são mutuamente independentes, nunca referenciam umas às outras e são passíveis de resposta apenas a partir do vídeo e da pergunta atual. Consequentemente, nenhuma informação precisa ser carregada através das rodadas, deixando o desafio crítico da memória de vídeo em contexto não medido.

Metodologia: Construção do VideoMemBench

Os autores introduzem o VideoMemBench, um benchmark projetado para avaliar explicitamente a memória de vídeo em contexto por meio de dependências cruzadas de rodadas tipificadas e estruturadas. O pipeline de construção envolve três papéis de LLM e revisão por especialistas humanos:

  1. Coleta de Vídeos: Um pool inicial de aproximadamente 3.200 vídeos foi curado de benchmarks existentes (Video-MME, VSI-Bench, etc.) e da web (YouTube), cobrindo quatro domínios principais: Estilo de Vida e Entretenimento, Conhecimento e Educação, Arte e Literatura, e Esportes e Competição.
  2. Planejamento de Dependência (LLM Planejador): Antes de gerar as perguntas, um planejador cria uma especificação global de diálogo. Isso inclui uma sinopse do vídeo, diretrizes de diálogo e um grafo de dependência tipificado. O grafo atribui rodadas pai às rodadas dependentes, rotulando as arestas como:
    • Dependência Episódica: A pergunta refere-se de volta a um episódio visual descrito em uma rodada anterior (sondando a memória do que o modelo viu).
    • Dependência de Resposta: A pergunta baseia-se na própria resposta anterior do modelo (sondando a memória do que o modelo disse).
  3. Geração por Rodada (LLM Gerador): O gerador constró a conversa rodada por rodada, aderindo ao plano. Ele garante que as rodadas dependentes utilizem expressões de referência (ex: "a cena de T1") sem restabelecer o conteúdo anterior.
  4. Verificação Automatizada (LLM Juiz): Um juiz impõe três requisitos rigorosos para cada rodada:
    • Necessidade: A pergunta deve ser impossível de responder se as rodadas pai forem removidas (mesmo com acesso ao vídeo).
    • Não-vazamento: A pergunta não deve restabelecer informações das rodadas pai ou revelar suas respostas.
    • Fundamentação Visual: Cada resposta deve ser verificável contra quadros específicos do vídeo.
      As rodadas que falham são regeneradas; duas falhas consecutivas disparam o replanejamento.
  5. Revisão por Especialista Humano: Oito especialistas humanos revisam todos os diálogos em relação ao vídeo para verificar a correção das respostas, a validade da dependência e a ausência de vazamento de informação.

Estatísticas do Conjunto de Dados:

  • 326 vídeos pareados com 326 diálogos de múltiplas rodadas.
  • 2.476 rodadas de QA no total.
  • 1.387 rodadas são dependentes (56,02%), compreendendo 1.200 dependências Episódicas e 594 dependências de Resposta.
  • As dependências incluem estruturas de múltiplos pais (até 3 pais) e cadeias de longo alcance (até 9 rodadas de distância).

Protocolo de Avaliação

O benchmark avaliou 25 MLLMs (8 de código fechado, 17 de pesos abertos) usando um protocolo de auto-rollout onde os modelos recebem 128 quadros amostrados uniformemente e o histórico completo da conversa. Três métricas foram definidas:

  1. TurnAcc: Acurácia sobre todas as rodadas, pontuada de forma independente.
  2. EpiDepAcc: Acurácia em rodadas com dependências Episódicas (memória de contexto visual).
  3. AnsDepAcc: Acurácia em rodadas com dependências de Resposta usando crédito em cadeia. Uma rodada só recebe crédito se sua resposta e todas as respostas ao longo de sua ancestralidade de dependência de Resposta estiverem corretas. Isso penaliza o acúmulo de erros.

Principais Resultados

  • Desempenho Geral: O melhor modelo, Claude Opus 5, alcançou uma pontuação geral de apenas 45,7%, significativamente inferior à linha de base humana de 86,1%.
  • Tipos de Dependência: O desempenho foi consistentemente menor em rodadas dependentes em comparação com as independentes.
    • AnsDepAcc foi a métrica mais desafiadora (35,7% para o Claude Opus 5), ficando 16,6 pontos percentuais atrás da TurnAcc. Isso indica uma dificuldade severa em manter a consistência com respostas anteriores.
    • EpiDepAcc (49,1%) foi ligeiramente melhor, mas ainda abaixo da acurácia de rodadas independentes (52,3%).
  • Impacto da Complexidade:
    • Distância: A acurácia declinou conforme a distância de dependência aumentava (de 3 de 30,2% na distância 1 para 23,1% na distância ≥5).
    • Multi-pai: A acurácia caiu conforme o número de rodadas pai aumentava.
    • Posição: As rodadas dependentes em posições posteriores no diálogo mostraram declínios consistentes de acurácia.
  • Fontes de Erro: Experimentos substituindo o histórico do modelo pelo histórico real (histórico Oracle) mostraram ganhos de desempenho significativos (ex: Qwen3-VL-8B melhorou de 12,3% para 32,4%), confirmando que erros em respostas anteriores são uma fonte primária de dificuldade para rodadas subsequentes. No entanto, mesmo com o histórico perfeito, a acurácia permaneceu abaixo dos níveis de rodadas independentes, sugerindo que o histórico correto isoladamente é insuficiente para uma memória de vídeo em contexto confiável.

Significância e Alegações

O artigo afirma que a memória de vídeo em contexto continua sendo um problema aberto e desafiador para os atuais MLLMs, mesmo para modelos de fronteira. As principais contribuições são:

  1. Identificação de uma Lacuna: Destacar que os benchmarks existentes falham em medir a capacidade de recuperar e reutilizar o contexto de diálogo estabelecido em conversas de vídeo.
  2. VideoMemBench: Fornecer o primeiro benchmark com dependências cruzadas de rodadas explicitamente tipificadas (Episódica e de Resposta) que impõem necessidade e não-vazamento, apoiado por um pipeline de construção rigoroso.
  3. Evidência Empírica: Demonstrar que os modelos atuais lutam significativamente com dependências cruzadas de rodadas, particularmente ao manter a consistência com suas próprias respostas anteriores (crédito em cadeia) e lidar com dependências de longo alcance ou de múltiplos pais.

Os autores concluem que o VideoMemBench fornece uma base necessária para o desenvolvimento de MLLMs de vídeo capazes de recordar e construir sobre observações e respostas anteriores de forma confiável em conversas estendidas.

Afogado em artigos na sua área?

Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.

Experimentar Digest →