Resumo Técnico: EGOSTREAM

Declaração do Problema

Agentes autônomos operando em ambientes do mundo real dinâmicos requerem memória episódica contínua para armazenar e recuperar eventos através de diversos horizontes temporais. Embora a visão egocêntrica forneça um campo de teste natural para estudar essa capacidade — capturando a experiência em primeira pessoa conforme ela se desenrola — os métodos de avaliação atuais são insuficientes para diagnosticar falhas específicas de memória. Os benchmarks existentes de Video Question Answering (VideoQA) offline frequentemente falham em isolar a memória como uma variável mensurável, raramente controlando a distância temporal entre a evidência e a consulta. Além disso, eles não distinguem entre o esquecimento genuíno do modelo e a invalidação natural de respostas devido à evolução da cena. Benchmarks de streaming recentes focam em responsividade ou precisão agregada, mascarando os trade-offs qualitativos de diferentes arquiteturas de gerenciamento de memória. Consequentemente, modelos com perfis de memória vastamente diferentes (por exemplo, um que preserva o resumo grosseiro de um evento enquanto esquece localizações de objetos, outro que retém detalhes espaciais de curto prazo mas falha na recuperação causal de longo horizonte) podem alcançar pontuações semelhantes, dificultando o diagnóstico de quais formas de informação episódica degradam primeiro.

Metodologia

Os autores introduzem o EGOSTREAM, um benchmark de diagnóstico e um framework de avaliação unificado projetado para avaliar a memória episódica de streaming em visão egocêntrica.

1. O Benchmark EGOSTREAM

• Curadoria de Dados: O benchmark agrega 2.250 perguntas curadas de cinco conjuntos de dados de VideoQA egocêntrico existentes (Ego4D, EgoLife, EgoTempo, Multi-Hop EgoQA e HD-EPIC). Estas foram padronizadas em um formato de múltipla escolha de 4 vias usando negativos difíceis gerados por LLM para evitar a resolução superficial.
• Taxonomia Cognitiva: As perguntas são organizadas ao longo de sete dimensões cognitivas fundamentadas na teoria da memória: Detalhe (identidade/atributos do objeto), Espacial (localização), Temporal (ordem/sequência), Evento (resumo da ação), Social (pessoas/interações), Causal (razões) e Prospectiva (planos futuros).
• Janela de Validade da Resposta (AVW - Answer Validity Window): Uma inovação central é a AVW, que define o intervalo temporal preciso durante o qual uma resposta específica permanece factualmente correta antes de ser anulada por eventos subsequentes. Isso permite que o benchmark separe o "esquecimento" da "evolução da cena".
• Regimes de Recuperação: As perguntas são avaliadas através de sete regimes temporais variando de Instantâneo (0s) a Ultra-Longo Prazo (>8h). Ao amostrar tempos de consulta dentro da AVW, o benchmark expande as 2.250 perguntas em 8.528 avaliações condicionadas à recuperação, testando a retenção de memória em atrasos específicos.

2. Framework MLLM de Streaming Unificado

Para permitir comparações diagnósticas controladas, os autores implementam um framework de Modelo de Linguagem de Grande Escala Multimodal (MLLM) unificado baseado em um backbone Qwen3-VL congelado. Este framework isola o gerenciamento de memória como uma variável independente, mantendo o encoder, o projetor e o decoder fixos.

• Arquitetura de Cache: O cache KV é particionado em três regiões lógicas:
  • Tokens de Sumidouro ($SINK$): Tokens de prompt de sistema protegidos.
  • Tokens de Chapéu ($HAT$): Observações visuais recentes protegidas.
  • Região Mutável: Tokens visuais históricos sujeitos ao gerenciamento de memória.
• Estratégias de Gerenciamento de Memória: O framework avalia várias estratégias de estado da arte que operam estritamente na região mutável:
  • Redução: Poda (pruning) de tokens intra-frame e inter-frame (baseada em redundância de cosseno, saliência de pseudo-atenção, norma de valor, atenção guiada pelo sumidouro) e fusão (merging) de tokens.
  • Políticas de Transbordamento (Overflow): Descarte do tipo Primeiro a Entrar, Primeiro a Sair (FIFO) versus Offloading (armazenamento de tokens ejetados em disco para recuperação).
  • Quantização: Offloading quantizado em Int8 para reduzir custos de armazenamento.

Principais Contribuições

1. Benchmark EGOSTREAM: Um novo campo de teste diagnóstico composto por 2.250 perguntas validadas, expandidas em 8.528 avaliações através de sete dimensões cognitivas e sete regimes de recuperação.
2. Janela de Validade da Resposta (AVW): Uma métrica inovadora que restringe as avaliações de recuperação ao período de tempo onde uma resposta é factualmente válida, garantindo que a queda de desempenho seja atribuída à falha de memória, e não a mudanças ambientais.
3. Framework de Diagnóstico Unificado: Um pipeline de MLLM de streaming padronizado que permite a comparação plug-and-play de mecanismos de gerenciamento de memória (poda, fusão, offloading) sob restrições arquiteturais idênticas, revelando que a precisão agregada frequentemente mascara perfis de memória distintos.

Resultados

Experimentos dentro do framework unificado revelam que, embora as lacunas de desempenho agregado entre as estratégias sejam estreitas, os tipos específicos de informação retida e os horizontes temporais que elas suportam variam significamente.

• Agregado vs. Perfil: Os métodos de alto desempenho alcançam apenas cerca de 45% de precisão em média, e todos os mecanismos operam bem abaixo das velocidades de tempo real (>1s por frame). Pontuações agregadas comparáveis frequentemente escondem perfis de memória drasticamente diferentes.
• Poda (Pruning) vs. Fusão (Merging): A poda de tokens supera consistentemente a fusão de tokens. A poda preserva detalhes finos e estrutura temporal significativamente melhor, enquanto a fusão tende a borrar evidências detalhadas. Por exemplo, uma estratégia baseada em poda alcançou 45,19% de precisão semântica comparada aos 41,87% de uma abordagem baseada em fusão.
• Decaimento Temporal: O desempenho degrada conforme o horizonte de recuperação aumenta. Embora a memória espacial e de detalhes seja relativamente robusta no curto prazo, a recuperação de ultra-longo prazo (>8h) é particularmente desafiadora.
• Offloading: Estratégias de recuperação externa, particularmente o offloading quantizado (Q-OFF), são críticas para a memória de ultra-longo prazo. Embora o offloading sozinho seja mais fraco que a poda em memória, combinar a poda com o offloading quantizado (ex: StreamingTOM) resgata a recuperação de ultra-longo prazo (atingindo 34,21% para o regime Ultra-Long) e reduz significativamente o tempo de processamento (para 1,43s) em comparação com a pura poda em memória.
• Tokens Protegidos: A inclusão de tokens Sink e Hat é essencial. Adicionar tokens Sink a uma linha de base de janela deslizante ingênua aumentou a precisão semântica de ~29% para ~44%, confirmando que preservar o contexto estrutural e as observações recentes é vital para uma inferência estável.

Significância e Alegações

O artigo afirma que o EGOSTREAM fornece o campo de teste diagnóstico necessário para fechar a lacuna na pesquisa atual de memória episódica de streaming. Ao ir além da precisão agregada, o benchmark expõe que as arquiteturas atuais de estado da arte possuem limitações críticas:

• Elas falham em manter uma memória de alta fidelidade em horizontes longos sem penalidades significativas de latência.
• Diferentes escolhas arquitetônicas (poda vs. fusão) induzem vulnerabilidades específicas e previsíveis no que é retido.
• O campo requer métodos de avaliação que meçam explicitamente o que é lembrado e por quanto tempo, e não apenas se um modelo responde corretamente.

Os autores concluem que, embora os métodos atuais possam se especializar em diferentes perfis de memória, alcançar o verdadeiro streaming de ingestão em tempo real com memória episódica confiável de longo prazo continua sendo um desafio aberto. O benchmark e o framework pretendem guiar o design de futuras arquiteturas de streaming ao fornecer uma ferramenta precisa para diagnosticar vulnerabilidades de memória em agentes incorporados.