Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

Resumo Técnico: Memória Agente Visual (VAM)

Declaração do Problema
A compreensão de vídeos longos enfrenta um desafio fundamental: embora a captura de vídeo de alta largura de banda seja prática, transformar fluxos ilimitados em um substrato de memória estável, consultável e verificável permanece difícil. Paradigmas existentes sofrem de limitações específicas. Modelos de contexto longo direto são vulneráveis à diluição da atenção à medida que a duração do vídeo aumenta. Esquemas de memória comprimida melhoram a tratabilidade, mas frequentemente descartam evidências visuais de alta granularidade, levando a um "colapso da recuperabilidade", onde o resumo semântico é preservado, mas a evidência bruta necessária para verificação é perdida. Abordagens recursivas de agente podem acumular desvio de memória quando o raciocínio intermediário não pode ser verificado contra observações preservadas. Além disso, designs ajustados online frequentemente comprimem de forma muito agressiva, enquanto designs ajustados para longo alcance dependem de pré-processamento offline custoso. O problema central é como manter um arquivo abrangendo horas ou dias que permaneça pesquisável, auditável e útil para raciocínio a jusante, sem depender exclusivamente de estados latentes comprimidos.

Metodologia: Memória Agente Visual (VAM)
Os autores propõem a Memória Agente Visual (VAM), um framework sem treinamento projetado para transformar fluxos de vídeo brutos em memória de longo horizonte pesquisável, preservando quadros originais como evidência de primeira classe. O sistema desacopla a indexação contínua do raciocínio no momento da consulta e opera através de três componentes acoplados:

1. Indexação Online: Este componente filtra quadros entrantes sob restrições de streaming para reter transições visualmente significativas. Emprega um processo de três etapas:

   • Filtragem de Quadros: Remove quadros desfocados (via variância de Laplaciano) e quadros visualmente redundantes (via verificações de similaridade de pré-embedding) antes do processamento neural de alto custo.
   • Extração de Embedding: Quadros retidos são codificados em embeddings densos usando um modelo multimodal pré-treinado.
   • Comprometimento Preservador de Fronteiras: O sistema usa um gate de deduplicação adaptativo baseado na partição de Otsu de distâncias de embedding para decidir quando comprometer um "momento" (um quadro retido com metadados). Isso garante que transições sejam preservadas enquanto intervalos quase estáticos são compactados.

2. Memória Hierárquica: Momentos retidos são organizados em "eventos" via uma representação temporal-espacial paralela.

   • Representação Espacial: Armazena quadros brutos retidos e seus embeddings para inspeção visual direta.
   • Representação Temporal: Armazena resumos de eventos gerados por um MLLM a partir de evidências temporalmente delimitadas. Esses resumos capturam atividades salientes, entidades e pistas temporais.
   • Armazenamento Consciente da Idade: O sistema gerencia níveis de armazenamento (recente, médio, longo) onde segmentos mais antigos são consolidados em pistas compactas, enquanto janelas recentes retêm cargas úteis densas. Isso permite que o sistema escale para fluxos de um mês (por exemplo, 51 dias) armazenando apenas uma fração dos quadros brutos.

3. Recuperação Agente: No momento da consulta, um MLLM atua como um agente de recuperação operando em um loop multi-turno delimitado. Segue um paradigma "observar–hipotetizar–inspecionar":

   • Recuperação Híbrida: O agente pesquisa tanto o caminho temporal (resumos de eventos) quanto o caminho espacial (embeddings de quadros) para localizar evidências candidatas.
   • Inspeção Fundamentada: Candidatos recuperados são provisórios. O agente invoca uma ação inspecionar para realizar verificação visual direta em quadros brutos, resolvendo ambiguidades e adjudicando conflitos entre sinais de recuperação.
   • Síntese de Resposta: O agente termina apenas quando evidência fundamentada suficiente é encontrada, produzindo uma resposta ancorada a intervalos visuais específicos e recuperáveis, citando a evidência.

Contribuições Principais

1. Formulação: O artigo reformula a compreensão online de vídeos longos como um problema de memória visual recuperável de evidências, deslocando o foco de meramente estender janelas de contexto para criar memória pesquisável e inspecionável.
2. Framework: O VAM é introduzido como um framework sem treinamento, focado em recuperação, que constrói memória incrementalmente a partir de vídeo em streaming, desacoplando indexação de raciocínio.
3. Representação: Uma representação hierárquica paralela temporal-espacial é proposta, alinhando resumos no nível de evento com quadros brutos retidos para suportar tanto pesquisa eficiente na linha do tempo quanto verificação visual direta.
4. Validação Empírica: O framework demonstra desempenho aprimorado em configurações online e de longo horizonte enquanto armazena uma fração mínima dos dados brutos.

Resultados
Os autores avaliam o VAM em dois benchmarks:

• OVO-Bench (Avaliação Online): O VAM alcança a maior média RT+BT (Tempo Real + Rastreamento Reverso) de 68,41 entre todas as linhas de base relatadas. Isso supera o uso ponta a ponta do mesmo MLLM subjacente (Gemini 3 Flash), que pontua 67,46, indicando que os componentes arquitetônicos (indexação, memória, recuperação) fornecem um benefício sistemático sobre a capacidade do modelo isoladamente.
• MM-Lifelong (Avaliação de Longo Horizonte): Na divisão em escala mensal (105,6 horas ao longo de 51 dias), o VAM atinge 17,11% de precisão. Este é o segundo resultado mais alto relatado, ficando atrás apenas do ReMA com GPT-5 (17,62%) e superando significativamente as linhas de base de MLLM ponta a ponta.
• Eficiência: Na execução em escala mensal, o VAM armazena apenas 6.876 quadros (0,06% dos 11,4 milhões de quadros brutos), representando uma redução de 27,7x a 55,3x em comparação com linhas de base de amostragem fixa uniforme.

Significado e Alegações
O artigo alega que a compreensão de vídeo de longo horizonte se beneficia de tratar a memória visual como um substrato explícito, inspecionável e consultável, em vez de depender exclusivamente de estados latentes comprimidos. Ao preservar quadros brutos como evidência de primeira classe, o VAM permite raciocínio fundamentado onde respostas podem ser verificadas contra observações originais. Os resultados sugerem que a retenção explícita de evidências e a recuperação agente podem estreitar a lacuna de desempenho na compreensão de vídeo em escala mensal mais efetivamente do que simplesmente aumentar janelas de contexto ou depender de raciocínio recursivo sem preservação de evidências. Os autores observam que, embora a lacuna entre humano e modelo permaneça grande (82,5% vs. 17,11% no MM-Lifelong), a abordagem preservadora de evidências do VAM oferece um caminho mais eficaz para resolver esse desafio do que alternativas atuais.

Os autores também reconhecem limitações, incluindo assimetria de modalidade (falta de preservação de áudio), a crescente dificuldade de desambiguação de alta granularidade à medida que os arquivos crescem e os custos operacionais associados à indexação contínua e inspeção iterativa. Eles enfatizam que implementações futuras devem abordar preocupações de privacidade relacionadas à retenção de evidência visual bruta.