VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

Título: VideoARM: Raciocínio Agente sobre Memória Hierárquica para Compreensão de Vídeos Longos

1. O Problema

A compreensão de vídeos longos (long-form video understanding) permanece um desafio significativo para a inteligência multimodal. Vídeos extensos, como filmes, documentários e palestras, possuem estruturas temporais complexas e pistas multimodais densas. As abordagens existentes enfrentam duas limitações principais:

1. Pipelines de Raciocínio Rígidos: Muitos métodos dependem de pipelines de raciocínio pré-definidos e manuais (ex: VideoTree), que limitam a autonomia e a adaptabilidade do modelo.
2. Alto Consumo de Tokens e Pré-processamento Estático: Métodos recentes baseados em agentes (ex: DVD) realizam um pré-processamento exaustivo, segmentando o vídeo em clipes fixos e criando um banco de dados estático antes da consulta. Isso consome uma quantidade massiva de tokens (custo computacional elevado) e introduz redundância irrelevante para a pergunta do usuário. Além disso, esses bancos de dados não podem ser atualizados dinamicamente durante o processo de raciocínio.

2. Metodologia: VideoARM

O VideoARM introduz um paradigma de Raciocínio Agente sobre Memória Hierárquica (Agentic Reasoning-over-hierarchical-Memory). Em vez de pré-processamento estático, o sistema executa um ciclo adaptativo e contínuo de Observar, Pensar, Agir e Memorizar.

O sistema é composto por dois componentes principais:

A. Memória Multimodal Hierárquica (HM3)

A HM3 atua como uma base de conhecimento contextual que evolui dinamicamente durante a execução do agente, organizada em três níveis:

• Memória Sensorial (Sensory Memory): Armazena informações perceptivas brutas.
  • Pool de Percepção de Longo Prazo: Mantém um snapshot do intervalo de tempo atual sendo processado (quadros base).
  • Pool de Percepção de Curto Prazo: Funciona como um espaço de trabalho transitório para clipes finos e áudio durante a exploração local, sendo limpo após o uso para economizar recursos.
• Memória de Resultados (Result Memory): Registra os resultados intermediários das ferramentas (intervalos de quadros analisados, saídas de ferramentas), criando um histórico granular das percepções do agente para evitar ações redundantes.
• Memória de Trabalho (Working Memory): Armazena os rastros de raciocínio e os objetivos do controlador antes de cada chamada de ferramenta. Isso externaliza o contexto do MLLM, reduzindo o "overflow" de contexto e mantendo o foco.

B. Agente de Raciocínio de Vídeo (Do Grosso ao Fino)

O agente utiliza um controlador que orquestra a execução baseada em evidências armazenadas na HM3. Ele emprega dois conjuntos de ferramentas complementares:

1. Ferramentas de Escopo Temporal (Temporal Scoping Tools):
   • Interval Localizer: Identifica intervalos de quadros relevantes para a consulta, reduzindo o escopo de trabalho e o consumo de tokens.
   • Clip Explorer: Realiza sondagem fina e rápida em intervalos locais para teste de hipóteses.
2. Ferramentas de Compreensão Multimodal (Multimodal Understanding Tools):
   • Scene Snapper: Resume e descreve cenas de longo prazo para raciocínio semântico de alto nível.
   • Audio Transcriber: Extrai e transcreve áudio (usando Whisper) para fornecer evidências semânticas complementares quando as pistas visuais são ambíguas.
   • Clip Analyzer: Analisa quadros específicos para obter detalhes semânticos finos e validar hipóteses.

Fluxo de Operação: O controlador observa o estado atual na HM3, planeja a próxima ação (qual ferramenta chamar e em qual intervalo), executa a ferramenta, e atualiza a memória com os novos resultados. Esse ciclo repete-se até que a confiança na resposta seja suficiente ou o orçamento de passos seja atingido.

3. Contribuições Chave

• Paradigma Adaptativo: Substitui o pré-processamento exaustivo e estático por um raciocínio "agente" adaptativo e sob demanda (on-the-fly), que foca apenas nas partes do vídeo relevantes para a consulta.
• Eficiência de Tokens: A abordagem de "do grosso ao fino" (coarse-to-fine) reduz drasticamente o consumo de tokens ao evitar a análise de todo o vídeo com alta resolução desde o início.
• Memória Dinâmica e Hierárquica: A HM3 permite que o agente mantenha o contexto de longo prazo, registre rastros de raciocínio e atualize suas crenças em tempo real, superando as limitações de bancos de dados estáticos.
• Arquitetura sem Treinamento (Training-Free): O método não requer ajuste fino (fine-tuning) de modelos base, utilizando MLLMs comerciais via API, o que reduz custos de treinamento e aumenta a generalização.

4. Resultados Experimentais

O VideoARM foi avaliado em benchmarks populares de vídeo longo: Video-MME, LongVideoBench e EgoSchema.

• Desempenho: O VideoARM superou o estado da arte (SOTA), incluindo o método anterior DVD e modelos comerciais como GPT-4o e Gemini-1.5-Pro.
  • No Video-MME, alcançou 86.4% (com OpenAI o3 + GPT-4.1), superando o DVD e outros métodos.
  • No LongVideoBench (subconjunto longo), atingiu 73.7%, um novo recorde.
• Eficiência de Tokens: A análise comparativa mostrou que o VideoARM consome apenas 1/50 dos tokens necessários pelo método DVD para vídeos de 30 minutos com uma consulta. Em testes experimentais com 10 vídeos, o consumo foi 1/34 do DVD.
• Ablação: Estudos demonstraram que a combinação de todas as ferramentas (resumo de cena, transcrição de áudio e análise de clipe) e a memória hierárquica completa são essenciais para o desempenho máximo. A remoção de qualquer componente da HM3 resultou em quedas significativas de precisão.

5. Significância e Impacto

O VideoARM representa um avanço fundamental na compreensão de vídeos longos ao demonstrar que a eficiência computacional e o desempenho de raciocínio não são trade-offs obrigatórios.

• Viabilidade Econômica: Ao reduzir o consumo de tokens em ordens de magnitude, torna a análise de vídeos longos viável para aplicações em escala industrial.
• Autonomia Cognitiva: O modelo prova que agentes multimodais podem realizar raciocínio complexo, planejamento e atualização de memória de forma autônoma, sem depender de pipelines manuais ou bancos de dados pré-construídos.
• Futuro: O trabalho abre caminho para sistemas de IA que podem assistir e compreender filmes inteiros, reuniões ou aulas com a mesma profundidade e eficiência que humanos, focando apenas no que é relevante para a tarefa em questão.

Em resumo, o VideoARM redefine o estado da arte ao combinar raciocínio agente adaptativo com uma memória estruturada, oferecendo uma solução prática, eficiente e de alto desempenho para o desafio da compreensão de vídeos longos.