Resumo Técnico: MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion)

Declaração do Problema

A rápida evolução dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) deslocou a compreensão de vídeo de clipes curtos para fluxos ultra-longos que abrangem horas ou até dias. No entanto, processar diretamente tais vídeos ultra-longos de ponta a ponta é computacionalmente inviável devido às limitações da janela de contexto. Embora as estruturas de Geração Aumentada por Recuperação (RAG) ofereçam uma solução, as abordagens anteriores sofrem de duas ineficiências críticas no cenário ultra-longo:

1. Sobrecarga Independente de Consulta (Query-Agnostic Overhead): Métodos existentes (por exemplo, sumarização hierárquica ou memória baseada em grafos) investem recursos computacionais significativos para modelar relações e estruturas semânticas de alto nível antes de conhecer a consulta subsequente. Isso força uma "abstração independente de consulta" que pode não se alinhar com a informação específica necessária.
2. Má Alocação de Inteligência: Usar MLLMs poderosos para a construção de memória estática complexa (por exemplo, fundindo segmentos em resumos de nível diário ou construindo grafos de conhecimento) despende capacidade de raciocínio de alta competência em tarefas que poderiam ser adiadas.

Os autores argumentam que o gargalo deve mudar da construção de semântica estática e complexa antecipadamente para permitir a recuperação de alto recall que entrega consistentemente a evidência fina correta, adiando a composição semântica para o tempo de inferência quando a consulta é conhecida.

Metodologia: MERIT

O MERIT é um framework agêntico leve projetado para a compreensão de vídeo ultra-longo. Ele adota um paradigma minimalista de dois estágios: Construção de Memória Episódica (independente de consulta) seguido de Recuperação Agêntica e Resposta (dependente de consulta).

1. Construção de Memória Episódica (Estágio 1)

Em vez de construir grafos hierárquicos complexos ou resumos multiescala, o MERIT particiona o vídeo $V$ em clipes de 30 segundos não sobrepostos. Para cada clipe, ele gera uma legenda densa e extrai um conjunto de Multi-chaves ($K_i$).

• Representação de Multi-Chave: Cada clipe é indexado por quatro chaves distintas e complementares para capturar diversas perspectivas:
  • Chave de Evento/Ação: Ações físicas observáveis e interações.
  • Chave de Diálogo/Menção: Conteúdo falado, comandos ou palavras específicas.
  • Chave de Objeto: Itens específicos manipulados, solicitados ou movidos, incluindo transições de estado.
  • Chave de Resumo: Uma abstração compacta, em estilo de palavras-chave, da narrativa central.
• Armazenamento de Memória: A memória $M$ é um simples repositório de chave-valor onde as chaves ($K_i$) permitem a recuperação e os valores ($v_i, d_i$) fornecem a evidência bruta.

2. Recuperação Agêntica e Resposta (Estágio 2)

No tempo de inferência, o sistema opera em um loop iterativo de múltiplos turnos:

• Recuperação de Multi-Chave: O solver gera uma consulta de recuperação $q^{(j)}$ e a compara com as chaves armazenadas usando um modelo de embedding de sentenças. A relevância da recuperação é determinada pela Similaridade Máxima entre todas as chaves para um determinado clipe:
  $$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$$
  Isso permite que um clipe seja recuperado se qualquer uma de suas chaves se alinhar com a consulta, melhorando significativamente o recall.
• Filtragem de Vizinhos (Expansão Temporal): Reconhecendo que a evidência frequentemente abrange múltiplos momentos adjacentes, o MERIT não depende apenas do âncora de 30 segundos recuperado. Ao recuperar um conjunto de clipes, o sistema expande dinamicamente o contexto temporal incluindo clipes vizinhos (por exemplo, $\pm \Delta$ clipes).
• Filtragem Dependente de Consulta: O solver atua como um filtro neste contexto local expandido, destilando apenas a informação relevante para a consulta específica. Isso reconstrói um contexto coerente sem estruturas globais pré-computadas.
• Raciocínio Iterativo: O agente avalia se a evidência acumulada é suficiente. Se não for, ele refina a consulta e repete a recuperação; caso contrário, integra a evidência para gerar a resposta final.

Principais Contribuições

1. Mudança de Paradigma na Alocação de Inteligência: O artigo propõe adiar a composição semântica para o tempo de consulta em vez de investir em pré-processamento independente de consulta. Isso aproveita toda a capacidade de raciocínio do MLLM apenas quando a tarefa é especificada.
2. Indexação de Multi-Chave Simples e Eficaz: Ao anexar quatro chaves heterogêneas a segmentos episódicos mínimos, o MERIT alcança uma recuperação de alto recall sem o overhead computacional da construção de memória hierárquica ou baseada em grafos.
3. Expansão Temporal Sob Demanda: O mecanismo de "Filtragem de Vizinhos" captura um contexto semântico mais amplo ao expandir o escopo temporal exclusivamente em torno dos segmentos recuperados durante a inferência, evitando o custo massivo da construção de memória global.
4. Arquitetura Minimalista: O MERIT elimina a necessidade de uma consolidação de memória de múltiplos estágios dispendiosa, confiando em um simples mecanismo de correspondência de chaves e expansão de contexto dinâmica.

Resultados Experimentais

O MERIT foi avaliado em três benchmarks de vídeo longo: EgoLifeQA (ultra-longo, egocêntrico), LVBench (hora de duração) e Video-MME (Long).

• Desempenho de Estado da Arte (SOTA): O MERIT alcançou novos resultados SOTA em todos os benchmarks.
  • No EgoLifeQA, usando o GPT-5 como solver, o MERIT alcançou 71,2% de precisão média, superando o SOTA anterior (WorldMM com GPT-5) em +5,6%.
  • No LVBench, o MERIT (GPT-5) atingiu 71,8%, superando o SOTA anterior em +9,9%.
  • No Video-MME (Long), o MERIT alcançou 77,7%, superando o WorldMM (76,6%).
• Eficiência: O MERIT demonstrou ganhos significativos de eficiência na construção de memória. Comparado ao WorldMM, ele reduziu os tokens de entrada em 8,4× e os tokens de saída em 8,6×, além de reduzir as chamadas de LLM de ~23.700 para ~6.200.
• Qualidade de Recuperação: O MERIT alcançou uma Taxa de Acerto (Hit Rate) superior (0,56) em comparação com as bases hierárquica (EgoRAG: 0,15) e baseada em grafos (WorldMM: 0,53), confirmando que a recuperação precisa e de grão fino é crítica para o desempenho de QA.
• Estudos de Ablação:
  • Filtragem de Vizinhos: Remover este componente reduziu significativamente o desempenho, particularmente em categorias que exigem um contexto mais amplo (ex: RelationMap, HabitInsight).
  • Combinações de Multi-Chave: O uso das quatro chaves simultaneamente rendeu a maior precisão, validando a natureza complementar das chaves.
  • Dependência do Solver: O desempenho escalou significativamente com solvers mais fortes (ex: GPT-5 vs. Qwen3-VL-8B), reforçando a hipótesia de que a memória deve ser leve enquanto o solver lida com o raciocínio complexo.

Significância e Alegações

O artigo afirma que adiar a composição semântica para o tempo de consulta é uma abordagem mais fundamentada e eficaz do que investir em pré-processamento independente de consulta. Os resultados sugerem que:

1. Simplicidade é Eficaz: Uma memória episódica de multi-chave simples, combinada com expansão temporal sob demanda, pode superar arquiteturas hierárquicas ou baseadas em grafos complexas.
2. A Recuperação é o Gargalo: A recuperação de alta recall de evidências de grão fino é mais crítica do que estruturas semânticas pré-computadas.
3. Escalabilidade: O framework é altamente escalável para vídeos arbitrariamente longos porque evita os custos computacionais em cascata de atualizar estruturas de memória global complexas conforme o comprimento do vídeo aumenta.

Os autores posicionam o MERIT como uma fundação prática e escalável para a futura compreensão de vídeo ultra-longo, enfatizando que a "inteligência" necessária para o raciocínio complexo deve ser alocada na etapa de inferência, onde a consulta define as abstrações necessárias.