Resumo Técnico: EgoExoMem

Declaração do Problema

Embora os modelos de linguagem grandes multimodais (MLLMs) estejam cada vez mais capazes de perceber e raciocinar sobre ambientes complexos, as estruturas de memória existentes para agentes incorporados permanecem fundamentalmente limitadas por sua dependência de observações puramente egocêntricas (em primeira pessoa). Essa perspectiva singular cria pontos cegos em relação a regiões fora do campo de visão, relações espaciais e interações de outros agentes dentro de um espaço compartilhado. Embora os humanos codifiquem naturalmente experiências a partir de ambas as perspectivas de "campo" (primeira pessoa) e "observador" (terceira pessoa) para apoiar a consciência situacional, as principais referências e métodos atuais tratam essas visões de forma independente ou focam na transferência unidirecional de conhecimento. Há uma falta de uma avaliação padronizada para o raciocínio de memória entre visões, onde um agente deve sintetizar fluxos de vídeo sincronizados egocêntricos e exocêntricos para responder a perguntas que são irresolúveis a partir de qualquer uma das visões isoladamente.

Metodologia

1. Benchmark EgoExoMem

Os autores introduzem o EgoExoMem, o primeiro benchmark projetado para avaliar o raciocínio baseado em memória sobre vídeos sincronizados egocêntricos e exocêntricos.

• Fonte de Dados: O benchmark utiliza 390 vídeos sincronizados dos conjuntos de dados LEMMA e EgoExo4D, focando em cenários com interação ambiental substancial (cozinha e reparo de bicicletas) e atividades multiagente.
• Definição da Tarefa: O benchmark compreende 2.600 Perguntas de Múltipla Escolha (MCQs) verificadas por humanos, categorizadas em oito tipos distintos de raciocínio:
  1. Localização Habitual (HL): Retenção persistente de mapas espaciais.
  2. Posição Instantânea (IP): Conectar ação egocêntrica com posição alocêntrica.
  3. Localização Resultante (RL): Rastrear a localização de um objeto após manipulação através de limites de eventos.
  4. Direção Egocêntrica (ED): Consciência espacial de alta granularidade em relação ao usuário da câmera.
  5. Estado do Objeto (OS): Identificar estados físicos de objetos manipulados.
  6. Relação Alocêntrica (AR): Relações espaciais entre objetos a partir de uma perspectiva de terceira pessoa.
  7. Atividade de Terceira Pessoa (TPA): Rastreamento espacial simultâneo de múltiplos agentes.
  8. Ordenação Temporal (TO): Recordar a sequência de sub-ações procedimentais.
• Controle de Qualidade: Um pipeline rigoroso garante a qualidade dos dados, incluindo edição humana para corrigir ambiguidades e uma "verificação apenas de texto" usando GPT-4o para garantir que as perguntas dependam estritamente da visão (removendo respostas de senso comum).

2. E2-Select: Método de Seleção de Quadros

Para abordar o desafio de recuperar informações relevantes de fluxos de vídeo duplos, sincronizados e assimétricos, os autores propõem o E2-Select, um método de seleção de quadros sem treinamento. Ao contrário de métodos anteriores que tratam as visões independentemente ou usam seleção rígida, o E2-Select é projetado para lidar com a assimetria de visão e a consistência temporal entre visões através de três estágios:

• Pontuação Independente de Visão: A relevância do quadro de consulta é computada separadamente para as visões ego e exo usando similaridade de cosseno CLIP. Isso evita que uma visão dominante sobrecarregue a outra durante a recuperação conjunta.
• Alocação de Orçamento Baseada em Relevância: O orçamento total de quadros ($K$) é alocado proporcionalmente às pontuações de relevância agregadas de cada visão. Isso permite que o sistema favoreça dinamicamente a visão mais relevante para a consulta específica, mantendo um equilíbrio suave.
• Amostragem k-DPP por Visão: Para reduzir a redundância temporal dentro de cada visão, o método emprega Processos Pontuais Determinantais k (k-DPP). Isso garante que o subconjunto selecionado de quadros seja tanto relevante para a consulta quanto visualmente diverso, maximizando o volume abrangido pelos embeddings de quadros no espaço de características.
• Mesclagem Ordenada por Timestamp: Quadros selecionados de ambas as visões são mesclados cronologicamente para preservar a estrutura temporal do fluxo de memória sincronizado.

Principais Resultados

Desempenho dos MLLMs

Avaliações extensas de MLLs proprietários (Gemini 2.5 Flash) e de código aberto (InternVL3.5, LLaVA-OV, Qwen2.5-VL) revelam desafios significativos:

• Complementaridade: A combinação de visões ego e exo supera consistentemente as entradas de visão única em todos os modelos. Por exemplo, o Gemini 2.5 Flash melhora de 52,2% (Ego) e 49,5% (Exo) para 55,3% com Ego+Exo.
• Limitações do Modelo: Mesmo o modelo de melhor desempenho alcança apenas 55,3% de precisão, indicando que os MLLMs atuais lutam com o raciocínio de memória abrangente entre visões.
• Preferências de Visão: Tipos específicos de QA mostram dependências distintas de visão. Posição Instantânea favorece visões exocêntricas, enquanto Direção Egocêntrica favorece visões egocêntricas. Notavelmente, Atividade de Terceira Pessoa mostrou uma preferência contra-intuitiva pela visão egocêntrica em modelos de base, que os autores atribuem a uma incompatibilidade entre a formulação da pergunta e a fundamentação da resposta.

Desempenho do E2-Select

O E2-Select demonstra desempenho state-of-the-art entre estratégias de recuperação de memória:

• Benchmarking: O E2-Select alcança uma precisão média de 58,2%, superando seleções de quadros existentes (AKS, BOLT), recuperação de texto (BM25, DPR) e recuperações fundamentadas visualmente (VideoRAG) como baselines.
• Estudos de Ablação: O estudo confirma que a amostragem k-DPP é mais eficaz para integração entre visões do que métodos de estimativa de estrutura temporal (como AKS/BOLT), que se degradam sob alocação de orçamento entre visões. Além disso, a alocação suave (baseada em relevância) supera significativamente a seleção rígida de visões, provando a necessidade de utilizar evidências complementares de ambos os fluxos.

Significado e Alegações

O artigo afirma que o EgoExoMem preenche uma lacuna crítica na pesquisa de IA incorporada ao estabelecer o primeiro benchmark para raciocínio de memória entre visões. Seu significado reside em:

1. Demonstrar a Insuficiência de Visões Únicas: Fornece evidências empíricas de que a memória egocêntrica sozinha é insuficiente para uma compreensão espaço-temporal holística, tornando necessária a integração de observações exocêntricas.
2. Destacar Limitações Atuais: O baixo desempenho dos MLLMs state-of-the-art (máximo 55,3%) sublinha a complexidade da tarefa e a necessidade de mecanismos de memória especializados.
3. Introduzir o E2-Select: O método proposto oferece uma solução simples, porém eficaz e sem treinamento, para seleção de quadros de dupla visão que aborda explicitamente a assimetria de visão e a consistência temporal, alcançando um novo state-of-the-art de 58,2%.
4. Revelar Conflitos Sistêmicos: A análise de casos de falha, particularmente o "conflito de preferência de visão" em perguntas de Atividade de Terceira Pessoa, destaca um desafio sutil onde a visão mais relevante para a pergunta pode diferir da visão mais relevante para a resposta, motivando trabalhos futuros sobre roteamento conjunto de visão de consulta-resposta.

Os autores posicionam o EgoExoMem e o E2-Select como recursos fundamentais para avançar o raciocínio de memória entre visões na inteligência incorporada, particularmente para aplicações em saúde, casas inteligentes e ambientes multiagente onde é necessária uma consciência situacional abrangente.