Resumo Técnico: Tomada de Decisão Incorporada de Longo Horizonte via Compressão de Memória Multimodal

1. Definição do Problema

O artigo aborda o desafio da tomada de decisão incorporada (embodied) de longo horizonte e centrada no ser humano. Diferente das tarefas incorporadas padrão que focam em planejamento procedural ou conclusão de objetivos imediatos (ex: "pegar a xícara"), este cenário exige que os agentes atuem como tomadores de decisão em nome dos usuários ao longo de interações estendidas. O problema central envolve navegar por múltiplos ambientes incorporados (especificamente habitações), acumular evidências multimodais ao longo do tempo e selecionar o candidato ideal com base em preferências humanas multidimensionais.

Os principais desafios identificados incluem:

• Subespecificação de Preferências: As preferências do usuário são frequentemente implícitas, indiretas ou baseadas em personas (ex: "Eu cozinho com frequência" implica a necessidade de uma cozinha ampla) em vez de listas de verificação explícitas.
• Fundamentação de Longo Horizonte (Long-Horizon Grounding): Os agentes devem vincular preferências textuais a observações visuais através de múltiplos ambientes e passos temporais.
• Gerenciamento de Memória: Os agentes atuais têm dificuldade em gerenciar grandes volumes de evidências acumuladas. O artigo postula que o histórico multimodal bruto e não filtrado introduz ruído que prejudica a qualidade da decisão, criando uma relação não monotônica entre o tamanho da memória e o desempenho.

2. Metodologia

2.1 DunphyBench: Um Novo Benchmark

Para avaliar sistematicamente este problema, os autores introduzem o DunphyBench, um benchmark para tomada de decisão incorporada de longo horizonte centrada no ser humano.

• Tarefa: O agente deve explorar um conjunto de ambientes de habitação candidatos (gerados a partir do ProcTHOR) e selecionar o ambiente "ideal" que melhor se alinhe a um conjunto de preferências do usuário.
• Estrutura: Cada instância inclui um conjunto de preferências ($N=7$) e um pool de candidatos ($1 + 3M$), onde $M$ representa distratores de diferentes níveis de dificuldade (Fácil, Médio, Difícil).
• Taxonomia de Preferências: As preferências são categorizadas em sete tipos semânticos: contagem/tipos de cômodos, dimensões, janelas/iluminação, presença de objetos, contagem de objetos, conectividade espacial e materiais/acabamentos.
• Tracks (Trilhas): O benchmark apresenta duas trilhas:
  1. Explícita: As preferências são restrições estruturadas (ex: "3 quartos").
  2. Implícita: As preferências são declarações em linguagem natural que exigem inferência (ex: "Eu amo cozinhar").
• Métricas de Avaliação: Acurácia (decisão final correta), Razão de Satisfação Normalizada (corretude parcial) e Eficiência de Exploração (equilíbrio entre passos dados e acurácia).

2.2 MeMento: Compressão de Memória Multimodal Condicionada por Preferência

Motivado pela descoberta de que o contexto excessivo degrada o desempenho, os autores propõem o MeMento, um framework para comprimir seletivamente informações relevantes para a decisão do histórico de longo horizonte.

• Arquitetura: O MeMento é um módulo estilo Perceiver condicionado por preferência que utiliza um conjunto fixo de tokens de memória aprendíveis (queries) para comprimir o histórico multimodal bruto.
• Codificação:
  • Codificação de Preferência: Os requisitos do usuário (explícitos ou implícitos) são transformados em palavras-chave e agrupados em um único embedding de preferência ($\bar{z}_r$).
  • Codificação de Passo: Cada passo de exploração (visão de ego, visão de mapa, observações, ações) é codificado em uma representação de passo, aumentada com IDs temporais e de ambiente.
• Mecanismo de Compressão:
  • Queries Condicionadas por Preferência: As queries aprendíveis recebem a injeção do embedding de preferência via uma rede de projeção ($Q_r = Q_0 + \phi(\bar{z}_r)$).
  • Compressão Hierárquica: As queries atendem às representações de passo dentro de cada ambiente de forma independente (Cross-Attention), seguido de autoatenção para fundir informações entre os passos, produzindo tokens compactos de nível de ambiente. Estes são concatenados para formar tokens de memória global.
• Injeção: Os tokens comprimidos são projetados no espaço de embedding do VLM congelado via um adaptador treinável e prefixados ao prompt atual como um prefixo estruturado.
• Estratégia de Treinamento:
  • Estágio 1 (Guia de Preferência): Treina o compressor para prever pontuações de relevância de preferência ao nível de passo e alinha os pesos de atenção com rótulos de relevância.
  • Estágio 2 (Alinhamento): Treina o compressor e o adaptador para tornar a memória comprimida legível pelo VLM congelado usando tarefas de QA relacionadas à preferência.

3. Resultados Principais

3.1 Avaliação do Benchmark (DunphyBench)

• Lacuna Humano vs. Agente: Existe uma lacuna substancial de desempenho. A melhor configuração de agente (GPT-5.4 com memória multimodal e sem ferramentas) alcançou 58,3% de acurácia, enquanto anotadores humanos alcançaram 83,3%.
• Sensibilidade à Complexidade: O desempenho degrada-se bruscamente com a complexidade da tarefa. A acurácia cai de ~49% para ~25% (Explícita) e de ~26% para ~16% (Implícita) conforme a dificuldade aumenta de Fácil para Difícil.
• Gargalo de Preferência Implícita: Os agentes têm grande dificuldade com preferências implícitas em comparação com as explícitas (ex: 26,7% vs. 49,1% em configurações Fáceis).
• Impacto da Memória: Incorporar memória multimodal quase dobra a acurácia em comparação com agentes sem memória para alguns modelos. No entanto, a escala de memória não filtrada é não monotônica; o desempenho atinge o pico em um comprimento de histórico moderado (15 turnos) e declina com contexto excessivo devido ao ruído.

3.2 Desempenho do MeMento

• Melhoria de Acurácia: No DunphyBench, o MeMento melhorou a acurácia do modelo base (Qwen3VL-8B) em 7,18% (absolutos) e 15,74% (relativos) em comparação com o baseline mais forte.
• Eficiência de Memória: O MeMento reduziu o uso de memória em 85,38% em comparação com o baseline mais forte, Memória Multimodal (Recente) (~60K tokens), utilizando apenas ~3,8K tokens.
• Estudos de Ablação:
  • Remover o condicionamento por preferência causou a maior queda de desempenho (de 52,78% para 15,67%), confirmando o papel crítico da fundamentação da preferência.
  • Remover a memória visual ou a compressão hierárquica levou a uma degradação moderada, destacando a sinergia da evidência multimodal e da agregação estruturada.
• Generalização: O MeMento foi testado em 100 tarefas de agentes web (Embodied Web Agent), alcançando 83% de sucesso com apenas 512 tokens, superando a memória recente (69% com 4,5k tokens) e o resumo de texto (72% com 1k tokens).

4. Significância e Alegações

O artigo afirma que o gerenciamento eficaz de memória multimodal de longo horizonte, em vez de simplesmente escalar janelas de contexto, é a chave para construir agentes de tomada de decisão robustos.

• Diagnóstico: O trabalho identifica que o histórico multimodal bruto introduz ruído que prejudica a qualidade da decisão, e que os agentes atuais falham em rastrear estados visitados ou agregar evidências efetivamente ao longo de longos horizontes.
• Solução: O MeMento demonstra que comprimir seletivamente o histórico com base nas preferências do usuário permite que os agentes retenham informações relevantes para a decisão enquanto descartam o ruído, melhorando significativamente tanto a acurácia quanto a eficiência.
• Contribuição do Benchmark: O DunphyBench fornece um framework de avaliação necessário que vai além do planejamento procedural para testar a capacidade de um agente de inferir preferências implícitas e raciocinar sobre evidências de múltiplos ambientes ao longo do tempo.

Os autores concluem que sua abordagem serve como um baseline aprimorado para a tomada de decisão incorporada de longo horizonte, generalizando além de tarefas de habitação para cenários de decisão baseados na web.