Resumo Técnico: MemCompiler — Memória Condicionada ao Estado para Agentes Embutidos

Declaração do Problema

Os sistemas de memória atuais para agentes embutidos dependem predominantemente de um paradigma de Injeção Monolítica de Memória Antecipada (AMMI). Nesta abordagem, as entradas de memória recuperadas são montadas em um contexto estático no início de um episódio e permanecem fixas durante toda a execução. Os autores argumentam que este design sofre de diluição da atenção: à medida que o estado de execução do agente evolui, a memória estática torna-se cada vez mais desalinhada com as necessidades atuais. Experiências valiosas ficam soterradas sob entradas irrelevantes ou contraproducentes, fazendo com que executores de políticas leves degradem-se abaixo da linha de base sem memória.

Este problema é específico de agentes embutidos devido a duas propriedades estruturais ausentes em agentes de linguagem:

1. Relevância Dependente do Estado: A utilidade da memória depende do progresso inferido de subobjetivos e de crenças ambientais derivadas de fluxos contínuos de ação-visual, e não apenas de consultas explícitas. A injeção estática não consegue adaptar-se a essas mudanças.
2. Natureza Multimodal da Experiência: A experiência embutida contém informações espaciais e de affordance difíceis de codificar em texto. Memória baseada apenas em texto perde pistas críticas, enquanto a injeção visual ingênua amplifica a diluição da atenção.

Soluções existentes para agentes de linguagem (por exemplo, grafos estruturados, divulgação progressiva) assumem backbones de raciocínio poderosos e interação centrada em texto, tornando-as inadequadas para políticas embutidas leves operando sobre fluxos visuais.

Metodologia: MemCompiler

O artigo propõe o MemCompiler, uma mudança de paradigma da injeção estática para a Compilação de Memória Condicionada ao Estado (SCMC). Análogo a um compilador de software que traduz código-fonte em instruções de destino com base no ambiente de execução, o MemCompiler trata a memória da tarefa como "código-fonte" e o estado atual do agente como "contexto de execução".

Componentes Principais

1. Estado Resumido ($b_t$): Um contexto estruturado de execução mantido pelo Compilador de Memória. Ele comprime o objetivo da tarefa, o histórico de ações e as observações em duas dimensões:
   • Estado de Progresso da Tarefa: Subobjetivos concluídos/atuais/pendentes.
   • Crença Ambiental: Localizações conhecidas de objetos, status do agente e fatos ambientais.
2. Compilador de Memória ($\pi_C$): Um modelo leve que lê o estado atual $s_t = (o_t, b_t)$ e o pool de memória $M$. Em cada passo, decide dinamicamente emitir um de quatro tipos:
   • Experiência: Orientação estratégica ($m^*_{t}$) para o Executor.
   • Resumo: Atualizações ($\Delta b_t$) ao contexto de execução.
   • Híbrido: Tanto orientação quanto atualizações de contexto.
   • SemAção: Nenhuma saída quando nenhuma memória é atualmente aplicável.
3. Soft-Mem (Saída de Canal Duplo): Para abordar a lacuna multimodal, a memória compilada é entregue por dois canais:
   • Canal de Texto: Orientação estratégica interpretável.
   • Canal Latente Suave ($m^*_{t, soft}$): Tokens suaves latentes projetados diretamente no espaço de incorporação do Executor, carregando informações perceptuais e espaciais (por exemplo, layouts visuais) que o texto não pode expressar. Uma restrição de ortogonalidade garante que este canal não colapse em uma cópia redundante do texto.

Pipeline de Treinamento

O MemCompiler é treinado de ponta a ponta em duas etapas:

1. Ajuste Fino Supervisionado (SFT): Otimiza três objetivos: perda de geração de texto, perda de previsão de ação (usando os tokens suaves injetados) e uma perda de token suave. A perda de token suave inclui um termo de alinhamento semântico e uma restrição de complementaridade (penalizando a similaridade cosseno entre representações latentes e de texto) para garantir que o canal latente codifique informações perceptuais distintas.
2. Aprendizado por Reforço (GRPO): Utiliza a Otimização de Política Relativa de Grupo para refinar as decisões de compilação do Compilador de Memória com base em recompensas binárias de sucesso da tarefa, permitindo que o modelo explore estratégias além da distribuição de SFT.

Contribuições Principais

• Mudança de Paradigma: Introduz a SCMC, substituindo a injeção estática por compilação dinâmica e passo a passo condicionada a um Estado Resumido estruturado.
• Entrega de Memória Multimodal: Propõe o Soft-Mem, um mecanismo de canal duplo que contorna o gargalo de texto para entregar conhecimento perceptual latente diretamente ao executor.
• Compilação Consciente do Estado: Demonstra que um compilador leve pode filtrar e formatar efetivamente a memória, permitindo que modelos menores realizem tarefas complexas sem a diluição da atenção causada pelo contexto estático.

Resultados Experimentais

O método foi avaliado no AlfWorld, EmbodiedBench (EB-ALFRED, EB-Habitat) e ScienceWorld através de quatro backbones de código aberto (série Qwen) e dois backbones de código fechado (GPT-5.2, Gemini-3-flash).

• Ganhos de Desempenho: O MemCompiler melhorou consistentemente o desempenho sobre a linha de base sem memória em todos os executores de código aberto. Os ganhos atingiram +110% no EB-ALFRED e +129% no ScienceWorld.
• Robustez vs. AMMI: Enquanto as linhas de base AMMI frequentemente degradaram o desempenho em modelos menores de código aberto (por exemplo, -83,3% no Qwen-2.5-VL-32B), o MemCompiler foi o único método a melhorar todos os backbones de código aberto.
• Fechando a Lacuna: O MemCompiler permitiu que modelos de código aberto de tamanho médio se aproximassem ou igualassem sistemas de código fechado de fronteira. Por exemplo, Qwen-3.5-27B + MemCompiler igualou o Gemini-3-flash no Alf World e superou o GPT-5.2 no EB-Habitat.
• Eficiência: Ao reduzir os tokens de entrada do executor em 60% e cortar a latência por passo de 0,30s para 0,12s, o MemCompiler demonstrou que a compilação consciente do estado melhora tanto a eficácia quanto a eficiência.
• Ablação: A remoção do Estado Resumido ou do canal Soft-Mem causou quedas significativas de desempenho, confirmando que tanto a condicionamento ao estado quanto a entrega perceptual latente são críticos.

Significado

O artigo conclui que o progresso na memória para agentes embutidos depende cada vez mais de quando e como a memória é entregue, e não apenas do que é armazenado. Ao reformular a utilização de memória como um processo de compilação condicionado ao estado evolutivo do agente, o MemCompiler aborda o desalinhamento fundamental da injeção estática, permitindo que agentes embutidos leves aproveitem a experiência acumulada de forma eficaz sem sofrer de diluição da atenção.