Resumo Técnico: Auto-Dreamer: Aprendizado de Consolidação de Memória Offline para Agentes de Linguagem

Declaração do Problema

Agentes de linguagem estão sendo cada vez mais implantados sobre fluxos de tarefas relacionadas, em vez de interações isoladas. Nessas configurações, a memória de longo prazo deve servir não apenas como um cache de recuperação para entidades passadas, mas como um mecanismo para converter experiência bruta em procedimentos reutilizáveis, conhecimento do ambiente e priores comportamentais. Os sistemas de memória existentes enfrentam dois desafios principais:

1. O Problema da Consolidação: Os métodos atuais geralmente acoplam a aquisição e a consolidação da memória em um único processo online. As atualizações são feitas com evidências limitadas da sessão atual, tornando difícil descobrir padrões recorrentes, abstrair procedimentos compartilhados entre sessões, resolver contradições ou podar entradas redundantes.
2. O Problema da Utilidade da Memória: Gerenciadores de memória treinados por aprendizado por reforço (RL) frequentemente otimizam a construção ou recuperação online, em vez da consolidação offline sob um objetivo explícito de utilidade a jusante. Consequentemente, eles falham em aprender diretamente quais memórias são "estruturais", quais entradas são redundantes ou como equilibrar o sucesso contra a compactação da memória.

As abordagens existentes, incluindo lojas episódicas aumentadas por recuperação, sistemas de memória estruturada e métodos baseados em reflexão, geralmente carecem de uma visão global entre sessões para realizar uma abstração eficaz entre sessões.

Metodologia: Auto-Dreamer

Inspirado pela teoria dos Sistemas de Aprendizado Complementares (CLS), que postula um sistema hipocampal rápido para codificação de episódios e um sistema neocortical mais lento para extração de estrutura compartilhada, os autores propõem o Auto-Dreamer. Este é um consolidador offline aprendido que desacopla a aquisição rápida de memória por sessão da consolidação lenta entre sessões.

Arquitetura Central

O sistema opera em um banco de memória tipado contendo entradas semânticas (fatos) e procedimentais (como fazer). Cada entrada inclui um nome curto, um corpo e links de proveniência para trajetórias de origem.

• Aquisição Online Rápida: Um modelo "escritor" fixo e baseado em prompts opera por sessão. É local e apenas de adição, registrando entradas de memória tipadas com ponteiros de proveniência para a trajetória de origem, sem buscar no banco existente ou reescrever memórias antigas. Isso prioriza a plasticidade.
• Consolidação Offline Lenta (Reescrita de Região): A inovação central é o consolidador ($C_\theta$), uma política aprendida que opera offline. Em vez de editar entradas no local (CRUD), ele realiza reescrita de região.
  • Processo: Dada uma região de trabalho selecionada $R$ do banco de memória e suas trajetórias de origem associadas vinculadas à proveniência $T_R$, o consolidador executa uma expansão de uso de ferramentas delimitada. Ele usa ferramentas para buscar na memória, inspecionar entradas candidatas e recuperar trajetórias de origem brutas.
  • Saída: Ele sintetiza um novo conjunto de substituição $S$, compacto, que abstrai entre sessões. A região original $R$ é tratada como evidência somente leitura e é inteiramente substituída por $S$ no banco pós-consolidação ($B^* = (B \setminus R) \cup S$).
  • Implicação: Esta semântica de substituição torna a compactação estrutural; a informação sobrevive apenas se for re-sintetizada no conjunto de substituição, tornando a abstração, a deduplicação e o esquecimento baseado em omissão comportamentos padrão.

Treinamento via GRPO

O consolidador é treinado usando Otimização de Política Relativa em Grupo (GRPO).

• Objetivo: O treinamento isola a contribuição do consolidador mantendo fixos o agente de tarefa, o recuperador, o escritor e o esquema de memória.
• Atribuição de Crédito: Diferentemente dos métodos online, o conjunto de substituição $S$ é avaliado em um banco local consistindo apenas das entradas sintetizadas ($B^*_g = S_g$). Isso permite atribuição de crédito direta à saída da política, sem fatores de confusão do restante do banco.
• Sinal de Recompensa: A recompensa $r_g$ combina o desempenho da tarefa a jusante com um termo de utilidade contrafactual:
  $$r_g = U_V(S_g) + \alpha \cdot r_{cf}(S_g; V)$$
  • $U_V(S_g)$: O retorno médio em um conjunto de tarefas de avaliação retido $V$.
  • $r_{cf}$: Estimado mascarando aleatoriamente uma fração das entradas em $S_g$. Este termo penaliza entradas redundantes (onde a máscara causa pouca queda de desempenho) e recompensa entradas estruturais (onde a máscara prejudica o desempenho), atribuindo crédito negativo a entradas prejudiciais.

Contribuições Principais

1. Formulação de Duas Escalas de Tempo: O artigo distingue a aquisição rápida por sessão da consolidação lenta entre sessões, formulando esta última como um problema de decisão aprendido sobre evidências acumuladas.
2. Primitiva de Reescrita de Região: Introduz a reescrita de região fundamentada em proveniência como uma primitiva de consolidação indutora de compactação. Ao substituir uma região por um conjunto sintetizado em vez de editar entradas individualmente, impõe a abstração e a deduplicação entre sessões como semânticas de atualização padrão.
3. Treinamento por RL com Crédito Local à Região: O método permite treinamento por RL sem rótulos de memória supervisionados, avaliando diretamente o conjunto de substituição autossuficiente. O uso de mascaramento contrafactual permite que o sistema aprenda a suprimir memórias redundantes enquanto preserva a utilidade da tarefa.

Resultados Experimentais

O Auto-Dreamer foi avaliado em três domínios: ScienceWorld (experimentos científicos baseados em texto), ALFWorld (seguimento de instruções domésticas) e WebArena (navegação na web).

• Implantação de Memória Contínua:
  • No ScienceWorld, o Auto-Dreamer alcançou uma taxa de sucesso de 41,1%, superando a melhor linha de base (UMEM) em 7,0 pontos e a melhor linha de base baseada em prompts (ReasoningBank) em 10,2 pontos.
  • Crucialmente, alcançou isso com um banco de memória ativo 12× menor que a melhor linha de base (6,9 mil tokens vs. 80,9 mil tokens para o UMEM).
  • No ALFWorld, atingiu 60,2% de sucesso (vs. 58,4% para o UMEM) usando 6× menos memória.
  • No WebArena, liderou todas as linhas de base com 52,3% de sucesso usando apenas 927 tokens (vs. 370 mil para o LightMem).
• Generalização: O consolidador foi treinado apenas em trajetórias do ScienceWorld. Apesar disso, melhorou o desempenho no ALFWorld e WebArena retidos sem retreinamento, mesmo quando acoplado a diferentes backbones de escritor (Qwen3-14B vs. Gemini-3.1-flash-lite-preview).
• Consolidação Controlada: Em experimentos de banco fixo onde o operador de consolidação foi aplicado uma vez a um banco pré-construído, o Auto-Dreamer ainda superou as linhas de base, confirmando que os ganhos derivam do próprio processo de consolidação offline e não apenas da acumulação de dados.

Significado e Alegações

O artigo afirma que o Auto-Dreamer demonstra que a consolidação aprendida offline pode melhorar significativamente o trade-off sucesso-custo para agentes de linguagem. Ao separar a aquisição da consolidação e usar reescrita de região, o sistema alcança maior sucesso na tarefa com pegadas de memória substancialmente menores em comparação com linhas de base tanto baseadas em prompts quanto treinadas por RL.

Os autores enfatizam que o consolidador aprendido transfere-se entre domínios de tarefa e backbones de escritor, apoiando a visão de que a consolidação sobre entradas de memória textual e trajetórias de origem pode ser agnóstica a domínio e escritor. O trabalho sugere que, quando a experiência do agente se acumula mais rápido do que pode ser reorganizada na sessão, a consolidação aprendida offline é um mecanismo viável para manter bancos de memória compactos e de alta utilidade.

O artigo permanece modesto quanto ao seu escopo, notando que a avaliação é restrita a ambientes baseados em texto e que o consolidador depende de um esquema de escritor fixo; a robustez a escritores alternativos ou entradas multimodais ainda não está estabelecida.