Resumo Técnico: ADAMEM – Memória de Adaptação em Tempo de Teste para Agentes de Linguagem

1. Declaração do Problema

Os agentes de linguagem enfrentam um desafio central ao utilizar experiências passadas para se adaptarem a tarefas dinâmicas e de longo horizonte. Embora avanços recentes em mecanismos de memória de agentes mostrem promessa, os sistemas existentes tipicamente restringem a recuperação de memória à fase de iniciação do episódio. Isso cria um "gargalo de rigidez": os agentes dependem de orientação estática (por exemplo, uma única trajetória recuperada ou uma estratégia destilada) que não consegue se ajustar a falhas intermediárias, mudanças de subobjetivos ou mudanças de distribuição que ocorrem posteriormente na tarefa.

Abordagens tradicionais de adaptação em tempo de teste, como a atualização de parâmetros do modelo online, são proibitivamente caras para configurações de longo horizonte. Por outro lado, métodos de adaptação de prompt sem treinamento frequentemente sofrem com a limitação de que seu contexto recuperado torna-se desalinhado conforme a tarefa se desenrola. O artigo identifica duas questões de pesquisa primárias:

1. Como a memória do agente pode superar a rigidez da recuperação estática para permitir a adaptação contínua durante a inferência?
2. Como os agentes podem ser treinados eficientemente para sintetizar estratégias que otimizem explicitamente essa adaptação em tempo de teste?

2. Metodologia

Os autores propõem o ADAMEM (Adaptive Memory Agent), um framework de memória híbrida que desacopla o armazenamento da memória da abstração para permitir a adaptação passo a passo em tempo de teste sem atualizar os parâmetros do modelo.

2.1 Arquitetura de Memória Híbrida

O ADAMEM opera por meio de dois componentes de memória distintos:

• Memória de Trajetória de Longo Prazo ($M$): Um repositório escalável e offline de experiências brutas. Ele armazena trajetórias bem-sucedidas $\tau = \{(s_t, a_t, r_t)\}$ indexadas por embeddings de estado. Diferente de sistemas que armazenam insights destilados, o $M$ retém o histórico completo de interação para garantir uma recuperação de contexto confiável.
• Memória de Estratégia de Curto Prazo ($z_t$): Uma estratégia dinâmica e específica do estado, gerada on-the-fly durante a inferência. Em vez de recuperar logs brutos diretamente, o agente sintetiza uma estratégia concisa em linguagem natural condicionada ao estado atual $s_t$ e às experiências recuperadas $E_{ret}$. Esta estratégia serve como orientação concreta para a próxima ação.

2.2 Modos de Inferência

Para equilibrar eficiência de tokens e adaptabilidade, o ADAMEM introduz dois modos de inferência:

• ADAMEM-HIGH (Alto Esforço de Adaptação): Prioriza a robustez regenerando uma estratégia $z_t$ nova em cada passo de decisão crítico, caso o agente decida que a recuperação é necessária. A estratégia é transitória e descartada após o uso, garantindo que o agente nunca dependa de orientações obsoletas.
• ADAMEM-LOW (Baixo Esforço de Adaptação): Prioriza a eficiência mantendo uma estratégia persistente $z_{curr}$ no contexto. O agente prevê se deve "atualizar" a estratégia com base no estado atual. Se nenhuma atualização for necessária, a estratégia existente guia múltiplos passos; se uma atualização for acionada, uma nova estratégia é sintetizada e substitui a persistente.

2.3 STEP-MFT: Ajuste Fino de Memória Passo a Passo

Embora o ADAMEM possa operar via prompting zero-shot, os autores introduzem o STEP-MFT para treinar a política a gerar estratégias de alta utilidade.

• Desafio: A supervisão padrão baseada em resultados é ruidosa, pois credita todos os passos em uma trajetória bem-sucedida igualmente, mesmo que uma estratégia específica tenha sido redundante ou enganosa.
• Solução: O STEP-MFT utiliza uma abordagem de rejeição de amostragem com um mecanismo de filtro duplo para curar dados de treinamento:
  1. Sucesso de Resultado: A trajetória deve ser bem-sucedida.
  2. Mudança de Ação: A estratégia gerada deve alterar causalmente a ação do agente em comparação com uma política de linha de base agindo sem memória ($a_t \neq a'_t$).
• Justificativa Teórica: Os autores provam que, para uma estratégia ter uma vantagem estritamente positiva sobre a linha de base, ela deve alterar a ação do agente. Este filtro garante que o modelo aprenda a gerar estratégias que impulsionem ativamente a tomada de decisão, em vez de apenas ecoar o contexto.
• Treinamento: O conjunto de dados filtrado é usado para o Ajuste Fino Supervisionado (SFT) via perda de entropia cruzada, otimizando a política para sintetizar estratégias "silver" que melhoram as taxas de sucesso.

3. Principais Contribuições

1. Framework ADAMEM: Um novo sistema de memória híbrida que permite a adaptação contínua em tempo de teste através da síntese dinâmica de estratégias conscientes do contexto, em vez de recuperar artefatos estáticos.
2. Técnica STEP-MFT: Um método de treinamento que utiliza recompensas de nível de processo (especificamente, mudanças de ação) para ensinar agentes a gerar estratégias de alta utilidade, evitando o ruído da supervisão baseada apenas em resultados.
3. Nova Dimensão de Escalonamento: O trabalho estabelece que a curadoria dinâmica de memória é uma dimensão de escalonamento crítica para o raciocínio agêntico, oferecendo uma fronteira de Pareto superior entre custo de inferência e desempenho da tarefa.

4. Resultados Experimentais

Os autores avaliaram o ADAMEM em três benchmarks: ALFWorld (navegação incorporada), WebShop (compras na web) e HotpotQA (busca multi-salto).

• Ganhos de Desempenho:
  • ALFWorld: O ADAMEM-LOW alcançou um ganho relativo de 13% sobre as linhas de base de memória estática no split não visto (58,2% vs. 52,2% para o Synapse).
  • WebShop: O ADAMEM-LOW alcançou um ganho relativo de 11% (74,2% vs. 65,4% para o Synapse). Notavelmente, as linhas de base estáticas sofreram transferência negativa no WebShop, performando pior que a linha de base sem memória, enquanto o ADAMEM reverteu essa tendência.
  • HotpotQA: O ADAMEM alcançou desempenho líder consistente (41,1% de taxa de sucesso) em uma configuração de busca iterativa entre episódios.
• Impacto do STEP-MFT: O treinamento com STEP-MFT rendeu melhorias adicionais. No ALFWorld, a variante MFT alcançou um ganho relativo de 17% sobre as linhas de base (65,5% de taxa de sucesso), superando significativamente tanto o ADAMEM livre de treinamento quanto as variantes MFT baseadas em resultados.
• Eficiência vs. Adaptabilidade:
  • O ADAMEM escala monotonicamente com o orçamento de recuperação ($k$), enquanto as linhas de base estáticas como o Synapse degradam devido ao excesso de contexto proveniente da injeção de trajetórias brutas.
  • O ADAMEM reduz a latência de inferência em 16% em comparação ao Synapse ao sintetizar estratégias concisas em vez de processar logs brutos extensos.
• Generalização entre Modelos: Em configurações off-policy (usando Gemma-27b-it com memória gerada pelo Qwen), o ADAMEM-LOW manteve melhorias robustas, demonstrando que o framework desacopla efetivamente o armazenamento do modelo de política.

5. Significância e Alegações

O artigo afirma que o ADAMEM aborda a rigidez fundamental dos sistemas atuais de memória de agentes. Ao desacoplar o armazenamento de longo prazo da abstração de curto prazo, o ADAMEM permite que os agentes:

• Evoluam Automaticamente Pós-Implantação: Agentes podem se adaptar a ambientes dinâmicos e corrigir priors obsoletos sem atualizações de parâmetros online caras.
• Otimizar Trocas de Computação: O framework suporta modos de inferência flexíveis (LOW/HIGH) e variantes de treinamento (STEP-MFT) que permitem aos praticantes ajustar o equilíbrio entre eficiência de tokens e adaptabilidade.
• Permitir Raciocínio Contínuo: O trabalho sugere que a curadoria dinâmica de memória é uma dimensão de escalonamento necessária para agentes operando em ambientes abertos e do mundo real, indo além da recuperação estática em direção ao raciocínio contínuo e consciente do estado.

Os autores reconhecem limitações, como a "inércia de estratégia" no ADAMEM-LOW (onde os agentes podem falhar em acionar uma atualização quando necessário) e a dependência atual de trajetórias bem-sucedidas apenas para a população da memória, apontando estas como direções para trabalhos futuros.