Resumo Técnico: Lembrar Quando Importa: Agente de Memória Proativo para Agentes de Longo Horizonte

Problema: Decaimento do Estado Comportamental

Tarefas de longo horizonte, como a execução autônoma de linha de comando e o uso de ferramentas em múltiplas etapas, exigem que os agentes mantenham um estado relevante para a decisão ao longo de trajetórias estendidas. Os autores identificam um modo de falha crítico denominado decaimento do estado comportamental. Neste modo, informações essenciais para decisões futuras — como requisitos iniciais da tarefa, fatos do ambiente, tentativas anteriores falhas, diagnósticos de erro e submetas abertas — tornam-se inativas no processo de tomada de decisão do agente.

Este decaimento ocorre mesmo quando a informação permanece dentro da janela de contexto ou do histórico do modelo. O problema não é meramente a incapacidade de armazenar ou recuperar dados, mas a falha em determinar quando a informação lembrada deve influenciar ativamente a próxima ação. Os sistemas de memória existentes frequentemente focam na recuperação passiva ou sumarização, o que pode levar os agentes a repetir erros, ignorar descobertas prévias ou se desviar de restrições. O artigo argumenta que uma memória eficaz para agentes de longo horizonte deve ser um mecanismo de intervenção ativa que decide não apenas o que lembrar, mas se e quando intervir.

Metodologia: Intervenção de Memória Proativa

O artigo propõe uma arquitetura de intervenção de memória de duas fases que desacopla a manutenção da memória da seleção de ação. O sistema consiste em um agente de ação não modificado e um agente de memória separado que roda paralelamente a ele.

Componentes da Arquitetura

1. Banco de Memória Estruturado ($B_t$): Uma representação compacta e estruturada do estado de execução contendo três componentes:

   • Status ($s_t$): Um campo privado que rastreia o progresso, questões abertas e riscos, visível apenas para o agente de memória.
   • Conhecimento ($K_t$): Fatos estáveis (ex: requisitos da tarefa, propriedades do ambiente, caminhos de arquivos).
   • Procedural ($P_t$): Registros dinâmicos de tentativas, resultados, comandos falhos, correções bem-sucedidas e sinais de diagnóstico.

2. Fluxo de Trabalho do Agente de Memória de Duas Fases:

   • Fase 1 (Gerenciamento de Memória): O agente de memória observa uma janela deslizante da trajetória recente e o banco atual. Ele emite chamadas de ferramenta para atualizar o banco (ex: memory_save_knowledge, memory_save_procedural, memory_update_status, memory_delete). Esta fase externaliza o estado de execução em um formato estruturado sem reescrever a trajetória.
   • Fase 2 (Seleção de Intervenção): Com base no banco atualizado e na trajetória recente, o agente decide se injeta um lembrete conciso e fundamentado na memória na próxima chamada do agente de ação ou se permanece em silêncio (<no_intervention/>).
     • Intervenção: Um lembrete direcionado (ex: um requisito esquecido, um fato relevante do ambiente ou um diagnóstico) injetado como contexto transitório.
     • Silêncio: Uma decisão explícita de reter a memória se o estado atual for suficiente, evitando sobrecarga de tokens e distração.

3. Gatilho: O agente de memória é invocado em intervalos fixos (ex: a cada $N$ passos) para atualizar o banco e decidir sobre a intervenção, embora os autores notem que gatilhos mais seletivos (ex: após erros) são possíveis.

Aprendendo a Política

Embora a arquitetura possa ser implementada com um modelo de fronteira via prompting, os autores exploram o treinamento de um modelo de pesos abertos para aprender a política de intervenção:

• Ajuste Fino Supervisionado (SFT): Destila trajetórias de um agente de memória via prompting para ensinar a interface e a disciplina básica de gerenciamento de memória.
• Aprendizado por Reforço (GRPO): Otimiza a política de intervenção para maximizar o sucesso da tarefa subsequente, especificamente calibrando quando intervir versus quando permanecer em silêncio.

Principais Contribuições

1. Identificação do Decaimento do Estado Comportamental: O artigo formaliza o modo de falha onde o estado relevante para a decisão perde sua influência ao longo do tempo, distinguindo-o de simples limitações de janela de contexto.
2. Arquitetura de Intervenção Proativa: Um novo sistema de duas fases que trata a memória como uma política de intervenção seletiva. Ele desacopla a manutenção do estado da seleção de ação, permitindo que um agente separado decida se e como reativar o estado de execução.
3. Validação Empírica: Demonstra que a intervenção seletiva supera a exposição passiva de memória, a injeção constante e a orientação de um consultor geral.
4. Aprendibilidade de Políticas de Intervenção: Fornece evidências preliminares de que a política de intervenção pode ser destilada em um modelo de pesos abertos (Qwen3.5-27B) usando SFT e GRPO, alcançando transferência parcial para benchmarks não vistos.

Resultados Experimentais

O sistema foi avaliado no Terminal-Bench 2.0 (execução autônoma de linha de comando) e no $\tau^2$-Bench (uso de ferramentas interativas nos domínios de aviação, varejo e telecomunicações).

• Ganhos de Desempenho:

  • Terminal-Bench 2.0: Usando o Claude Opus 4.6 como agente de memória, o sistema melhorou o pass@1 para o Claude Sonnet 4.5 de 37,6% para 45,9% (+8,3 pp) e para o Opus 4.6 mais forte de 43,5% para 45,9% (+2,4 pp).
  • $\tau^2$-Bench: Para o Sonnet 4.5, a média ponderada por tarefa melhorou de 55,0% para 61,8% (+6,8 pp). Para o Opus 4.6, melhorou de 66,2% para 68,7% (+2,5 pp).
  • Os ganhos foram consistentes entre os domínios, com as maiores melhorias observadas em tarefas de aviação e varejo, onde a adesão à política é crítica.

• Estudos de Ablação:

  • Sistema Completo vs. Exposição Passiva: Simplesmente expor o banco de memória completo ao agente de ação (sem intervenção seletiva) resultou em ganhos menores, confirmando que a seleção é crucial.
  • Injeção Constante vs. Silêncio Seletivo: Forçar um lembrete em cada etapa foi competitivo, mas menos equilibrado do que a abordagem seletiva, particularmente em domínios que exigem silêncio para evitar distração.
  • Apenas Consultor vs. Fundamentado na Memória: Um modelo consultor sem um banco de memória persistente era menos estável e falhava em fundamentar a orientação no estado de execução de longo prazo.
  • Comparação com Mem0: Uma camada de memória persistente geral (Mem0) melhorou as pontuações médias, mas não conseguiu igualar o desempenho do sistema completo, destacando a distinção entre recuperar registros e decidir quando intervir.

• Treinamento de Pesos Abertos: Treinar um agente de memória Qwen3.5-27B no benchmark SETA melhorou as recompensas de validação. Ao ser transferido para o Terminal-Bench 2.0, o agente treinado melhorou o pass@1 do agente de ação congelado de 37,6% para 41,1%, demonstrando que a política de intervenção é aprendível.

Significância e Alegações

O artigo posiciona a memória não como uma camada de armazenamento passiva, mas como um mecanismo de controle ativo. Os autores afirmam que o desafio central para agentes de longo horizonte não é apenas reter informações, mas calibrar o tempo e a necessidade de sua reativação.

• Alegações Modestas sobre Treinamento: Os autores descrevem o treinamento do agente de memória de pesos abertos como um "passo inicial" e "evidência preliminar". Eles reconhecem que o treinamento atual depende da destilação de um modelo de fronteira via prompting e que a calibração da intervenção (saber quando ficar em silêncio) é imperfeita, muitas vezes exigindo aprendizado por reforço para refinamento.
• Generalização: A arquitetura é apresentada como "plug-and-play" com harnesses de agentes existentes e agentes de ação não modificados.
• Direções Futazes: O artigo sugere trabalhos futuros no treinamento conjunto de agentes de memória e ação, aprendizado de cronogramas de invocação dinâmicos e distinção entre lembretes literais e abstrações específicas da tarefa.

Em resumo, o artigo argumenta que a intervenção seletiva é a chave para mitigar o decaimento do estado comportamental, oferecendo uma solução modular e robusta que melhora o desempenho de tarefas de longo horizonte através de diversos benchmarks e capacidades de agentes.