Resumo Técnico: Memória Adaptativa ao Estado (SAM) para Agentes de Raciocínio de Longo Alcance

Declaração do Problema

O raciocínio agênico de longo alcance exige que Modelos de Linguagem de Grande Escala (LLMs) operem sobre históricos de interação estendidos contendo pensamentos intercalados, chamadas de ferramentas, observações e conclusões parciais. O principal desafio não é meramente o aumento do comprimento desses históricos, mas o fato de que informações críticas para uma decisão atual podem estar dispersas por etapas distantes e só se tornarem relevantes mais tarde na trajetória.

Estratégias existentes de gerenciamento de contexto — como truncar o histórico, comprimi-lo em resumos ou recuperar partes selecionadas — frequentemente falham nesses cenários. Esses métodos geralmente dependem de recência ou janelas de tamanho fixo, o que é insuficiente quando informações úteis estão distribuídas por etapas não adjacentes e sua importância só se torna aparente à medida que a tarefa se desenrola. O artigo argumenta que a dificuldade central reside em organizar trajetórias passadas de modo que a informação correta permaneça acessível ao estado de decisão atual do agente, em vez de simplesmente manter todo o passado em vista ou descartá-lo com base em um orçamento estático.

Metodologia: Memória Adaptativa ao Estado (SAM)

Os autores propõem a Memória Adaptativa ao Estado (SAM), um framework independente projetado para tratar o raciocínio de longo alcance como um problema de memória adaptativa ao estado. A SAM desacopla a espinha dorsal de raciocínio do agente de seu gerenciamento de memória, permitindo que o módulo de memória seja otimizado independentemente, sem retreinar o agente subjacente.

Arquitetura Central

A SAM mantém duas visões acopladas do histórico de interação:

1. Pistas de Memória Compactas: Resumos leves que permanecem visíveis no contexto ativo do agente. Elas atuam como alças persistentes ou pontos de entrada para o progresso passado.
2. Páginas de Trajetória Bruta: Registros detalhados de interação armazenados externamente, preservando a fidelidade total da trajetória original.

O framework opera por meio de um processo de Consolidação Episódica Baseada em Páginas e Recuperação Episódica Orientada a Intenção:

• Consolidação (Caminho de Escrita): À medida que o contexto ao vivo do agente atinge um orçamento de tokens predefinido, a trajetória recente é particionada em "páginas" contíguas. Um modelo de memória gera uma pista compacta ($m_k$) para cada página, capturando contribuições relevantes para a continuação (por exemplo, o que foi estabelecido, o que foi descartado, o que permanece não resolvido). A página bruta é então removida do contexto ativo e armazenada externamente, enquanto a pista é mantida em um banco de memória.
• Recuperação (Caminho de Leitura): Quando o agente precisa revisitar o passado, ele emite uma solicitação de recuperação com uma intenção específica ($q_t$). O agente seleciona um subconjunto de pistas relevantes com base em seu estado atual. O modelo de memória então reconstrói as informações relevantes para a decisão a partir das páginas brutas correspondentes, condicionado à intenção de recuperação. Isso permite que o agente acesse informações temporalmente distantes sob demanda, sem reproduzir todo o histórico literalmente.

Estratégia de Otimização

A SAM é otimizada como uma capacidade independente por meio de um processo de duas etapas, mantendo a espinha dorsal do agente congelada:

1. Ajuste Fino Supervisionado Guiado por Especialistas (SFT): O modelo de memória (inicializado como Qwen3.5-9B) é treinado em rastros de LLMs líderes (por exemplo, Claude-4.5-Opus, GPT-5.4) que resolveram tarefas com sucesso. Isso fornece alvos emparelhados tanto para consolidação (geração de pistas) quanto para recuperação orientada a intenção (reconstrução de informações).
2. OAT-GRPO (Tree GRPO Ancorado em Oráculo): Para alinhar o modelo de memória com a utilidade ao nível da trajetória, os autores introduzem um objetivo de aprendizado por reforço especializado.
   • Recompensa de Resultado Estruturada em Árvore: Diferentemente do GRPO padrão, que atribui uma única recompensa a uma execução completa, o OAT-GRPO estrutura as execuções como uma árvore de chamadas de memória. Ele ramifica em cada ação de memória, permitindo que a atribuição de crédito seja localizada para saídas de memória específicas com base no resultado final da tarefa.
   • Recompensa de Recuperabilidade Ancorada em Oráculo: Para abordar a esparsidade dos sinais de resultado, uma recompensa de "oráculo" é computada usando um comitê de modelos de ponta. Essa recompensa avalia o quão bem um resumo recuperado cobre o espaço-alvo de informações úteis (relevância, cobertura, consistência) em relação a referências de especialistas, densificando o sinal de aprendizado.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Formulação: Reenquadra o gerenciamento de contexto de longo alcance como um problema de memória adaptativa ao estado, priorizando o acesso orientado à demanda a informações temporalmente distantes em vez de compressão baseada apenas em recência.
2. Arquitetura: Introduz uma arquitetura de memória de pista-página que desacopla a consolidação leve no momento da escrita da reconstrução condicionada à intenção no momento da leitura sobre páginas de trajetória bruta preservadas.
3. Receita de Otimização: Desenvolve um pipeline de treinamento para modelos de memória independentes que combina supervisão guiada por especialistas com OAT-GRPO, um objetivo de RL ao nível de ação de memória que atribui crédito por meio de árvores de chamadas de memória e recompensas de recuperabilidade ancoradas em oráculo.

Resultados Experimentais

A SAM foi avaliada em quatro benchmarks de agentes de longo alcance: BrowseComp, BrowseComp-ZH, WideSearch e HLE. Os experimentos utilizaram diversas espinhas dorsais de agentes, incluindo modelos proprietários (GLM-4.7) e de código aberto (Qwen3.5-35B-A3B).

• Desempenho: A SAM superou consistentemente bases fortes, incluindo estratégias de gerenciamento de contexto heurísticas (descartar ferramentas, manter as $k$ etapas mais recentes, resumos rolantes) e sistemas existentes de agentes de código aberto (WebThinker, WebSailor, ReSum, etc.).
• Generalização: Um único modelo de memória Qwen3.5-9B, treinado uma única vez, alcançou as melhores pontuações em todas as combinações de espinha dorsal-benchmark, demonstrando que o mecanismo de memória é robusto e generalizável, em vez de dependente de acoplamentos específicos entre espinha dorsal e benchmark.
• Estudos de Ablação:
  • Tanto as etapas SFT quanto OAT-GRPO foram encontradas como complementares; a remoção de qualquer uma resultou em quedas de desempenho.
  • Os ganhos foram atribuídos principalmente à recuperação orientada a intenção em vez da consolidação isolada. Variantes que usavam apenas resumos ou recuperação baseada em recência performaram significativamente pior.
  • A SAM manteve sua vantagem mesmo à medida que as rodadas de interação aumentavam (por exemplo, além de 80 rodadas), onde métodos baseados em resumos começaram a perder estado útil.

Significado e Afirmações

O artigo afirma que a modelagem explícita de memória fornece uma base simples e eficaz para o raciocínio agênico de longo alcance. Ao tratar a memória como uma capacidade externa e reutilizável que consolida a interação em entradas navegáveis, preservando dados brutos para reconstrução, a SAM permite que agentes recuperem informações de estágios arbitrários de sua trajetória sem retreinar a espinha dorsal subjacente.

Os autores posicionam a SAM não como um substituto para a política de raciocínio do agente, mas como um componente modular que transforma o histórico de longo alcance de um fardo passivo em um espaço de memória navegável. Os resultados sugerem que a capacidade de acessar a informação passada correta para o estado de decisão atual é um fator crítico, porém frequentemente negligenciado, na escalabilidade do raciocínio agênico. O trabalho é apresentado como um passo em direção a sistemas de memória modulares para agentes cada vez mais capazes, com o código disponibilizado para pesquisas futuras.