Resumo Técnico: ECHO - Prune to Act, Trace to Learn with Selective Turn Memory in Agentic RL

1. Definição do Problema

Agentes de linguagem de longo horizonte operando em ambientes de uso de ferramentas (ex: busca, codificação, pesquisa profunda) enfrentam um gargalo fundamental: a necessidade de reter observações históricas úteis dentro de uma janela de contexto limitada e, simultaneamente, identificar quais turnos específicos contribuíram para um resultado final bem-sucedido para o aprendizado por reforço (RL).

Os métodos existentes de gestão de contexto (truncamento, sumarização, recuperação) permitem rollouts mais longos, mas introduzem duas limitações acopladas:

1. Perda de Evidência de Grão Fino: À medida que o número de turnos cresce, observações distantes são removidas ou colapsadas em estados comprimidos (ex: resumos rotativos). Isso torna cada vez mais difícil para a política reutilizar evidências específicas e detalhadas necessárias para o raciocínio complexo.
2. Perda de Rastreabilidade para Atribuição de Crédito: Uma vez que os turnos originais não são mais endereçáveis pela fonte (ou seja, os tokens brutos são substituídos por um resumo), o RL baseado em resultados perde um caminho explícito para alinhar as atualizações da política com a evidência específica que sustentou uma resposta bem-sucedida. A atribuição de vantagem padrão ao nível de trajetória em métodos como o GRPO espalha o crédito densamente por todos os tokens gerados, reforçando buscas redundantes, raciocínios incidentais ou tokens de geração de resumo junto com passos de coleta de evidências genuinamente úteis.

Essa falta de endereçabilidade ao nível da fonte leva a modos de falha empíricos onde rollouts mais longos resultam em "proliferação de turnos", volumes de trajetória maiores e treinamento mais lento sem ganhos proporcionais de precisão.

2. Metodologia: ECHO

Os autores propõem o ECHO (Selective Turn-Memory Framework), um sistema projetado para abordar conjuntamente o colapso do histórico e o aprendizado rastreável através da reconstrução indexada à fonte. O ECHO opera sob o princípio de "Prune to Act, Trace to Learn" (Podar para Agir, Rastrear para Aprender).

2.1 Reconstrução de Memória de Turno Seletiva

Em vez de colapsar o histórico em um único estado de resumo, o ECHO mantém um conjunto não colapsante de registros de memória.

• Memória de Turno Indexada à Fonte: Após cada turno de uso de ferramenta concluído $u_i = (a_i, o_i)$, o agente gera um achado local compacto $s_i$ e o analisa em um registro de memória $e_i = (i, \alpha_i, m_i)$. Aqui, $i$ é o índice do turno de origem, $\alpha_i$ é uma renderização compacta da ação/chamada de ferramenta e $m_i$ é o achado analisado. Este conjunto $M_j$ permanece vinculado aos turnos originais do ambiente mesmo quando as observações brutas caem fora do contexto ativo.
• Seleção de Memória Autorregressiva: Nos limites de compressão, a política é instruída a selecionar um subconjunto de memórias históricas úteis para continuar a tarefa. O contexto de seleção inclui o estado atual limitado e uma lista renderizada de memórias indexadas à fonte. A política gera os índices de origem ($bI^{sel}_j$) de evidências, restrições ou tentativas falhas que são reutilizáveis.
• Reconstrução de Contexto Limitado: O contexto da política para o próximo segmento é reconstruído renderizando as memórias de origem selecionadas ($M_j[bI^{sel}_j]$) e anexando interações locais recentes, garantindo que o contexto permaneça dentro do orçamento $B$.

2.2 Atribuição de Crédito Guiada por Proveniência

O ECHO utiliza os mesmos índices de origem selecionados para a reconstrução do contexto para rotear o crédito do resultado, criando um "traço de proveniência".

• Máscara de Crédito Rígida ao Nível de Token: Diferente dos métodos padrão que atribuem a vantagem ao nível da trajetória para todos os tokens, o ECHO constrói uma máscara $\mu^{(n)}_q$ que marca tokens específicos como "tokens de crédito":
  1. Tokens no segmento da resposta final.
  2. Tokens de ação de turnos de origem selecionados para o contexto reconstruído final.
  3. Tokens correspondentes ao "achado do último turno" desses turnos de origem selecionados.
  4. Todos os tokens gerados durante os intervalos de ação de seleção de memória.
• Roteamento de Vantagem Positiva: Para recompensas de verificador binário, a vantagem é roteada apenas através destes tokens de crédito se a trajetória tiver uma vantagem relativa ao grupo positiva ($A^{(n)}_+ = \max(A^{(n)}, 0)$). Se o rollout estiver incorreto ou abaixo da linha de base, o crédito rastreável não é atribuído para evitar supervisão ruidosa de turnos selecionados potencialmente enganosos.

3. Principais Contribuições

O artigo formaliza e implementa as seguintes contribuições:

1. Interface de Reconstrução Unificada: Uma formalização da gestão de contexto de múltiplos turnos para RL que separa a gestão de estado do histórico, a reconstrução de contexto limitado e a rastreabilidade ao nível da fonte. Este framework destaca explicitamente como métodos de histórico colapsado sacrificam a proveniência necessária para a atribuição de crédito de resultado.
2. Framework ECHO: Um método de memória de turno seletiva que armazena turnos concluídos como memórias indexadas à fonte e constró os contextos limitados via seleção aprendida, em vez de colapso global do histórico.
3. Atribuição de Crédito Guiada por Proveniência: Um mecanismo que reutiliza índices de origem selecionados para rotear a vantagem positiva do resultado especificamente para respostas finais, turnos de evidência histórica selecionados, seus achados de memória e as próprias ações de seleção.
4. Validação Empírica: Demonstrações de que o ECHO melhora a precisão enquanto reduz a proliferação de turnos e o volume de trajetórias em comparação com baselines de resumo rotativo, com ganhos consistentes em backbones densos e Mixture-of-Experts (MoE).

4. Resultados Experimentais

Os experimentos foram conduzidos principalmente no BrowseComp-Plus, um benchmark de QA de uso de ferramentas de longo horizonte, utilizando os backbones Qwen3-32B-Instruct e Qwen3-30B-A3B-Instruct (MoE).

• Desempenho no BrowseComp-Plus: O ECHO alcançou 43,4% de precisão em dados não vistos (held-out), superando significativamente o GRPO (28,9%) e o baseline de resumo rotativo SUPO (36,1%).
• Eficiência: Embora o SUPO tenha melhorado a precisão em relação ao GRPO, ele sofreu de rápida proliferação de turnos (62,5 turnos vs. 45,3 do ECHO) e uma taxa de divisão de trajetória de 4,18x. O ECHO manteve maior precisão com menos turnos (45,3) e um volume de trajetória menor (3,13 trajetórias por rollout).
• Generalização Zero-Shot: O ECHO demonstrou generalização superior em benchmarks de Multi-Objective QA, Geração de Código e Busca de Informação Profunda. No backbone denso, o ECHO teve média de 40,2%, superando o SUPO (34,8%) e o GRPO (33,6%). Tendências semelhantes foram observadas no backbone MoE.
• Estudos de Ablação:
  • Substituir a seleção aprendida por recuperação estática semântica top-k reduziu significativamente a precisão, confirmando a necessidade de seleção impulsionada pela política.
  • Remover a máscara de crédito rastreável (retornando à atribuição densa) reduziu tanto a precisão quanto a estabilidade, validando a importância da atualização guiada por proveniência.

5. Significância e Alegações

O artigo alega que preservar a proveniência durante a gestão de contexto é um mecanismo prático para tornar a busca de longo horizonte mais útil, em vez de meramente mais longa.

• Alinhamento de Agir e Aprender: Ao usar a reconstrução indexada à fonte, o ECHO alinha a evidência retida para decisões futuras com a evidência reforçada após rollouts bem-sucedidos. Isso resolve a tensão entre eficiência de contexto (agir) e atribuição de crédito (aprender).
• Além da Sumarização: Os resultados sugerem que simplesmente estender os rollouts via sumarização (como no SUPO) é insuficiente e pode levar a comportamentos de busca ineficientes. A reconstrução rastreável permite que o agente podar o histórico para agir, mantendo as "migalhas de pão" específicas necessárias para atualizações de RL eficazes.
• Generalizabilidade: O framework não é limitado a uma arquitetura de backbone específica, mostrando desempenho robusto tanto em modelos densos quanto MoE, e transfere-se efetivamente para diversos domínios zero-shot.

Os autores reconhecem limitações, observando que o ECHO usa uma "aproximação de traço final" para a atribuição de crédito (não seguindo recursivamente toda a cadeia de dependência dos turnos selecionados) e foca primariamente em agentes de uso de ferramentas baseados em texto, deixando configurações de GUI e multi-agente para trabalhos futuros.