Resumo Técnico: TRACE (Atribuição de Recompensa por Turno via Estimativa de Crédito para Agentes de Longo Horizonte)

1. Definição do Problema

Agentes de Large Language Model (LLM) resolvem tarefas complexas através de sequências estendidas de interações com ferramentas (ex: busca na web, execução de código) antes de produzirem uma resposta final. Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha tido sucesso em tarefas de raciocínio de turno único (como matemática ou codificação) usando recompensas de resultado determinísticas, aplicar isso a agentes de longo horizonte apresenta um desafio fundamental de atribuição de crédito.

Em trajetórias de agentes de múltiplos turnos, uma recompensa terminal única (sucesso/falha) é esparsa e de alta variância. Ela falha em distinguir entre:

• Ações úteis: Chamadas de ferramentas precoces que reúnem evidências necessárias, mas que fazem parte de uma trajetória que eventualmente falha.
• Ações redundantes ou prejudiciais: Etapas intermediárias que não contribuem para o objetivo ou que desviam o agente do caminho.

O treinamento baseado apenas no resultado atribui a mesma vantagem a todos os turnos de uma trajetória, levando à subestimação da exploração produtiva, superestimação de ações irrelevantes e aumento da variância do gradiente conforme o horizonte da trajetória cresce. Os métodos existentes de supervisão de processo geralmente exigem rótulos ao nível do passo, juízes de LLM fortes ou modelos de recompensa de processo treinados, o que introduz complexidade, deriva (drift) ou dependência de supervisão dispendiosa.

2. Metodologia: TRACE

Os autores propõem o TRACE (Atribuição de Recompensa por Turno via Estimativa de Crédito), um framework livre de crítico que gera recompensas densas ao nível do turno sem a necessidade de treinamento adicional de rótulos de processo ou de um crítico treinado.

Mecanismo Central

O TRACE trata a trajetória do agente como uma sequência de transições de estado ocorrendo em fronteiras de chamadas de ferramenta. Em vez de aprender uma função de valor, ele utiliza um modelo de referência congelado ($\pi_{ref}$) como uma sonda estável para estimar a "prontidão" do prefixo da trajetória atual para produzir a resposta de ouro (gold answer).

1. Representação de Estado: Uma trajetória é segmentada em prefixos $S_k$ em cada fronteira de chamada de ferramenta.
2. Estimativa de Valor de Estado:
   • O modelo de referência congelado computa a log-probabilidade da resposta de ouro $y^*$ dado o prefixo $S_k$: $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$.
   • Para lidar com problemas de escala onde mudanças na log-probabilidade bruta podem ser enganosas (ex: um pequeno ganho é significativo quando se está longe da resposta, mas negligenciável quando se está perto), o TRACE transforma isso em um valor de estado de razão de log:
     $$V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$$
     onde $\epsilon$ é um deslocamento (offset). Este valor mede o fechamento relativo da lacuna de verossimilhança da resposta inicial.
3. Recompensa por Turno via Diferença Temporal (TD):
   • A recompensa para uma transição $S_k \to S_{k+1}$ é derivada do erro de TD (diferença de valor):
     $$\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$$
   • Interpretação: Uma recompensa positiva é atribuída se a chamada de ferramenta e sua observação tornarem a resposta de ouro mais previsível (aumentando o valor do estado). Uma recompia negativa é atribuída se a trajetória se afastar da resposta.
   • Propriedade Telescópica: A soma dos créditos de um passo de TD telescopa para a mudança total de valor entre o início e o fim da trajetória. Isso garante que turnos intermediários redundantes não possam inflar artificialmente o crédito total.
4. Look-Ahead e Ancoragem:
   • Para considerar efeitos retardados (ex: uma consulta de busca que só rende frutos após um documento ser aberto), o TRACE utiliza um backup de TD de K-passos truncado com um fator de desconto $\gamma_{td}$.
   • O turno final combina o sinal de progresso de TD com a vantagem ao nível do resultado ($A^{out}$) padrão do Group Relative Policy Optimization (GRPO), garantindo que a correção final permaneça o alvo último do treinamento.
5. Otimização: A política é atualizada usando um objetivo clipado que mistura a vantagem do resultado e o crédito de TD por turno, sem normalizar os valores de turno através do grupo de prompts.

3. Principais Contribuições

• Crédito Denso Livre de Crítico: O TRACE fornece recompensas densas ao nível do turno para agentes de longo horizonte sem treinar um crítico separado, um modelo de recompensa de processo ou depender de rótulos humanos/sintéticos ao nível do passo.
• Referência Congelada como Sonda: Ele reaproveita um modelo de referência congelado (tipicamente usado para regularização KL) como um estimador de valor estável, medindo o quanto cada interação de ferramenta aumenta a previsibilidade da resposta de ouro.
• Formulação de TD de Razão de Log: O método introduz uma transformação de razão de log das probabilidades da resposta para criar um valor de estado robusto que normaliza o crédito entre diferentes níveis de confiança e evita a inflação de recompensa por passos redundantes.
• Treinamento de RL Puro: A abordagem permite o treinamento eficaz de modelos base usando RL puro (resultado + recompensas por turno) sem uma etapa de ajuste fino supervisionado (SFT) de partida a frio (cold-start), treinamento intermediário de agentes ou dados da web ao vivo.

4. Resultados Experimentais

Os autores avaliaram o TRACE em tarefas de busca complexas de longo horizonte usando os backbones Qwen3-4B e Qwen3-30B-A3B.

• Benchmark de Web Fechada (BrowseComp-Plus):
  • Qwen3-4B: Melhorou de uma pontuação base de 7.2 para 35.6.
  • Qwen3-30B-A3B: Melhorou de uma pontuação base de 8.4 para 42.6.
  • O TRACE superou significativamente os baselines de apenas resultado (GRPO, GSPO, GiGRPO) e aproximou-se ou superou agentes de pesquisa profunda externos maiores (ex: TongyiDS-30B-A3B), apesar de usar um backbone menor e supervisão mínima.
• Transferência para Web Aberta:
  • O comportamento de busca aprendido transferiu-se para benchmarks de web aberta (BrowseComp, GAIA, xbench-DeepSearch).
  • O agente 30B-A3B alcançou 12.9 no BrowseComp, 52.0 no GAIA e 45.0 no xbench-DeepSearch, demonstrando generalização além do corpus de treinamento.
• Dinâmica de Aprendizado:
  • O TRACE mostrou melhoria precoce e convergência mais rápida em comparação com os baselines de apenas resultado.
  • Facilitou uma expansão mais rápida do comprimento de interação (escala da trajetória) nos estágios iniciais do treinamento, pois o sinal por turno recompensava o progresso intermediário mesmo antes da resposta final estar correta.

5. Significância e Alegações

O artigo afirma que o crédito por turno ancorado pelo verificador é um componente crítico que falta para o treinamento de agentes de longo horizonte via RL puro.

• Eficiência: O TRACE demonstra que os modelos base possuem primitivas latentes de raciocínio e uso de ferramentas que podem ser desbloqueadas com sinais de crédito mais densos, eliminando a necessidade de SFT dispendioso ou pipelines complexos de supervisão de processo.
• Generalização: O método ensina uma estratégia de interação geral (buscar, ler, refinar) que se transfere entre diferentes ambientes de recuperação e idiomas, não apenas fazendo overfitting ao corpus de treinamento.
• Limitações: Os autores notam modestamente que o método atual depende de respostas compactas e verificáveis (strings curtas). Para tarefas com saídas longas, estruturadas ou abertas (ex: patches de código multi-arquivo), o proxy de log-probabilidade pode ser menos confiável, sugerindo a necessidade de estimadores de valor de estado alternativos em trabalhos futuros.

Em resumo, o TRACE estabelece que a atribuição de crédito ao nível da chamada de ferramenta via um modelo de referência congelado é uma estratégia eficaz, escalável e eficiente em termos de dados para melhorar o desempenho de agentes de longo horizonte.