Resumo Técnico: ABSeeker - Treinamento de Agentes de Busca de Longo Horizonte via Atribuição de Crédito com Retrocesso à Resposta

1. Definição do Problema

Agentes de busca de longo horizonte requerem múltiplas ações sequenciais para recuperar, verificar e integrar evidências para resolver consultas complexas. No entanto, os métodos de treinamento existentes para esses agentes, incluindo tanto o Ajuste Fino Supervisionado (SFT) quanto o Aprendizado por Reforço (RL), dependem tipicamente de supervisão ao nível da trajetória. Neste paradigma, todos os passos dentro de uma trajetória são tratados uniformemente: trajetórias bem-sucedidas são totalmente recompensadas, enquanto trajetórias falhas são totalmente penalizadas.

Este tratamento uniforme cria um problema fundamental de atribuição de crédito:

• Falsos Negativos: Uma trajetória falha pode conter passos intermediários altamente úteis (ex: descobrir evidências decisivas ou refinar uma hipótese) que recebem recompensa zero porque a resposta final estava incorreta.
• Falsos Positivos: Uma trajetória bem-sucedida pode conter passos errôneos, redundantes ou enganosos que recebem recompensa total, apesar de dificultarem o processo de busca.
• Falta de Granularidade: Os métodos existentes falham em distinguir a contribuição individual de ações específicas, limitando a capacidade de otimizar comportamentos críticos de busca e raciocínio.

2. Metodologia: Atribuição de Crédito com Retrocesso à Resposta (ABC)

Os autores propõem a Atribuição de Crédito com Retrocesso à Resposta (ABC - Answer-Backtracked Credit Assignment), um framework granular que converte resultados esparsos ao nível da trajetória em supervisão densa ao nível do passo. A ideia central é que, uma vez disponível uma resposta de verdade fundamental (ground-truth), a tarefa de busca torna-se naturalmente retrocedível (backtrackable). Ao rastrear de volta a partir da resposta verificada, é possível recuperar a evidência intermediária (pistas) que deveria ter sido descoberta.

O framework opera através de dois estágios primários:

2.1 Recuperação de Pistas com Retrocesso à Resposta

Dada uma consulta $q$ e sua resposta de verdade fundamental verificada $a^*$, o sistema emprega um LLM para reconstruir a cadeia de evidências necessária para resolver a questão.

• Processo: O modelo de recuperação atua como um agente ativo, realizando buscas na web e visitando páginas (usando o mesmo protocolo de chamada de ferramenta do agente de avanço) para rastrear a evidência desde a resposta de volta às restrições da consulta.
• Saída: Um conjunto de pistas de evidência intermediária $C = \{c_1, c_2, ..., c_K\}$. Estas pistas são peças de informação concretas e verificáveis (entidades, fatos, atributos ou relações) que formam uma cadeia de evidência verificada conectando a consulta à resposta.
• Papel: Estas pistas servem como âncoras fixas para avaliar a qualidade de cada passo em uma trajetória de busca, independentemente do resultado final.

2.2 Pontuação de Passo Ancorada em Pistas

Cada passo $s_t$ em uma trajetória coletada (seja ela bem-sucedida ou falha) é avaliado contra o conjunto de pistas recuperado $C$.

• Mecanismo de Pontuação: Cada passo começa com uma pontuação base de 1.0. A pontuação é ajustada com base em comportamentos detectados no raciocínio, chamadas de ferramentas e respostas do passo:
  • Deltas Positivos: Descobrir/verificar uma pista correta (+0.8), descartar incorretamente um candidato incorreto (+0.4) ou submeter a resposta verificada (+1.0).
  • Deltas Negativos: Descartar incorretamente uma pista correta (-0.8) ou submeter uma resposta incorreta (-1.0).
• Recompensa Final: A recompensa do passo $r_t$ é a pontuação acumulada, limitada ao intervalo $[0, 2.0]$. Crucialmente, um passo em uma trajetória falha que descobre uma pista correta recebe uma recompensa positiva, enquanto um passo em uma trajetória bem-sucedida que descarta evidências úteis recebe uma penalidade.

2.3 Pipeline de Treinamento

Com base nessas recompensas densas ao nível do passo, os autores desenvolvem dois algoritmos de treinamento:

1. ABC-SFT (Ajuste Fino Supervisionado Ponderado por Recompensa): O SFT padrão é modificado para reponder o peso de cada turno. O peso $w(r_t)$ é computado via uma função sigmoide da recompensa do passo, permitindo que passos de alta qualidade contribuam mais fortemente para o gradiente, enquanto reduz o peso de passos errôneos.
2. ABC-GRPO (Aprendizado por Reforço ao Nível do Passo): As pontuações ao nível do passo servem como recompensas no algoritmo de Otimização de Política Relativa de Grupo (GRPO). Em vez de uma única vantagem ao nível da trajetória, o algoritmo computa uma vantagem descontada ao nível do passo para cada token, permitindo atualizações de política granulares.

3. Principais Contribuições

• Atribuição de Crédito com Retrocesso à Resposta (ABC): Um framework inovador que utiliza respostas verificadas para reconstruir pistas de evidência intermediárias, permitindo a avaliação de passos de busca individuais, independentemente do resultado final da trajetória.
• ABC-SFT e ABC-GRPO: Dois algoritmos de treinamento derivados do ABC que utilizam recompensas densas ao nível do passo para reponder perdas de SFT e otimizar políticas de RL, respectivamente.
• ABSeeker: Um agente de busca treinado em um backbone de 4 bilhões de parâmetros (Qwen3.5-4B) usando apenas 8,5 mil exemplos. Demonstra que a supervisão de processo de nível fino pode gerar alto desempenho sem exigir escalas massivas de modelos.

4. Resultados Experimentais

Os autores avaliaram o ABSeeker em cinco benchmarks: BrowseComp, BrowseComp-ZH, xbench-2505, xbench-2510 e GAIA-text.

• Desempenho:
  • BrowseComp: 37,3% (sem gerenciamento de contexto), melhorando para 55,3% com gerenciamento de contexto.
  • BrowseComp-ZH: 39,1% (sem gerenciamento de contexto), melhorando para 52,9% com gerenciamento de contexto.
  • xbench-2505: 77,0%.
  • xbench-2510: 46,0%.
  • GAIA-text: 81,6%.
• Comparações:
  • O ABSeeker alcança o melhor desempenho entre todos os agentes de busca de 4B (superando QUEST-4B, DR-Venus e AgentCPM-Explore).
  • Ele supera significativamente os baselines de mesma escala e iguala ou supera o desempenho de agentes substancialmente maiores (~30B), como Tongyi DeepResearch e OpenSeeker, em vários benchmarks.
• Estudos de Ablação:
  • Substituir o SFT padrão pelo ABC-SFT produz melhorias consistentes em todos os benchmarks.
  • Substituir o GRPO padrão ao nível da trajetória pelo ABC-GRPO aumenta ainda mais o desempenho, demonstrando que a atribuição de crédito ao nível do passo melhora tanto a precisão da busca quanto o comportamento exploratório.
  • A análise da distribuição de recompensa revela que, mesmo em trajetórias bem-sucedidas, ~4% dos passos são de baixa qualidade, enquanto ~10% dos passos em trajetórias falhas são de alta qualidade. O ABC identifica e recompensa com sucesso estes últimos, enquanto penaliza os primeiros.

5. Significância e Alegações

O artigo afirma que a Atribuição de Crédito com Retrocesso à Resposta aborda efetivamente o desafio de atribuição de crédito em buscas de longo horizonte, fornecendo supervisão de processo explícita e granular.

• Eficiência: O método permite que um modelo compacto de 4B supere agentes muito maiores, sugerindo que a qualidade da supervisão de treinamento (distinguir passos úteis vs. errôneos) é mais crítica do que a mera escala do modelo para tarefas de busca.
• Generalização: Apesar de ser treinado exclusivamente em questões do tipo BrowseComp, o ABSeeker generaliza-se eficazmente para xbench e GAIA, indicando capacidades robustas entre diferentes benchmarks.
• Supervisão de Processo: Os resultados validam que recompensar ações úteis em trajetórias falhas e suprimir erros em trajetias bem-sucedidas leva a comportamentos de busca mais eficientes e deliberados.

Os autores concluem que esta abordagem destaca a importância da supervisão de processo explícita para o treinamento escalável de agentes de busca e propõem estender o framework para outras tarefas de longo horizonte onde os resultados possam ser retrocedidos em evidências intermediárias.