🤖 machine learning

Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

Este artigo apresenta o Step-Level Self-Distilled Policy Optimization (SSPO), um novo framework que resolve a assimetria de informação no treinamento de agentes de busca profunda ao alavancar Âncoras de Evidência extraídas da web e pesos de vantagem ao nível do passo para aprimorar a atribuição de crédito e superar o GRPO padrão com sobrecarga computacional mínima.

Autores originais: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

Publicado 2026-08-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser um detetive mestre. No mundo da inteligência artificial, esse robô é chamado de "agente", e seu trabalho é resolver quebra-cabeças complexos pesquisando na internet, lendo páginas e conectando os pontos. Para se tornar realmente bom nisso, o robô precisa praticar, mas aqui está a parte complicada: geralmente, o professor só dá uma nota ao final do caso. Se o robô resolve o mistério, ele ganha uma estrela de ouro; se falha, recebe um zero. O problema é que o mistério pode ter levado cinquenta passos para ser resolvido. O robô falhou porque perdeu a última pista ou porque cometeu um pequeno erro no passo três que arruinou tudo? Com apenas uma pontuação ao final do jogo, o robô está voando às cegas, tentando adivinhar quais passos foram bons e quais foram ruins. Este é um enorme obstáculo para criar agentes de busca inteligentes.

Para corrigir isso, cientistas tentaram uma técnica chamada "autodestilação" (self-distillation). Pense nisso como o robô tentando aprender com uma versão "fantasma" de si mesmo que já sabe a resposta. O fantasma (o professor) vê a solução e as pistas, enquanto o robio real (o aluno) tem que descobrir tudo do zero. A ideia é que o aluno copie o raciocínio do professor. No entanto, no mundo bagunçado e aberto da internet, isso frequentemente traz resultados negativos. O professor, sabendo a resposta, pega um atalho e resolve o caso em três passos. O aluno, tentando copiar, aprende a pegar atalhos também, pulando o trabalho duro de realmente pesquisar. É como um aluno copiando a redação final de um professor sem ler os livros; eles conseguem as palavras certas, mas não aprendem nada sobre como pesquisar.

Este artigo apresenta uma nova maneira de treinar esses robôs detetives, chamada SSPO (Step-Level Self-Distilled Policy Optimization). Em vez de deixar o robô simplesmente copiar o atalho do professor, os autores criaram uma ferramenta especial chamada Âncoras de Evidência (Evidence Anchors). Imagine que estas são notas adesivas que o professor deixa sobre a mesa. Elas não revelam a resposta final; em vez disso, elas destacam as peças específicas e cruciais de evidência necessárias em cada etapa da investigação. Por exemplo, em vez de dizer "O suspeito está em Paris", uma nota adesiva poderia dizer: "Verifique os registros de voo de terça-feira".

A mágica acontece na forma como o robô aprende com essas notas. Os autores perceberam que, se o robô já estiver resolvendo um caso corretamente, ele não deve ser forçado a mudar seu estilo. Portanto, o SSPO só usa este método de ensino especial quando o robô erra um caso. Quando o robô falha, o sistema compara o caminho de pesquisa bagunçado do robô com as "Âncoras de Evidência" do professor. Se o robô perdeu uma peça crucial de evidência que o professor destacou, o sistema aplica a esse passo específico uma "penalidade" maior (uma lição mais dura). Se o robô fez um desvio estranho, mas ainda assim encontrou uma pista útil, o sistema lhe dá uma folga.

Crucialmente, o artigo mostra que este método não apenas torna o robô mais inteligente, mas o torna um pesquisador melhor. O robô aprende a fazer perguntas precisas e direcionadas para encontrar a evidência certa, em vez de lançar redes amplas e vagas. Em testes em três diferentes benchmarks de pesquisa desafiadores (BrowseComp, GAIA e FRAMES), este novo método ajudou o robô a aprender mais rápido e a performar melhor do que os métodos padrão. De fato, o robô treinado com este novo método por 100 passos teve um desempenho melhor do que um robô treinado com o método antigo por 200 passos. Os autores sugerem que, ao focar na qualidade de cada passo de pesquisa em vez de apenas na nota final, podemos construir agentes que não são apenas adivinhadores de sorte, mas verdadeiros investigadores eficientes.

Resumo Técnico: Otimização de Política com Autodestilação em Nível de Passo para Agentes de Busca Profunda

Declaração do Problema

Agentes de busca profunda operam sobre trajetórias de longo horizonte que envolvem dezenas de passos (ex: emitir buscas, navegar em páginas e refinar o raciocínio). Abordagens padrão de Aprendizado por Reforço (RL) para esses agentes, como o Group Relative Policy Optimization (GRPO), normalmente fornecem apenas um único resultado de recompensa binário por trajetória. Essa supervisão esparsa cria um severo gargalo de atribuição de crédito: o modelo não recebe orientação sobre quais passos intermediários específicos levaram ao sucesso ou ao fracasso.

Embora a Autodestilação On-Policy (OPSD) tenha sido bem-sucedida em tarefas de raciocínio de turno único (como matemática e código) ao usar os próprios logits do modelo como professores densos ao nível de token, estender isso para agentes de busca de múltiplos turnos introduz desafios fundamentais:

Assimetria de Informação Extrema: Em tarefas de busca, um modelo "professor" com acesso a informações privilegiadas (ex: evidências curadas e a resposta correta) colapsa significativamente o processo de busca (ex: 3,5 chamadas de ferramenta vs. 17,7 para o aluno). A destilação simples faz com que o aluno imite essa brevidade, aprendendo a abandonar o uso de ferramentas prematuramente em vez de desenvolver estratégias de busca robustas.
Falta de Informação Privilegiada Natural: Ao contrário da matemática ou do código, a busca na web de forma aberta carece de soluções de referência prontas ou feedback de execução que possam servir como um prefixo de professor sem revelar todo o caminho da resposta.

Metodologia: SSPO

Os autores propõem o Step-Level Self-Distilled Policy Optimization (SSPO), um framework projetado para resolver a tensão entre a necessidade de supervisão densa e os riscos de assimetria de informação. O método consiste em dois componentes principais:

1. Âncoras de Evidência (Informação Privilegiada)

Para fornecer ao professor o contexto necessário sem revelar o caminho completo da solução, os autores constroem Âncoras de Evidência. Estas são inserções concisas de evidência em nível de passo extraídas da web que capturam as condições de raciocínio chave necessárias para responder a uma pergunta.

Construção: Um LLM de última geração identifica evidências que apoiam a resposta de verdade fundamental para cada par de QA (pergunta e resposta).
Uso: Estas âncoras serveem como um prefixo para o modelo professor apenas quando o aluno gera uma trajetória incorreta. O professor também recebe a resposta incorreta do aluno para evitar que ele repita os mesmos erros.

2. Pesagem de Vantagem em Nível de Passo

Em vez de minimizar a divergência entre as distribuições do professor e do aluno (o que leva ao problema do "atalho"), o SSPO converte o desacordo entre professor e aluno em pesos de vantagem em nível de passo dentro do objetivo GRPO.

Mecanismo: Para cada passo $\tau$ em uma trajetória, o método calcula a razão de log-verossimilhança conjunta ( $\Delta^{step}_{\tau}$ ) entre o professor (com contexto privilegiado) e o aluno.
Aplicação: Este sinal é aplicado exclusivamente a trajetórias incorretas.
- Desacoplamento de Direção e Magnitude: A recompensa de resultado determina a direção da atualização da política (reforçar ou suprimir a trajetória), enquanto o sinal do professor modula a magnitude da atualização em cada passo.
- Lógica de Pesagem:
  - Se o aluno estiver excessivamente confiante em um passo rejeitado pelo professor ( $\Delta^{step}_{\tau} < 0$ ), a penalidade é amplificada.
  - Se o aluno estiver incerto em um passo endossado pelo professor ( $\Delta^{step}_{\tau} > 0$ ), a penalidade é reduzida, preservando o raciocínio intermediário válido.
  - Trajetórias corretas são deixadas intocadas para preservar a diversidade comportamental.
Granularidade: A supervisão é alinhada com a unidade natural de ações de busca (Pensamento + Chamada de Ferramenta) em vez de tokens individuais, garantindo que o sinal corresponda ao processo de busca de informação.

Principais Contribuições

Identificação da Quebra de Suposições: O artigo demonstra que estender a autodestilação para a busca de múltiplos turnos quebra as suposições válidas para tarefas de turno único (lacunas modestas entre professor e aluno e existência de informação privilegiada), necessitando de um design fundamentalmente diferente.
Âncoras de Evidência: Introdução de uma nova forma de informação privilegiada — inserções de evidência compactas em nível de passo — que se alinham com a estrutura das ações de busca sem revelar o caminho completo da resposta.
Algoritmo SSPO: Um método de otimização de política que utiliza sinais de autodestilação como pesos de vantagem em vez de alvos de otimização. Esta abordagem injeta supervisão de processo refinada enquanto evita o vazamento de informação privilegiada e a supressão da diversidade em trajetórias corretas.

Resultados Experimentais

O método foi avaliado no Qwen3-8B em três benchmarks de busca de informação: BrowseComp, GAIA e FRAMES.

Desempenho: O SSPO supera consistentemente o GRPO padrão. Em média, o SSPO alcança uma melhoria de +4,8 sobre o baseline de cold-start, comparado aos +2,4 do GRPO.
Eficiência de Amostra: O SSPO treinado por 100 passos supera o GRPO treinado por 200 passos, demonstrando superior eficiência de amostra.
Eficiência: O método adiciona apenas aproximadamente 5% de overhead computacional por passo (devido a uma única passagem forward adicional para o professor).
Dinâmicas de Treinamento: A análise mostra que o SSPO mantém recompensas mais altas e normas de gradiente mais estáveis durante o treinamento em comparação ao GRPO, que exibe saturação precoce. As curvas de entropia permanecem alinhadas, sugerindo que os ganhos vêm de atualizações de política mais eficazes, e não de um aumento na exploração.
Estudos de Ablação:
- A destilação direta (minimização de divergência) colapsa o uso de ferramentas e tem desempenho inferior ao GRPO.
- A pesagem ao nível de token é insuficiente; a pesagem ao nível de passo é necessária para alinhar com as ações de busca de informação.
- As Âncoras de Evidência são o principal motor da supervisão de processo, enquanto o feedback da resposta incorreta serve como um papel complementar para penalizar falhas terminais.

Significância e Alegações

O artigo afirma que o SSPO resolve com sucesso o problema de atribuição de crédito em agentes de busca profunda ao alinhar a supervisão privilegiada com a estrutura natural dos passos de busca. Ao desacoplar a direção da atualização (determinada pelas recompensas de resultado) da magnitude da atualização (modulada pela autodestilação em nível de passo), o método guia os agentes para uma busca mais direcionada e baseada em evidências.

Os autores enfatizam que esta abordagem permite que os agentes aprendam melhores estratégias de busca sem herdar a assimetria de informação do professor, alcançando desempenho superior com overhead computacional mínimo. Os resultados sugerem que a supervisão de processo refinada, quando corretamente estruturada, é crítica para escalar agentes de busca profunda além das limitações das recompensas de resultado esparsas.