Resumo Técnico: EviSD – Auto-destilação Condicionada por Evidência para Agentes de Busca Aumentada

Declaração do Problema

Agentes de linguagem aumentados por busca utilizam recuperação externa para intercalar o raciocínio com a coleta de informações. Embora métodos recentes de aprendizado por reforço (RL) baseados em resultados, como o Group Relative Policy Optimization (GRPO), permitam o treinamento via respostas finais verificáveis, eles sofrem de uma limitação fundamental na atribuição de crédito. A recompensa ao nível do resultado transmite a mesma vantagem de trajetória para cada token gerado. Consequentemente, o sistema não consegue distinguir entre:

• Pesquisas eficazes que recuperaram evidências decisivas.
• Pesquisas redundantes ou vagas que não forneceram valor.
• Tokens de raciocínio intermediários versus tokens de resposta terminal.

Este feedback de "apenas resultado" falha em localizar decisões específicas da instância, tornando difícil otimizar as ações específicas (busca ou resposta) que levaram ao sucesso ou fracasso, particularmente em cenários de múltiplos turnos onde consultas iniciais ditam a qualidade do raciocínio subsequente.

Abordagens existentes tentam refinar a granularidade do crédito por meio de recompensas específicas de recuperação ou estimadores de nível de passo, mas frequentemente carecem de um mecanismo para determinar qual informação específica da instância deve guiar uma ação amostrada. Por outro vez, métodos de auto-destilação on-policy (OPSD) introduzem contextos de professor privilegiados, mas muitas vezes dependem de retrospectiva derivada da trajetória ou habilidades de nível de tarefa, que podem não identificar diretamente a evidência específica necessária para uma determinada consulta.

Metodologia: EviSD

Os autores propõem o EviSD (Evidence-Conditioned Self-Distillation), um framework que utiliza evidência de suporte ao nível da instância como informação privilegiada para refinar o crédito derivado do resultado. O método opera sob duas decisões de design principais:

1. Construção de Contexto Privilegiado ao Nível da Instância

O EviSD trata a evidência de suporte (anotada nos dados de treinamento) como informação privilegiada para ações de busca e as respostas de ouro para ações de resposta.

• Para Ações de Busca: O modelo professor é condicionado à evidência de suporte anotada ($E_q$) da instância de QA atual. Isso fornece uma visão do que uma consulta útil deveria descobrir sem prescrever uma string de consulta específica.
• Para Ações de Resposta: O professor é condicionado à resposta de ouro ($C_q$).
• Alinhamento de Ação: O contexto privilegiado é prefixado ao contexto original apenas quando o estudante gera uma ação de busca ou resposta. Para outros tokens (raciocínio, delimitadores), o contexto permanece inalterado.

2. Modulação de Crédito Localizada na Ação e Ancorada no Resultado

Em vez de otimizar uma perda de destilação separada, o EviSD traduz a lacuna professor-estudante em uma correção limitada da vantagem do GRPO.

• Contraste Professor-Estudante: A mesma política atua tanto como estudante (amostrando a partir do contexto original) quanto como professor (re-pontuando a mesma ação sob o contexto privilegiado). O sinal é a razão de log-verossimilhança desconectada ($\delta$) entre as duas visões.
• Localização: A modulação aplica-se apenas aos tokens de conteúdo das ações de busca e resposta geradas ($m^{act}$). Os tokens de raciocínio e as passagens recuperadas mantêm sua vantagem original do GRPO.
• Função de Modulação: O sinal privilegiado modula a magnitude da vantagem derivada do resultado ($A$) via uma função limitada:
  $$\Delta A^{priv} = \lambda |A| \tanh(\tau \delta) m^{act}$$
  $$\hat{A} = A + \Delta A^{priv}$$
  Aqui, $\lambda$ controla a correção relativa máxima, e $\tau$ controla a sensibilidade. Crucialmente, para $\lambda < 1$, a correção não pode inverter o sinal da vantagem original. A recompensa do resultado permanece como a âncora para a direção da atualização; a informação privilegiada apenas refina a força do crédito para tokens de ação específicos.

Treinamento e Inferência

• Treinamento: O modelo amostra trajetórias, computa recompensas de resultado, constrói contextos privilegiados para turnos de busca/resposta, re-pontua ações para gerar a lacuna professor-estudante e atualiza a política usando a vantagem modulada $\hat{A}$ dentro do objetivo padrão de clipping do GRPO.
• Inferência: O agente implantado opera exatamente como antes. Os contextos privilegiados e a visão do professor são removidos, não exigindo mudanças no pipeline de inferência ou latência adicional.

Principais Contribuições

1. Framework Condicionado por Evidência: O EviSD introduz um uso inovador de evidência de suporte ao nível da instância como contexto de professor privilegiado para ações de busca, complementado por respostas de ouro para ações de resposta.
2. Modulação Localizada na Ação: O artigo propõe uma regra de modulação de crédito que converte a lacuna professor-estudante desconectada em uma correção limitada para as vantagens do GRPO. Esta abordagem não requer perda de destilação auxiliar e evita mudanças no tempo de inferência.
3. Desempenho e Robustez: O método alcança resultados de estado da arte em sete benchmarks de QA e três backbones de modelos (Qwen2.5-3B, 7B e Qwen3-1.7B), superando os baselines mais fortes em 1,3–2,3 pontos de Exact Match (EM) macro-médio.

Resultados Experimentais

Os autores avaliaram o EviSD em sete datasets (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle) cobrindo raciocínio de salto único (single-hop) e múltiplos saltos (multi-hop).

• Desempenho Geral: O EviSD alcançou o maior EM macro-médio em todos os cenários avaliados. No backbone Qwen2.5-7B, superou o segundo melhor método (SDAR) em 1,3–2,3 pontos.
• Eficiência de Busca: O EviSD demonstrou maiores taxas de sucesso com menos buscas (1,87 buscas por trajetória vs. 2,16 para o SDAR), indicando uma orientação mais precisa das ações de busca.
• Estudos de Ablação:
  • Fonte de Privilégio: Substituir a evidência específica da instância por contexto de apenas resposta reduziu o desempenho em 2,1 pontos de EM, confirmando o valor da evidência para supervisionar ações de busca.
  • Localização: Aplicar a modulação à resposta completa (em vez de apenas spans de ação) reduziu o desempenho em 7,1 pontos, validando a necessidade de localizar a orientação aos tokens de ação.
  • Dinâmica de Treinamento: O EviSD manteve uma curva de taxa de sucesso on-policy suave e menor divergência KL em comparação aos concorrentes, sugerindo uma melhoria de política estável sem desvios abruptos.
• Sensibilidade: O método mostrou sensibilidade limitada à qualidade da evidência privilegiada; substituir a evidência de ouro por documentos recuperados relevantes resultou em degradação negligenciável de desempenho.

Significância e Alegações

O artigo afirma que o EviSD aborda a lacuna crítica do RL baseado em resultados para agentes de busca ao localizar a atribuição de crédito sem sacrificar a escalabilidade das recompensas de resultado. Ao tratar a evidência de suporte como informação privilegiada, o framework guia o agente para identificar o que informação é necessária para uma consulta sem ditar a consulta em si.

Os autores enfatizam que sua abordagem é distinta dos métodos de auto-destilação anteriores porque:

1. Utiliza evidência específica da instância em vez de retrospectiva derivada da trajetória ou habilidades reutilizáveis.
2. Modula o crédito do resultado em vez de otimizar um objetivo de destilação separado.
3. Preserva a direção da atualização determinada pela recompensa de resultado, enquanto refina a magnitude do crédito para ações específicas.

Em última análise, o EviSD demonstra que refinar a atribuição de crédito através da auto-destilação condicionada por evidência pode melhorar significativamente as capacidades de raciocínio aumentadas por busca em diferentes escalas e gerações de modelos, tudo isso mantendo uma arquitetura de inferência pronta para implantação.