Resumo Técnico: SD-Search

Declaração do Problema

Agentes de raciocínio aumentados por busca, que intercalam raciocínio interno com chamadas de recuperação externa, dependem fortemente da qualidade de consultas de busca individuais. No entanto, abordagens padrão de aprendizado por reforço (RL) para esses agentes, como a Otimização de Política Relativa em Grupo (GRPO), tipicamente utilizam recompensas no nível do resultado (por exemplo, a correção da resposta final). Essa formulação atribui a mesma recompensa no nível da trajetória a cada token em uma execução, falhando em fornecer crédito específico por etapa para decisões individuais de busca. Consequentemente, o modelo não recebe nenhum sinal que distinga uma consulta bem-formada e de alto valor de uma redundante ou pobre.

Tentativas recentes de abordar isso via supervisão de processo (por exemplo, Thinker, StepSearch) injetam sinais no nível da etapa dependendo de recursos externos: seja um modelo professor significativamente maior (por exemplo, 72B parâmetros) para decompor problemas ou anotações de sistemas externos mais fortes (por exemplo, GPT-4o). Esses métodos melhoram o desempenho, mas introduzem custos significativos, dependência de APIs ou modelos externos e restringem a aplicabilidade a cenários onde tais recursos estão disponíveis.

Metodologia: SD-Search

Os autores propõem SD-Search (Auto-distilação de Perspectiva Retrospectiva On-Policy), um framework que deriva supervisão no nível da etapa inteiramente a partir da própria política, eliminando a necessidade de professores externos ou anotações auxiliares. A inovação central é a auto-distilação de perspectiva retrospectiva on-policy, onde um único modelo desempenha dois papéis distinguidos apenas pelo seu contexto de condicionamento:

1. Visão do Aluno: A política opera sob condições padrão de inferência, vendo apenas o prefixo da trajetória disponível no momento da decisão.
2. Visão do Professor: Os mesmos parâmetros da política são condicionados em um bloco de perspectiva retrospectiva ($h(G)$). Este bloco agrega as trajetórias de busca e os rótulos de resultado (CORRETO/INCORRETO) de um grupo de execuções-irmãs amostradas a partir da mesma pergunta. Crucialmente, o professor vê uma visão "mascarada" dessas execuções, retendo apenas os segmentos de busca e os rótulos de resultado, enquanto descarta o raciocínio a jusante, os documentos recuperados e as respostas finais para impedir que a resposta seja diretamente extraível.

O Objetivo de Treinamento

O método alinha a distribuição de consultas do aluno com a distribuição do professor nas posições de consulta de busca ($Q_\tau$) usando uma perda de Divergência de Jensen-Shannon (JSD) no nível do token.

• Distribuição do Professor: Como o professor conhece os resultados de todo o grupo de execuções, sua distribuição preditiva sobre os tokens de busca codifica implicitamente quais consultas levaram ao sucesso e quais não o fizeram.
• Alinhamento do Aluno: O aluno minimiza a JSD entre sua própria distribuição e a distribuição do professor nas posições de consulta. Isso fornece um sinal denso no nível da etapa que complementa as vantagens grosseiras no nível da trajetória do GRPO.
• Integração: A perda total é $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$. O termo JSD é adicionado como uma perda auxiliar sem modificar o estimador de vantagem ou o processo de amostragem de execução do GRPO.

Escolhas de Design Chave

• Mascaramento Futuro: O bloco de perspectiva retrospectiva mascara tokens não relacionados à busca (THINK, DOCUMENTS, ANSWER) para impedir que o professor "trapaceie" ao ver a resposta no contexto recuperado, o que colapsaria a distribuição de busca.
• Contraste de Resultado: O professor condiciona-se aos rótulos de resultado binários das execuções-irmãs. Esse contraste permite que o professor reforce padrões de consulta bem-sucedidos e redistribua a massa de probabilidade para longe das falhas, mesmo que a execução específica sendo supervisionada termine em falha.
• Aquecimento: Um período de aquecimento é empregado onde o coeficiente de distilação é zero, permitindo que a política aprenda o formato estruturado da trajetória antes que o sinal de auto-distilação seja introduzido.

Contribuições Principais

1. Framework: O SD-Search é o primeiro framework a fornecer supervisão no nível da etapa para raciocínio aumentado por busca via auto-distilação de perspectiva retrospectiva on-policy, não exigindo professor externo ou anotações além dos pares padrão pergunta-resposta usados para treinamento de recompensa de resultado.
2. Objetivo: Um novo objetivo JSD no nível do token que alinha a distribuição de consultas da política com uma distribuição condicionada à perspectiva retrospectiva. Isso integra-se perfeitamente aos pipelines GRPO existentes com apenas uma passagem forward auxiliar e um termo de perda.
3. Validação Empírica: Experimentos extensivos em sete benchmarks de QA de um único salto e múltiplos saltos demonstram que o SD-Search iguala ou supera as linhas de base de supervisão de processo que dependem de recursos externos, enquanto supera as linhas de base puras de recompensa de resultado.

Resultados Experimentais

Os autores avaliaram o SD-Search usando os backbones Qwen2.5-3B e Qwen2.5-7B em sete benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

• Escala 3B: O SD-Search alcançou uma Correspondência Exata (EM) média de 0.428, superando as linhas de base mais fortes de recompensa de resultado (AutoRefine: 0.405, MR-Search: 0.414) e estatisticamente igualando a linha de base líder de supervisão de processo Thinker (0.430), apesar do Thinker depender de um professor de 72B.
• Escala 7B: O SD-Search atingiu uma EM média de 0.476, superando todas as linhas de base, incluindo Thinker (0.452) e AutoRefine (0.455).
• Comportamento de Escala: Diferentemente do Thinker, cujo ganho de desempenho sobre as linhas de base de recompensa de resultado diminui e eventualmente se torna negativo à medida que o tamanho do modelo aumenta (devido ao professor externo fixo tornando-se um gargalo), os ganhos do SD-Search permanecem positivos em todas as escalas (1.5B a 14B). Isso sugere que o método escala com a própria capacidade de leitura em contexto do aluno.
• Eficiência: O método incorre em uma sobrecarga de treinamento ponta a ponta de 15,5% (medida em 8×GPUs H800) em comparação com as linhas de base de recompensa de resultado. Essa sobrecarga está contida inteiramente dentro do loop padrão de RL, evitando os custos massivos de inferência de modelos professores de 72B ou pipelines de anotação GPT-4o exigidos por métodos concorrentes.

Significado e Alegações

O artigo afirma que o sinal no nível da etapa tradicionalmente obtido de fontes externas pode ser recuperado da própria política através do condicionamento de perspectiva retrospectiva. Ao explorar o contraste entre execuções bem-sucedidas e mal-sucedidas dentro de um único grupo de treinamento, a política aprende a identificar decisões de busca de alta qualidade sem supervisão externa.

Os autores posicionam o SD-Search como uma alternativa mais acessível e escalável à supervisão de processo. Ele remove a dependência de modelos ou APIs externos caros, tornando a supervisão de alta qualidade no nível da etapa viável para praticantes com recursos limitados. Além disso, os resultados sugerem que o "professor" na auto-distilação não precisa ser um modelo separado e maior; em vez disso, a mesma política, quando dada acesso aos resultados de suas próprias explorações, possui informações suficientes para guiar sua própria estratégia de busca de forma eficaz.

Limitações: Os autores observam que o método atualmente depende de rótulos de resultado binários derivados de respostas douradas, restringindo-o a tarefas com referências pontuáveis. Além disso, a eficácia do contraste de perspectiva retrospectiva pode degradar-se em cenários onde todo o grupo de execuções compartilha o mesmo resultado (todos com sucesso ou todos com falha), embora isso seja menos frequente em escalas menores.