Resumo Técnico: SearchMaster

Declaração do Problema

O treinamento de agentes de busca baseados em Grandes Modelos de Linguagem (LLMs) requer dados de alta qualidade que apresentem tarefas de recuperação multi-salto (multi-hop) genuínas e trajetórias que utilizem ferramentas de busca de forma eficaz. Pipelines existentes dependem tipicamente de anotação humana dispendiosa, demonstrações de especialistas ou modelos professores mais fortes para gerar esses dados. Embora o self-play ofereça uma solução potencial para gerar dados de forma autônoma, os métodos atuais de self-play para agentes de busca sofrem de modos de falha distintos:

1. Perguntas Pseudo Multi-Salto: Os modelos podem gerar perguntas que parecem complexas, mas que são respondíveis a partir de um único documento ou do texto semente, falhando em exigir evidências entre múltiplos documentos.
2. Sinais de Dificuldade Enganosos: Confiar apenas nas taxas de sucesso de execução (rollout) para estimar a dificuldade da tarefa frequentemente falha em distinguir entre tarefas de busca superficial e aquelas que exigem uma busca profunda e de múltiplos passos.
3. Deriva de Excesso de Abertura (Over-Opening Drift): Os modelos podem depender excessivamente da ferramenta open, revisitando documentos já vistos em vez de adquirir novas evidências direcionadas, levando a trajetórias de navegação longas, porém superficiais.

O desafio central não é meramente gerar mais dados, mas estabilizar o loop de self-play para garantir que os sinais de treinamento reforcem tarefas fundamentadas em evidências, busca de múltiplos passos e uso eficiente de ferramentas.

Metodologia: Estrutura SearchMaster

O SearchMaster é uma estrutura de self-play fundamentada e regulada que treina um único modelo de política ($\pi_\theta$) atuando tanto como um Propositor (gerador de tarefas) quanto como um Solver (respondedor de tarefas) dentro de um ambiente de busca local. Uma cópia congelada do modelo inicial serve como um Verificador. A estrutura emprega três mecanismos específicos para abordar os modos de falha do self-play padrão:

1. Gerador de Cadeia de Evidências (ECG - Evidence-Chain Generator)

Para evitar perguntas pseudo multi-salto, o Propositor é obrigado a construir explicitamente uma cadeia de evidências entre documentos durante a exploração.

• Processo: Partindo de um documento semente, o Propositor seleciona iterativamente entidades/fatos, busca por documentos conectados e estende a cadeia ($c_j = e_{j,1} \to \dots \to e_{j,n}$).
• Restrição: A pergunta final ($q_j$) é derivada estritamente desta cadeia completa, com requisitos explícitos de que a resposta não pode ser encontrada em um único documento.
• Filtragem: Os candidatos passam por quatro filtros (uso de ferramenta, formato, validade e conhecimento paramétrico) para garantir que a pergunta seja válida, seja suportada pela cadeia e não possa ser respondida sem ferramentas.

2. Recompensa de Profundidade de Busca (SDR - Search-Depth Reward)

Para abordar a limitação da estimativa de dificuldade baseada na taxa de sucesso, o SearchMaster recompensa tarefas com base na profundidade de busca das execuções bem-sucedidas, em vez de apenas no resultado binário de sucesso.

• Métrica: A dificuldade da tarefa é pontuada pela profundidade de busca mínima ($h_{min}$) entre todas as execuções bem-sucedidas do Solver. Se uma tarefa pode ser resolvida com uma busca rasa, ela recebe uma recompensa menor, evitando que o modelo aprenda tarefas de "atalho".
• Função: A recompensa satura em uma profundidade alvo ($H_{sdr}$), garantindo que tarefas que exigem uma profundidade de busca não trivial sejam favorecidas sem recompensar buscas arbitrariamente longas.

3. Penalidade de Excesso de Abertura (OOP - Over-Opening Penalty)

Para regular o uso de ferramentas e evitar a abertura redundante de documentos, uma OOP é aplicada às recompensas do Propositor e do Solver.

• Mecanismo: A penalidade é calculada com base na razão entre as ações de open e as ações de search ($\rho_{oop}$). Ela penaliza trajetórias onde o número de aberturas excede significativamente o número de buscas, desencorajando a revisão de documentos já vistos, enquanto permite a exploração legítima de múltiplos documentos.
• Aplicação: A penalidade é subtraída da recompensa base para ambos os papéis, pois eles compartilham a mesma política.

Otimização

A estrutura utiliza a Otimização de Política Relativa de Grupo (GRPO - Group Relative Policy Optimization).

• Fluxo de Dados: Para cada documento semente, o Propositor gera $K_P$ tarefas candidatas. As tarefas aprovadas são resolvidas pelo Solver ($K_S$ execuções).
• Seleção: Apenas as execuções do Solver para a tarefa de maior recompensa são retidas para o grupo do Solver; todas as execuções do Propositor são retidas para o grupo do Propositor.
• Atualização: A política compartilhada é atualizada conjuntamente usando vantagens ao nível de token derivadas das recompensas normalizadas, que incluem os componentes SDR e OOP.

Principais Contribuições

1. Formulação de Self-Play Fundamentado: O artigo formula o self-play de agentes de busca como um problema de fundamentação e regulação da supervisão autogerada, transformando um loop potencialmente ruidoso em um mecanismo de treinamento confiável.
2. Mecanismo de Controle de Três Partes: A introdução de ECG, SDR e OOP aborda explicitamente os modos de falha específicos do self-play de busca (multi-salto pseudo, estimativa de dificuldade superficial e uso indevido de ferramentas).
3. Treinamento Sem Intervenção Humana: A estrutura demonstra que dados de treinamento eficazes para agentes de busca podem ser gerados e utilizados sem pares de QA rotulados por humanos ou demonstrações de especialistas, baseando-se apenas em um ambiente de busca local.

Resultados Experimentais

Os autores avaliaram o SearchMaster utilizando um backbone Qwen3.5-9B em seis benchmarks de busca profunda.

• Ganho de Desempenho: A estrutura melhorou a precisão média de 38,19% para 51,52% (+13,3 pontos).
• Benchmark Específico: No benchmark BrowseComp-Plus, o modelo alcançou um ganho de 30,1 pontos, subindo de 30,12% para 60,24%.
• Eficiência de Dados: Esses resultados foram alcançados usando apenas 1.280 documentos sementes qualificados gerados ao longo de 20 iterações, sem dados humanos externos.

Significância e Alegações

O artigo afirma que o SearchMaster fornece uma solução escalável para treinar agentes de busca ao estabilizar o loop de self-play. Ao tornar a construção de evidências, a dificuldade da tarefa (via profundidade de busca) e o equilíbrio de uso de ferramentas partes explícitas do objetivo de treinamento, a estrutura permite a "autoevolução" de agentes de busca. Os resultados sugerem que o self-play fundamentado e regulado pode produzir dados de treinamento de alta qualidade que rivalizam com métodos dependentes de anotação humana ou modelos professores mais fortes, melhorando significativamente a capacidade do modelo de realizar buscas multi-salto genuínas e uso eficiente de ferramentas.