OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

No mundo em rápida evolução da inteligência artificial, pesquisadores estão constantemente tentando ensinar programas de computador a pensar mais como humanos, especialmente quando se trata de encontrar respostas em um vasto oceano de informações. Durante anos, a abordagem padrão tem sido treinar modelos massivos e caros que memorizam fatos, mas esses sistemas frequentemente têm dificuldades quando precisam buscar novas informações ou conectar pontos entre diferentes tópicos. Um caminho mais promissor envolve o "raciocínio aumentado por busca" (search-augmented reasoning), onde um modelo aprende a fazer perguntas, ler as respostas que encontra e, então, sintetizar uma resposta final. No entanto, ensinar modelos menores e mais eficientes a fazer isso tem sido um problema persistente. O método usual exige um modelo "professor" que já seja um especialista em buscas, mas treinar tal professor para cada tarefa específica é incrivelmente caro e lento. Além disso, simplesmente copiar as respostas de um professor frequentemente falha porque o modelo aluno fica preso em um ciclo de seus próprios erros, incapaz de aprender com a natureza dinâmica e em tempo real de um mecanismo de busca ao vivo.

Uma equipe de pesquisadores introduziu um novo método chamado OPDSearch+ que resolve esses problemas ao mudar a forma como o aluno aprende. Em vez de depender de um professor que tenha sido especialmente treinado para um trabalho específico, eles utilizam um modelo poderoso e pré-existente que é mantido congelado, o que significa que ele não muda durante o processo. Este professor atua como um guia, não fornecendo a resposta final, mas observando o aluno enquanto este interage com um mecanismo de busca ao vivo. À medida que o aluno faz perguntas e lê os resultados, o professor fornece feedback imediato e passo a passo sobre cada palavra que o aluno gera. Esse feedback ajuda o aluno a entender não apenas qual é a resposta correta, mas como decompor uma questão complexa, como formular uma consulta de busca e como tecer a informação encontrada em um argumento lógico.

O processo ocorre em duas etapas distintas. Primeiro, o modelo aluno aprende com a orientação do professor enquanto está buscando informações ativamente. Esta etapa é crucial porque ensina ao aluno os hábitos de um bom pesquisador — como decompor um problema e integrar evidências — sem que o aluno jamais precise ver o próprio histórico de buscas do professor. Os pesquisadores descobriram que esse treinamento inicial remodela o comportamento do aluno, criando uma base muito mais forte do que começar do zero. Na segunda etapa, o aluno é refinado utilizando uma técnica que o recompensa por acertar a resposta final. Como o aluno começou com uma base tão sólida a partir da primeira etapa, ele é capaz de aprender muito mais rápido e atingir um nível de desempenho que jamais alcançaria por conta própria.

Os resultados desta abordagem são impressionantes. Quando testado em sete diferentes benchmarks de perguntas e respostas, o novo método permitiu que um modelo relativamente pequeno, com apenas três bilhões de parâmetros, superasse todos os modelos anteriores de mesmo tamanho. Em tarefas complexas que exigem a conexão de múltiplos fragmentos de informação, a melhoria foi particularmente dramática, com o modelo alcançando um aumento de treze pontos de precisão em um teste importante e um aumento de oito pontos em outro. Os pesquisadores demonstraram que este método não é apenas um ajuste menor, mas uma mudança fundamental na forma como modelos pequenos podem ser ensinados a raciocinar com ferramentas de busca. Ao usar um professor congelado e pronto para uso para guiar o aluno através de interações em tempo real, eles criaram um sistema que é ao mesmo tempo altamente eficiente e notavelmente eficaz, provando que um modelo pequeno pode aprender a pensar profundamente e a buscar sabiamente sem a necessidade de um treinamento caro e específico para cada tarefa.