Resumo Técnico: DR Tulu: Aprendizado por Reforço com Rubricas Evolutivas para Pesquisa Profunda

Declaração do Problema

Agentes de pesquisa profunda (DR) são projetados para produzir respostas aprofundadas e bem atribuídas a tarefas complexas, planejando, pesquisando e sintetizando informações de diversas fontes. No entanto, os agentes DR de código aberto existentes enfrentam limitações significativas:

1. Incompatibilidade de Treinamento: A maioria dos agentes abertos é treinada via Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em tarefas de perguntas e respostas (QA) de curto formato e facilmente verificáveis. Essa abordagem não se generaliza para tarefas realistas de pesquisa profunda de longo formato, onde as respostas são complexas e mal especificadas.
2. Deficiência de Sinal de Recompensa: Definir sinais de recompensa confiáveis para geração de longo formato de código aberto é desafiador. Critérios de avaliação estáticos e pré-definidos frequentemente falham em capturar as nuances da qualidade, e a avaliação precisa frequentemente exige acesso a informações externas extensas e atualizadas além do conhecimento paramétrico do modelo.
3. Falta de Infraestrutura Aberta: Sistemas abertos existentes frequentemente dependem de ferramentas únicas, carecem de suporte completo a citações ou não liberam dados de treinamento e código, dificultando a reprodutibilidade e pesquisas futuras.

Metodologia: Aprendizado por Reforço com Rubricas Evolutivas (RLER)

Para abordar esses desafios, os autores introduzem o DR Tulu-8B, o primeiro modelo totalmente aberto treinado de ponta a ponta para pesquisa profunda de longo formato e código aberto. A inovação central é o Aprendizado por Reforço com Rubricas Evolutivas (RLER), um framework onde os critérios de avaliação (rubricas) co-evoluem com o modelo de política durante o treinamento.

Componentes Centrais do RLER

1. Rubricas como Recompensas: Em vez de critérios estáticos, o sistema utiliza rubricas definidas em linguagem natural, específicas para cada amostra. Um Modelo de Linguagem (LLM) julgador avalia as respostas contra essas rubricas para gerar pontuações.
2. Rubricas Evolutivas Aumentadas por Busca:
   • Inicialização: Para cada prompt de treinamento, as rubricas iniciais são geradas por um LLM ($G_{rubric}$) usando documentos recuperados de uma API de busca externa. Isso fundamenta os critérios em conhecimento externo atualizado.
   • Co-evolução: Durante o treinamento, o sistema amostra múltiplas respostas do modelo (rollouts) e rastros de busca. O gerador de rubricas então cria novas rubricas contrastando essas respostas.
     • Rubricas Positivas: Capturam pontos fortes ou novos conhecimentos relevantes explorados pela política atual que as rubricas existentes perderam.
     • Rubricas Negativas: Identificam comportamentos indesejados comuns (por exemplo, exploração de recompensa, cópia literal) observados em várias respostas.
   • Gerenciamento de Buffer: Para evitar o crescimento linear no número de rubricas, uma estratégia de gerenciamento de buffer filtra e classifica as rubricas com base em seu poder discriminativo (desvio padrão das recompensas entre as respostas), retendo apenas as mais informativas.
3. Recompensas Auxiliares: O framework inclui recompensas auxiliares para correção de formato, uso eficaz da ferramenta de busca e citações de alta qualidade que sustentam alegações relevantes.

Pipeline de Treinamento

• Modelo Base: O modelo é inicializado a partir do Qwen3-8B.
• Ajuste Fino Supervisionado (SFT): Uma fase de "início frio" usando 16 mil trajetórias de alta qualidade (longo e curto formato) geradas por modelos professores (incluindo o GPT-5) para destilar padrões de busca e uso de ferramentas.
• RL Online: O modelo passa por treinamento de RL usando uma variante do GRPO (Otimização de Política Relativa em Grupo). O loop de treinamento envolve:
  1. Geração de rollouts agênticos com chamadas reais de ferramentas (Busca Google, Navegação Web, Busca de Artigos).
  2. Pontuação das respostas contra o buffer de rubricas dinamicamente atualizado.
  3. Atualização do modelo de política.
  4. Refinamento do buffer de rubricas adicionando novas rubricas evolutivas e podando aquelas de baixa variância.
• Infraestrutura: Os autores liberam o dr-agent-lib, uma biblioteca de agentes extensível que suporta chamadas de ferramentas assíncronas, cache global e integração de busca multi-ferramenta.

Principais Contribuições

1. DR Tulu-8B: O primeiro modelo de pesquisa profunda totalmente aberto treinado de ponta a ponta para tarefas de longo formato, capaz de produzir relatórios de longo formato bem atribuídos.
2. Framework RLER: Um método de treinamento inovador que gera rubricas específicas para instância e fundamentadas em busca, que se adaptam às capacidades em evolução do modelo de política, permitindo feedback on-policy mais discriminativo.
3. Ecossistema Aberto: A liberação do modelo, dados de treinamento, rubricas de avaliação e a infraestrutura dr-agent-lib, fornecendo uma pilha completa e reprodutível para agentes de pesquisa profunda.
4. Novo Benchmark: A introdução do GeneticDiseasesQA, um conjunto de dados clínicos desafiador que exige que os modelos sintetizem evidências para elegibilidade terapêutica de variantes genéticas.

Resultados Experimentais

O modelo foi avaliado em quatro benchmarks de pesquisa profunda de longo formato: AstaBench-ScholarQA-CS2 (SQAv2), HealthBench, ResearchQA e DeepResearchBench (DRB).

• Desempenho vs. Modelos Abertos: O DR Tulu-8B (RL) supera substancialmente todos os agentes de pesquisa profunda abertos existentes. Ele alcança uma pontuação média de 65,6, excedendo o modelo aberto anterior de última geração (Tongyi DR-30B) em 15,6 pontos percentuais. Notavelmente, supera modelos abertos maiores (por exemplo, backbones de 32B) apesar de usar uma base de 8B parâmetros.
• Desempenho vs. Modelos Proprietários: O DR Tulu-8B iguala ou supera sistemas proprietários (OpenAI Deep Research, Perplexity DR, Gemini 3 Pro + Search) em média. Na SQAv2, alcança o melhor desempenho entre todos os sistemas testados.
• Eficiência de Custos: O DR Tulu-8B é significativamente mais custo-efetivo. Na SQAv2, custa aproximadamente $0,0019 por consulta, o que é cerca de 1.000 vezes mais barato que o OpenAI Deep Research ($1,80/consulta) e ordens de magnitude mais barato que outros modelos abertos.
• Adaptabilidade de Ferramentas: O modelo aprende a selecionar ferramentas apropriadas com base na tarefa. Para tarefas de literatura científica (SQAv2), ele depende da busca de artigos 90% do tempo; para tarefas de domínio geral (DRB), utiliza mais frequentemente a busca na web e navegação.
• GeneticDiseasesQA: Nesta tarefa clínica especializada, o DR Tulu-8B compete ou supera agentes proprietários, demonstrando a capacidade de produzir citações confiáveis e verificáveis onde outros agentes abertos falham.

Significado e Alegações

O artigo posiciona o DR Tulu e o RLER como um passo crítico para democratizar as capacidades de pesquisa profunda.

• Ponte da Lacuna: O trabalho aborda a barreira de longa data de treinar agentes de pesquisa profunda em tarefas realistas de longo formato, fornecendo um método (RLER) que gera sinais de recompensa confiáveis sem exigir que especialistas humanos refinem manualmente rubricas para cada instância.
• Reprodutibilidade: Ao liberar toda a pilha de treinamento (dados, código, modelos, infraestrutura), os autores visam permitir avaliação rigorosa e pesquisas futuras na comunidade, uma capacidade anteriormente limitada a sistemas proprietários.
• Escalabilidade de Verificadores: Os autores enquadram o RLER como uma nova dimensão de escalabilidade de computação de verificadores, onde "informações privilegiadas" (resultados de busca externos e respostas contrastivas do modelo) são fornecidas ao julgador para melhorar a qualidade da avaliação, em vez de simplesmente aumentar os tokens de raciocínio do modelo de recompensa.
• Alegações Modestas: Os autores reconhecem que, embora o DR Tulu tenha desempenho competitivo com sistemas proprietários, é primariamente um artefato de pesquisa. Eles enfatizam que o uso downstream requer avaliação cuidadosa, transparência sobre incertezas e supervisão humana, particularmente em domínios de alto risco como saúde. Eles também observam que a recompensa de treinamento nem sempre correlaciona perfeitamente com o desempenho de avaliação downstream devido a incompatibilidades no design de rubricas e modelos julgadores.