Resumen Técnico: DR Tulu: Aprendizaje por Refuerzo con Rúbricas Evolutivas para Investigación Profunda

Declaración del Problema

Los agentes de investigación profunda (DR) están diseñados para producir respuestas detalladas y bien atribuidas a tareas complejas mediante la planificación, la búsqueda y la síntesis de información de diversas fuentes. Sin embargo, los agentes de DR de código abierto existentes enfrentan limitaciones significativas:

1. Desajuste en el Entrenamiento: La mayoría de los agentes abiertos se entrenan mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en tareas de preguntas y respuestas (QA) de formato corto y fácilmente verificables. Este enfoque no se generaliza a tareas realistas de investigación profunda de formato largo, donde las respuestas son complejas y están mal especificadas.
2. Deficiencia en la Señal de Recompensa: Definir señales de recompensa fiables para la generación de formato largo abierta es un desafío. Criterios de evaluación estáticos y predefinidos a menudo no capturan los matices de la calidad, y una evaluación precisa frecuentemente requiere acceso a información externa extensa y actualizada más allá del conocimiento paramétrico del modelo.
3. Falta de Infraestructura Abierta: Los sistemas abiertos existentes a menudo dependen de herramientas individuales, carecen de soporte completo para citas o no publican los datos de entrenamiento y el código, lo que dificulta la reproducibilidad y la investigación futura.

Metodología: Aprendizaje por Refuerzo con Rúbricas Evolutivas (RLER)

Para abordar estos desafíos, los autores presentan DR Tulu-8B, el primer modelo completamente abierto entrenado de extremo a extremo para investigación profunda de formato largo y abierta. La innovación central es el Aprendizaje por Refuerzo con Rúbricas Evolutivas (RLER), un marco donde los criterios de evaluación (rúbricas) co-evolucionan con el modelo de política durante el entrenamiento.

Componentes Centrales de RLER

1. Rúbricas como Recompensas: En lugar de criterios estáticos, el sistema utiliza rúbricas definidas en lenguaje natural a nivel de muestra. Un modelo de lenguaje grande (LLM) juez evalúa las respuestas contra estas rúbricas para generar puntuaciones.
2. Rúbricas Evolutivas Aumentadas con Búsqueda:
   • Inicialización: Para cada prompt de entrenamiento, las rúbricas iniciales son generadas por un LLM ($G_{rubric}$) utilizando documentos recuperados de una API de búsqueda externa. Esto fundamenta los criterios en conocimiento externo actualizado.
   • Co-evolución: Durante el entrenamiento, el sistema muestrea múltiples respuestas del modelo (despliegues) y trazas de búsqueda. El generador de rúbricas crea entonces nuevas rúbricas contrastando estas respuestas.
     • Rúbricas Positivas: Capturan fortalezas o nuevo conocimiento relevante explorado por la política actual que las rúbricas existentes pasaron por alto.
     • Rúbricas Negativas: Identifican comportamientos indeseables comunes (por ejemplo, hacking de recompensas, copia literal) observados en las respuestas.
   • Gestión del Búfer: Para evitar el crecimiento lineal en la cantidad de rúbricas, una estrategia de gestión del búfer filtra y clasifica las rúbricas basándose en su poder discriminativo (desviación estándar de las recompensas entre las respuestas), reteniendo solo las más informativas.
3. Recompensas Auxiliares: El marco incluye recompensas auxiliares para la corrección del formato, el uso efectivo de herramientas de búsqueda y citas de alta calidad que respalden afirmaciones relevantes.

Pipeline de Entrenamiento

• Modelo Base: El modelo se inicializa a partir de Qwen3-8B.
• Ajuste Fino Supervisado (SFT): Una fase de "arranque en frío" utilizando 16K trayectorias de alta calidad (de formato largo y corto) generadas por modelos maestros (incluyendo GPT-5) para destilar patrones de búsqueda y uso de herramientas.
• RL en Línea: El modelo se somete a entrenamiento de RL utilizando una variante de GRPO (Optimización de Política Relativa por Grupos). El bucle de entrenamiento implica:
  1. Generar despliegues de agentes con llamadas reales a herramientas (Búsqueda de Google, Navegación Web, Búsqueda de Artículos).
  2. Puntuar las respuestas contra el búfer de rúbricas actualizado dinámicamente.
  3. Actualizar el modelo de política.
  4. Refinar el búfer de rúbricas añadiendo nuevas rúbricas evolutivas y podando las de baja varianza.
• Infraestructura: Los autores lanzan dr-agent-lib, una biblioteca de agentes extensible que soporta llamadas de herramientas asíncronas, caché global e integración de búsqueda multi-herramienta.

Contribuciones Clave

1. DR Tulu-8B: El primer modelo de investigación profunda completamente abierto entrenado de extremo a extremo para tareas de formato largo, capaz de producir informes de formato largo bien atribuidos.
2. Marco RLER: Un método de entrenamiento novedoso que genera rúbricas específicas de la instancia y fundamentadas en la búsqueda, que se adaptan a las capacidades evolutivas del modelo de política, permitiendo una retroalimentación en política más discriminativa.
3. Ecosistema Abierto: El lanzamiento del modelo, los datos de entrenamiento, las rúbricas de evaluación y la infraestructura dr-agent-lib, proporcionando una pila completa y reproducible para agentes de investigación profunda.
4. Nuevo Punto de Referencia: La introducción de GeneticDiseasesQA, un conjunto de datos clínico desafiante que requiere que los modelos sinteticen evidencia para la elegibilidad terapéutica de variantes genéticas.

Resultados Experimentales

El modelo fue evaluado en cuatro puntos de referencia de investigación profunda de formato largo: AstaBench-ScholarQA-CS2 (SQAv2), HealthBench, ResearchQA y DeepResearchBench (DRB).

• Rendimiento vs. Modelos Abiertos: DR Tulu-8B (RL) supera sustancialmente a todos los agentes de investigación profunda abiertos existentes. Logra una puntuación promedio de 65.6, superando al modelo abierto anterior de última generación (Tongyi DR-30B) en 15.6 puntos porcentuales. Cabe destacar que supera a modelos abiertos más grandes (por ejemplo, backbones de 32B) a pesar de utilizar una base de 8 mil millones de parámetros.
• Rendimiento vs. Modelos Propietarios: DR Tulu-8B iguala o supera a sistemas propietarios (OpenAI Deep Research, Perplexity DR, Gemini 3 Pro + Búsqueda) en promedio. En SQAv2, logra el rendimiento más alto entre todos los sistemas probados.
• Eficiencia de Costos: DR Tulu-8B es significativamente más rentable. En SQAv2, cuesta aproximadamente $0.0019 por consulta, lo que es unas 1,000 veces más barato que OpenAI Deep Research ($1.80/consulta) y órdenes de magnitud más barato que otros modelos abiertos.
• Adaptabilidad de Herramientas: El modelo aprende a seleccionar herramientas apropiadas según la tarea. Para tareas de literatura científica (SQAv2), depende de la búsqueda de artículos el 90% del tiempo; para tareas de dominio general (DRB), utiliza la búsqueda web y la navegación con mayor frecuencia.
• GeneticDiseasesQA: En esta tarea clínica especializada, DR Tulu-8B compite con o supera a agentes propietarios, demostrando la capacidad de producir citas fiables y verificables donde otros agentes abiertos fallan.

Significado y Afirmaciones

El artículo posiciona a DR Tulu y RLER como un paso crítico hacia la democratización de las capacidades de investigación profunda.

• Cerrando la Brecha: El trabajo aborda la barrera de larga data de entrenar agentes de investigación profunda en tareas realistas de formato largo al proporcionar un método (RLER) que genera señales de recompensa fiables sin requerir que expertos humanos refinen manualmente las rúbricas para cada instancia.
• Reproducibilidad: Al publicar la pila completa de entrenamiento (datos, código, modelos, infraestructura), los autores buscan permitir una evaluación rigurosa y una investigación adicional en la comunidad, una capacidad previamente limitada a sistemas propietarios.
• Escalabilidad de Verificadores: Los autores enmarcan RLER como una nueva dimensión de escalado de la capacidad de cómputo de verificadores, donde se proporciona "información privilegiada" (resultados de búsqueda externos y respuestas contrastivas del modelo) al juez para mejorar la calidad de la evaluación, en lugar de simplemente aumentar los tokens de razonamiento del modelo de recompensa.
• Afirmaciones Modestas: Los autores reconocen que, aunque DR Tulu tiene un rendimiento competitivo con sistemas propietarios, es principalmente un artefacto de investigación. Enfatizan que el uso posterior requiere una evaluación cuidadosa, transparencia sobre la incertidumbre y supervisión humana, particularmente en dominios de alto riesgo como la atención médica. También señalan que la recompensa de entrenamiento no siempre se correlaciona perfectamente con el rendimiento de evaluación posterior debido a desajustes en el diseño de rúbricas y modelos jueces.