💬 NLP

DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

L'article présente DR Tulu, un modèle de recherche approfondie open source entraîné par apprentissage par renforcement avec des rubriques évolutives (RLER), qui fait évoluer simultanément les critères d'évaluation et la politique, lui permettant de surpasser les agents open source existants et de rivaliser avec les systèmes propriétaires sur des tâches de recherche de longue haleine tout en étant nettement plus rentable.

Auteurs originaux : Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca So

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Enseigner à un Robot à Être un Chercheur

Imaginez que vous voulez enseigner à un robot à rédiger un long rapport de recherche détaillé sur un sujet complexe, comme « Comment les mutations génétiques provoquent-elles des maladies rares ? » ou « Quelle est l'histoire des énergies renouvelables ? »

La plupart des modèles d'IA actuels sont comme des élèves qui ne révisent que pour des quiz courts. Ils sont excellents pour répondre à des questions simples comme « Quelle est la capitale de la France ? », mais ils peinent lorsqu'on leur demande de rédiger un rapport de 20 pages nécessitant de fouiller des centaines de sites web, de vérifier des faits et de citer des sources.

Les auteurs de ce papier ont créé une nouvelle IA appelée DR Tulu. C'est le premier modèle open-source spécifiquement entraîné pour être un « Chercheur Approfondi ». Il ne se contente pas de deviner ; il planifie, recherche sur le web, lit des articles et rédige un rapport long et bien sourcé.

Le Problème : Comment Noter un Long Rapport ?

Pour enseigner à une IA à mieux faire, on utilise généralement une méthode appelée Apprentissage par Renforcement. Imaginez cela comme l'éducation d'un chien :

Le chien (l'IA) effectue un tour.
S'il le fait correctement, il reçoit une friandise (une récompense).
S'il le fait mal, il ne reçoit rien.

Le problème avec les longs rapports de recherche est qu'il est difficile de savoir à quoi ressemble un « bon » rapport.

Grilles Statiques (L'Ancienne Méthode) : Imaginez un enseignant donnant au chien une liste de contrôle fixe : « Doit comporter 5 paragraphes. Doit mentionner l'année 1990. » Si le chien rédige un rapport brillant sur 1991, l'enseignant le fait échouer car il n'a pas suivi la liste de contrôle rigide. La liste de contrôle ne sait pas ce que le chien a réellement découvert.
Le Problème du « Livre Fermé » : Si vous demandez à une IA de rédiger la liste de contrôle en se basant uniquement sur ce qu'elle sait déjà, elle pourrait manquer de nouveaux faits qu'elle vient de découvrir sur Internet.

La Solution : « Grilles d'Évaluation Évolutives » (L'Enseignant Intelligent)

Le papier introduit une nouvelle méthode appelée RLER (Apprentissage par Renforcement avec des Grilles d'Évaluation Évolutives).

Imaginez un Enseignant Intelligent qui n'utilise pas de liste de contrôle fixe. Au lieu de cela, l'enseignant observe l'élève (l'IA) faire ses recherches en temps réel.

L'Élève Recherche : L'élève sort, trouve de nouveaux faits et rédige un brouillon.
L'Enseignant S'Adapte : L'Enseignant Intelligent regarde ce que l'élève a trouvé. « Oh, je ne savais pas que ce fait existait ! Je devrais ajouter une nouvelle règle à ma liste de contrôle : « Doit expliquer ce nouveau fait ». »
La Boucle de Rétroaction : L'enseignant met à jour la liste de contrôle pendant que l'élève apprend. Si l'élève tente de tricher (comme copier du texte sans le lire), l'enseignant ajoute immédiatement une règle : « Tricher n'est pas autorisé ».

En termes techniques, le papier appelle cela des Grilles d'Évaluation Évolutives. Ce sont des critères d'évaluation qui changent et deviennent plus intelligents à mesure que l'IA explore davantage d'informations. Cela permet à l'IA d'apprendre de ses propres découvertes plutôt que d'être bloquée par un ensemble statique de règles.

Le Résultat : Un Super-Chercheur à Petit Budget

Les auteurs ont entraîné DR Tulu en utilisant cette méthode d'« Enseignant Intelligent ». Voici ce qui s'est passé :

C'est Plus Intelligent : DR Tulu a surpassé les autres modèles de recherche open-source de loin. Il a rédigé de meilleurs rapports, trouvé des faits plus précis et cité correctement les sources.
Il Rivalise avec les Géants : Il a performé aussi bien que (et parfois mieux que) les systèmes propriétaires coûteux de grandes entreprises comme OpenAI et Google.
C'est Bon Marché : C'est la plus grande victoire. Les systèmes coûteux coûtent environ 1,80 $ par question. DR Tulu coûte environ 0,002 $ par question. C'est environ 1 000 fois moins cher.

Le Test de la « Maladie Génétique »

Pour prouver que cela fonctionne vraiment, l'équipe a donné à DR Tulu une tâche très difficile : analyser des mutations génétiques pour voir si elles pouvaient être traitées par des médicaments spécifiques. C'est une tâche généralement réservée aux experts médicaux humains.

DR Tulu a réussi à parcourir des bases de données médicales, à trouver des articles pertinents et à synthétiser un rapport.
Il a pu rivaliser avec les systèmes d'IA les plus coûteux et fermés sur cette tâche.
D'autres modèles open-source ont échoué car ils ne pouvaient pas trouver les bonnes citations ou vérifier les faits.

La Boîte à Outils : « dr-agent-lib »

Le papier a également publié une « boîte à outils » appelée dr-agent-lib.

Imaginez cela comme un Couteau Suisse pour les chercheurs en IA.
Il permet à l'IA d'utiliser différents outils : Recherche Google, lecture de pages web spécifiques et recherche d'articles académiques.
Crucialement, l'IA apprend à choisir le bon outil pour le travail. Si la question porte sur la science, elle utilise l'outil « Recherche d'Articles ». Si elle porte sur l'actualité générale, elle utilise « Recherche Web ». Elle n'utilise pas un seul outil aveuglément.

Résumé

Le papier présente DR Tulu, une IA open-source qui apprend à mener des recherches approfondies et longues. Elle utilise une méthode d'entraînement spéciale (Grilles d'Évaluation Évolutives) où les « règles de notation » de l'IA se mettent à jour en temps réel en fonction de ce que l'IA découvre. Cela rend l'IA beaucoup plus intelligente, plus précise et nettement moins chère que les outils de recherche actuels de pointe. Les auteurs ont partagé le code, les données et le modèle afin que chacun puisse les utiliser.

Résumé Technique : DR Tulu : Apprentissage par Renforcement avec des Rubriques Évolutives pour la Recherche Approfondie

Énoncé du Problème

Les agents de recherche approfondie (DR) sont conçus pour produire des réponses approfondies et bien attribuées à des tâches complexes en planifiant, recherchant et synthétisant des informations provenant de sources diverses. Cependant, les agents DR open-source existants font face à des limitations significatives :

Inadéquation de la Formation : La plupart des agents open-source sont entraînés par apprentissage par renforcement avec des récompenses vérifiables (RLVR) sur des tâches de questions-réponses (QA) de courte durée et facilement vérifiables. Cette approche ne se généralise pas aux tâches réalistes de recherche approfondie de longue durée, où les réponses sont complexes et sous-spécifiées.
Déficience du Signal de Récompense : Définir des signaux de récompense fiables pour la génération de longue durée ouverte est difficile. Des critères d'évaluation statiques et prédéfinis échouent souvent à capturer les nuances de la qualité, et une évaluation précise nécessite fréquemment l'accès à des informations externes étendues et à jour, au-delà des connaissances paramétriques d'un modèle.
Absence d'Infrastructure Ouverte : Les systèmes ouverts existants reposent souvent sur des outils uniques, manquent de support complet pour les citations, ou ne publient pas les données d'entraînement et le code, entravant la reproductibilité et la recherche ultérieure.

Méthodologie : Apprentissage par Renforcement avec des Rubriques Évolutives (RLER)

Pour répondre à ces défis, les auteurs introduisent DR Tulu-8B, le premier modèle entièrement open-source entraîné de bout en bout pour la recherche approfondie de longue durée et ouverte. L'innovation centrale est l'Apprentissage par Renforcement avec des Rubriques Évolutives (RLER), un cadre où les critères d'évaluation (rubriques) co-évoluent avec le modèle de politique pendant l'entraînement.

Composants Principaux de RLER

Rubriques en tant que Récompenses : Au lieu de critères statiques, le système utilise des rubriques définies au niveau de l'échantillon en langage naturel. Un modèle de langage (LLM) juge évalue les réponses par rapport à ces rubriques pour générer des scores.
Rubriques Évolutives Augmentées par la Recherche :
- Initialisation : Pour chaque prompt d'entraînement, des rubriques initiales sont générées par un LLM ( $G_{rubric}$ ) utilisant des documents récupérés via une API de recherche externe. Cela ancre les critères dans des connaissances externes à jour.
- Co-évolution : Pendant l'entraînement, le système échantillonne plusieurs réponses du modèle (déroulements) et traces de recherche. Le générateur de rubriques crée ensuite de nouvelles rubriques en contrastant ces réponses.
  - Rubriques Positives : Capturent les forces ou les nouvelles connaissances pertinentes explorées par la politique actuelle que les rubriques existantes ont manquées.
  - Rubriques Négatives : Identifient les comportements indésirables courants (par exemple, le piratage de récompenses, la copie mot à mot) observés à travers les réponses.
- Gestion du Tampon : Pour éviter une croissance linéaire du nombre de rubriques, une stratégie de gestion de tampon filtre et classe les rubriques en fonction de leur pouvoir discriminant (écart-type des récompenses à travers les réponses), ne conservant que les plus informatives.
Récompenses Auxiliaires : Le cadre inclut des récompenses auxiliaires pour l'exactitude du format, l'utilisation efficace des outils de recherche et des citations de haute qualité soutenant les affirmations pertinentes.

Pipeline d'Entraînement

Modèle de Base : Le modèle est initialisé à partir de Qwen3-8B.
Affinement Supervisé (SFT) : Une phase de « démarrage à froid » utilisant 16 000 trajectoires de haute qualité (longue et courte durée) générées par des modèles enseignants (incluant GPT-5) pour distiller les schémas de recherche et l'utilisation d'outils.
RL en Ligne : Le modèle subit un entraînement RL utilisant une variante de GRPO (Optimisation de Politique Relative de Groupe). La boucle d'entraînement implique :
1. La génération de déroulements d'agents avec des appels d'outils réels (Recherche Google, Navigation Web, Recherche de Documents).
2. Le classement des réponses par rapport au tampon de rubriques mis à jour dynamiquement.
3. La mise à jour du modèle de politique.
4. L'affinement du tampon de rubriques en ajoutant de nouvelles rubriques évolutives et en élaguant celles à faible variance.
Infrastructure : Les auteurs publient dr-agent-lib, une bibliothèque d'agents extensible supportant les appels d'outils asynchrones, la mise en cache globale et l'intégration de recherches multi-outils.

Contributions Clés

DR Tulu-8B : Le premier modèle de recherche approfondie entièrement open-source entraîné de bout en bout pour des tâches de longue durée, capable de produire des rapports de longue durée bien attribués.
Cadre RLER : Une méthode d'entraînement novatrice générant des rubriques spécifiques à l'instance et ancrées dans la recherche, qui s'adaptent aux capacités évolutives du modèle de politique, permettant un retour d'information sur la politique plus discriminant.
Écosystème Ouvert : La publication du modèle, des données d'entraînement, des rubriques d'évaluation et de l'infrastructure dr-agent-lib, fournissant une pile complète et reproductible pour les agents de recherche approfondie.
Nouveau Benchmark : L'introduction de GeneticDiseasesQA, un ensemble de données cliniques exigeant que les modèles synthétisent des preuves concernant l'éligibilité thérapeutique de variants génétiques.

Résultats Expérimentaux

Le modèle a été évalué sur quatre benchmarks de recherche approfondie de longue durée : AstaBench-ScholarQA-CS2 (SQAv2), HealthBench, ResearchQA et DeepResearchBench (DRB).

Performance vs. Modèles Ouverts : DR Tulu-8B (RL) surpasse considérablement tous les agents de recherche approfondie open-source existants. Il atteint un score moyen de 65,6, dépassant le modèle open-source précédent de l'état de l'art (Tongyi DR-30B) de 15,6 points de pourcentage. Notamment, il surpasse les modèles ouverts plus grands (par exemple, des architectures de 32B) malgré l'utilisation d'une base de 8 milliards de paramètres.
Performance vs. Modèles Propriétaires : DR Tulu-8B égale ou dépasse les systèmes propriétaires (OpenAI Deep Research, Perplexity DR, Gemini 3 Pro + Recherche) en moyenne. Sur SQAv2, il atteint les performances les plus élevées parmi tous les systèmes testés.
Efficacité Coûts : DR Tulu-8B est significativement plus rentable. Sur SQAv2, il coûte environ 0,0019 $ par requête, ce qui est environ 1 000 fois moins cher que OpenAI Deep Research (1,80 $/requête) et plusieurs ordres de grandeur moins cher que les autres modèles ouverts.
Adaptabilité aux Outils : Le modèle apprend à sélectionner les outils appropriés en fonction de la tâche. Pour les tâches de littérature scientifique (SQAv2), il s'appuie sur la recherche de documents 90 % du temps ; pour les tâches de domaine général (DRB), il utilise plus fréquemment la recherche web et la navigation.
GeneticDiseasesQA : Sur cette tâche clinique spécialisée, DR Tulu-8B rivalise avec ou dépasse les agents propriétaires, démontrant la capacité à produire des citations fiables et vérifiables là où d'autres agents ouverts échouent.

Importance et Revendications

L'article positionne DR Tulu et RLER comme une étape cruciale vers la démocratisation des capacités de recherche approfondie.

Combler le Fossé : Le travail aborde la barrière de longue date consistant à entraîner des agents de recherche approfondie sur des tâches réalistes de longue durée en fournissant une méthode (RLER) générant des signaux de récompense fiables sans exiger que des experts humains affinent manuellement les rubriques pour chaque instance.
Reproductibilité : En publiant la pile complète d'entraînement (données, code, modèles, infrastructure), les auteurs visent à permettre une évaluation rigoureuse et des recherches ultérieures au sein de la communauté, une capacité auparavant limitée aux systèmes propriétaires.
Évolutivité des Vérificateurs : Les auteurs présentent RLER comme une nouvelle dimension de mise à l'échelle de la puissance de calcul des vérificateurs, où des « informations privilégiées » (résultats de recherche externes et réponses contrastées du modèle) sont fournies au juge pour améliorer la qualité de l'évaluation, plutôt que d'augmenter simplement les tokens de raisonnement du modèle de récompense.
Revendications Modestes : Les auteurs reconnaissent que, bien que DR Tulu performe de manière compétitive par rapport aux systèmes propriétaires, il s'agit principalement d'un artefact de recherche. Ils soulignent que l'utilisation en aval nécessite une évaluation prudente, une transparence sur l'incertitude et une supervision humaine, en particulier dans des domaines à haut risque comme la santé. Ils notent également que la récompense d'entraînement ne correspond pas toujours parfaitement aux performances d'évaluation en aval en raison d'inadéquations dans la conception des rubriques et des modèles juges.