🤖 AI

Hybrid Open-Ended Tri-Evolution Makes Better Deep Researcher

L'article propose le cadre Hybrid Open-Ended Tri-Evolution (HOTE), qui utilise l'apprentissage par renforcement en mode hybride pour faire évoluer de manière collaborative un proposant, un solveur et un juge, permettant ainsi à un modèle de 8B de surpasser des modèles de recherche profonde statiques et de pointe plus larges sur des tâches ouvertes avec une réduction des délais d'exécution.

Auteurs originaux : Hongming Piao, Chi Liu, Mengzhuo Chen, Yan Shu, Derek Li, Ying Wei, Bryan Dai

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongming Piao, Chi Liu, Mengzhuo Chen, Yan Shu, Derek Li, Ying Wei, Bryan Dai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un robot comment devenir un super-chercheur

Imaginez que vous vouliez construire une IA capable d'agir comme un chercheur de classe mondiale. Elle doit pouvoir trouver des informations sur Internet, lire des milliers d'articles et rédiger un rapport long et détaillé sur des sujets complexes (comme « Comment le changement climatique affectera-t-il la production de café en 2050 ? »).

Le problème est que la plupart des modèles d'IA sont comme des étudiants qui n'étudient qu'à partir d'un manuel scolaire fixe. Une fois qu'ils ont fini le manuel, ils arrêtent d'apprendre. Ils ne peuvent pas s'améliorer pour effectuer de nouvelles recherches par eux-mêmes.

Ce document présente un nouveau système appelé HOTE (Hybrid Open-Ended Tri-Evolution). Voyez HOTE non pas comme un simple étudiant, mais comme une équipe de recherche qui s'auto-améliore en jouant un jeu contre elle-même.

Les trois personnages de l'équipe

Au lieu d'une seule IA essayant de tout faire, HOTE utilise trois rôles spécialisés qui évoluent ensemble :

Le Résolveur (Le Chercheur) :
- Rôle : C'est l'IA qui fait réellement le travail. Elle prend une question, cherche sur le web, lit des documents et rédige un long rapport de recherche.
- Analogie : Considérez le Résolveur comme un détective tentant de résoudre un mystère.
Le Juge (Le Critique) :
- Rôle : Cette IA lit les rapports écrits par le Résolveur. Au lieu de simplement dire « Bien » ou « Mauvais », elle crée une liste de contrôle personnalisée (appelée « rubrique ») pour noter le rapport. Elle recherche des forces et des faiblesses spécifiques.
- Analogie : Le Juge est comme un éditeur strict ou un arbitre de sport. Si le détective manque un indice, l'arbitre siffle et dit : « Vous avez manqué ce détail spécifique. » Crucialement, le Juge met à jour son propre règlement à mesure qu'il voit de nouveaux types d'erreurs, afin de ne pas rester bloqué sur de vieilles règles.
Le Proposeur (Le Maître du Quiz) :
- Rôle : Cette IA examine les retours du Juge et les erreurs du Détective pour créer de nouvelles questions, plus difficiles. Son objectif est de trouver les points faibles du Détective et de le mettre au défi.
- Analogie : Le Proposeur est comme un entraîneur de sport qui observe l'athlète échouer sur un mouvement spécifique, puis conçoit un nouvel exercice, légèrement plus difficile, pour corriger exactement cette faiblesse.

Comment ils s'entraînent : Le jeu de la « Tri-Évolution »

La magie opère parce que ces trois entités travaillent ensemble dans une boucle, s'améliorant constamment :

Le Maître du Quiz crée une question de recherche difficile.
Le Détective tente d'y répondre, en cherchant sur le web et en rédigeant un rapport.
Le Juge note le rapport, crée une nouvelle liste de contrôle et souligne précisément là où le Détective a échoué.
Le Détective apprend de la note et essaie à nouveau.
Le Maître du Quiz voit ce que le Détective maîtrise encore mal et crée une question encore plus difficile pour le tour suivant.

Ce cycle se répète des milliers de fois. Le document appelle cela la « Tri-Évolution » car les trois personnages évoluent (s'améliorent) en même temps.

La « recette secrète » hybride

Le document mentionne également une stratégie « Hybride à double mode ». C'est comme entraîner un athlète de deux manières différentes :

Mode A (Utilisation d'outils) : Le Détective est autorisé à utiliser Internet (outils de recherche) pour trouver des réponses. C'est réaliste, mais cela peut être bruyant et lent.
Mode B (Sans outil) : Le Détective doit répondre uniquement par sa mémoire et sa logique, sans rien chercher. C'est plus rapide, mais cela repose sur ce qu'il sait déjà.

Le système HOTE entraîne le Détective dans les deux modes simultanément.

Pourquoi ? Si vous n'entraînez que par Internet, le Détective pourrait devenir paresseux et trop dépendre des résultats de recherche. Si vous l'entraînez uniquement sans outils, il pourrait oublier comment utiliser Internet efficacement. En mélangeant les deux, le Détective apprend à être un maître chercheur qui sait quand chercher et comment réfléchir profondément sans outils.

Les résultats : Pourquoi c'est important

Les chercheurs ont testé ce système sur trois benchmarks difficiles (Santé, Science et Recherche Générale).

L'affirmation : Un modèle de 8 milliards de paramètres (une IA de taille moyenne) entraîné avec HOTE est devenu plus intelligent que des modèles beaucoup plus grands (32B+) et d'autres IA de recherche de pointe.
Efficacité : Il a obtenu ces résultats en moins de temps et avec moins de puissance de calcul que d'autres méthodes.
Durabilité : Contrairement à d'autres méthodes qui cessent de progresser après un certain temps, l'équipe HOTE a continué à s'améliorer pendant longtemps car le « Maître du Quiz » trouvait sans cesse de nouveaux problèmes stimulants que le « Détective » n'avait pas encore résolus.

Résumé en une phrase

HOTE est un système d'IA auto-améliorant où un Chercheur, un Critique et un Maître du Quiz jouent un jeu de « échecs » continu les uns contre les autres, en utilisant un mélange de recherche sur Internet et de réflexion pure pour transformer une IA de taille moyenne en un chercheur approfondi de classe mondiale, plus rapidement et plus efficacement que quiconque.

Résumé Technique : Hybrid Open-Ended Tri-Evolution (HOTE)

Énoncé du Problème

Les agents de recherche approfondie deviennent de plus en plus critiques pour les applications du monde réel visant l'Intelligence Artificielle Générale (AGI), chargés de récupérer et d'intégrer de manière autonome des informations dans des environnements ouverts à cycles longs. Cependant, les systèmes de recherche actuels font face à deux limitations principales :

Capacités Statiques : Les agents existants reposent sur des ensembles d'entraînement et des stratégies fixes, limitant leurs capacités de recherche paramétriques.
Écart de Vérification : Si l'évolution des agents via le self-play a montré des promesses dans des domaines dotés de réponses vérifiables et standardisées (ex: mathématiques, codage), elle peine face aux tâches de recherche ouvertes (ex: génération de rapports de longue forme) où les réponses déterministes sont absentes. Les tentatives précédentes pour combler ce fossé (ex: SPICE, Dr. Zero) restent limitées à des tâches ayant des résultats vérifiables ou ne parviennent pas à traiter les défis spécifiques des environnements ouverts.

Il existe un besoin critique pour un cadre permettant l'évolution autonome d'agents spécifiquement pour les tâches de recherche ouvertes sans dépendre de réponses de référence standard.

Méthodologie : Hybrid Open-Ended Tri-Evolution (HOTE)

Les auteurs proposent HOTE, un cadre conçu pour faciliter l'évolution collaborative de trois modules distincts : un Proposeur (Proposer), un Solveur (Solver) et un Juge (Judge). Le système exploite l'apprentissage par renforcement (RL) en mode hybride et la connaissance à l'échelle du web pour stimuler l'amélioration autonome.

Composants Coeurs

Solveur ( $\pi_{\theta_s}$ ) :
- Rôle : Reçoit une requête de recherche, génère un plan, effectue une recherche d'information multi-tours (en utilisant des outils comme des moteurs de recherche) et produit un rapport de recherche de longue forme référencé.
- Évolution : Optimisé via l'Optimisation de Politique Relative de Groupe (GRPO). Le solveur vise à aligner ses sorties avec les exigences de rapport de recherche définies par les rubriques du Juge.
- Modes : Opère à la fois en mode utilisation d'outils (utilisant des outils de recherche) et en mode sans outil (se reposant sur les connaissances paramétriques).
Juge ( $\pi_{\theta_j}$ ) :
- Rôle : Génère et met à jour dynamiquement les rubriques d'évaluation pour évaluer les réponses du Solveur. Il compare plusieurs réponses à la même requête pour identifier les forces et les faiblesses.
- Mécanisme : Au lieu de s'appuyer sur des réponses fixes, le Juge attribue des récompenses (0 ou $\pm1$ ) basées sur un ensemble de rubriques ( $R_{s_0}$ ). Crucialement, le Juge fait évoluer l'ensemble des rubriques lui-même en identifiant les rubriques actives (nouvelles forces ou modes d'échec courants comme le "reward hacking") et les rubriques persistantes.
- Méta-rubriques : Pour gérer la complexité de l'évaluation du Proposeur, le Juge résume les évaluations en "méta-rubriques" qui capturent les faiblesses communes du modèle à travers les réponses.
Proposeur ( $\pi_{\theta_p}$ ) :
- Rôle : Génère des tâches de recherche stimulantes mais apprenables basées sur les faiblesses identifiées par le Juge. Il agit comme un adversaire pour repousser les limites du Solveur.
- Évolution : Également optimisé via GRPO. La récompense du Proposeur est calculée selon l'efficacité avec laquelle ses tâches générées exposent les faiblesses du Solveur (c'est-à-dire des tâches où le Solveur ne parvient pas à respecter les méta-rubriques).
- Diversité : Le cadre utilise la "Proposition Diversifiée", où le Proposeur génère des tâches basées sur diverses combinaisons de tâches et d'évaluations précédentes pour éviter la concentration thématique et assurer la diversité des données.

Stratégie d'Entraînement : Stratégie d'Entraînement Hybride à Double Mode

HOTE introduit une Stratégie d'Entraînement Hybride à Double Mode pour équilibrer efficacité et capacité :

Données Hybrides : Chaque lot d'entraînement se compose de 50 % de tâches réelles issues du jeu de données original et de 50 % de tâches synthétiques générées par le Proposeur.
Modes Hybrides : Les tâches sont assignées aléatoirement soit au mode utilisation d'outils, soit au mode sans outil (répartition 50/50).
- Raisonnement : Un entraînement uniquement en mode sans outil améliore les techniques de génération de rapports mais conduit à une dépendance excessive aux connaissances paramétriques. Un entraînement uniquement en mode utilisation d'outils introduit du bruit. L'approche hybride permet au modèle d'apprendre la génération de rapports sans outils tout en maîtrisant simultanément l'usage des outils, évitant ainsi une dépendance excessive à l'un ou l'autre.
Efficacité : Le cadre prouve théoriquement que le mode hybride entraîne un temps de génération maximal attendu plus faible par rapport aux stratégies de pur usage d'outils.

Contributions Clés

Premier Cadre d'Évolution Ouverte : HOTE est le premier cadre d'évolution de chercheur profond explicitement conçu pour les environnements et les tâches ouvertes, comblant le fossé entre la recherche profonde et l'évolution d'agents.
Co-Évolution des Trois Modules : Le papier conçoit une stratégie de co-évolution où le Proposeur, le Solveur et le Juge se renforcent mutuellement. Le Juge empêche le "reward hacking" en faisant évoluer les rubriques, le Proposeur garantit que la difficulté des tâches reste élevée, et le Solveur améliore la qualité des réponses.
Efficacité du Double Mode : L'introduction d'une stratégie d'entraînement hybride (mélangeant les modes utilisation d'outils et sans outil) améliore considérablement l'efficacité de l'entraînement et la robustesse du modèle par rapport aux approches à mode unique.

Résultats Expérimentaux

Les auteurs ont évalué HOTE sur trois benchmarks de recherche approfondie de longue forme : HealthBench (santé), ResearchQA (synthèse de littérature scientifique) et DeepResearchBench (DRB) (domaine général).

Performance : Un modèle 8B entraîné avec HOTE a surpassé les modèles open-source les plus puissants de 8-32B (incluant Qwen3-32B, WebThinker-32B) et les méthodes d'entraînement de recherche profonde de pointe (ex: DR Tulu-8B-RL, GRPO, GSPO).
Efficacité : HOTE a obtenu ces résultats avec un surcoût de temps moindre. Spécifiquement, le mode hybride a réduit le nombre total d'opérations d'utilisation d'outils requises pendant l'entraînement par rapport aux bases de référence comme DR Tulu.
Études d'Ablation :
- Le retrait de l'un des trois modules (Proposeur, Solveur ou évolution du Juge) a entraîné une dégradation des performances, confirmant leur caractère indispensable.
- Les modèles entraînés avec HOTE ont montré une tendance ascendante soutenue des performances sur 1500 étapes d'entraînement, tandis que les bases de référence convergeaient plus tôt.
- Le mode hybride a facilité un progrès collaboratif tant dans les capacités d'utilisation d'outils que sans outils, évitant la chute de performance dans les tâches avec outils souvent observée chez les modèles entraînés exclusivement en mode sans outil.
Généralisation : Le cadre a démontré son efficacité sur différents modèles de base (Qwen3-8B et Llama3.1-8B).

Signification et Revendications

Le papier affirme que HOTE représente une étape significative vers des agents évolutifs autonomes capables de gérer des tâches ouvertes sans intervention humaine ou réponses standard. En réussissant l'intégration d'une boucle Proposeur-Solveur-Juge avec un entraînement hybride, HOTE répond à l'« écart de vérification » qui avait précédemment limité l'évolution des agents aux domaines déterministes.

Les auteurs positionnent ce travail comme un mouvement vers l'AGI en permettant aux agents d'interagir de manière autonome avec l'environnement, d'acquérir de l'expérience et de faire évoluer leurs capacités dans des scénarios de recherche complexes du monde réel. Ils reconnaissent des limites, notant que l'évolution ralentit à mesure que l'entraînement progresse et que la limite supérieure peut encore être contrainte par l'échelle du modèle, mais affirment que transcender les limites des données d'entraînement initiales par l'évolution est intrinsèquement précieux. Des travaux futurs sont proposés pour explorer le passage à des modèles Mixture-of-Experts (MoE) plus larges et la gestion du bruit dans les outils de recherche du monde réel.