💬 NLP

Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning

Search-E1 est une méthode d'auto-évolution qui améliore les agents de raisonnement augmentés par la recherche en utilisant uniquement le GRPO standard et la distillation autonome hors ligne pour atteindre des performances de pointe sur les benchmarks de questions-réponses sans dépendre d'une supervision externe complexe ni de modules auxiliaires.

Auteurs originaux : Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Publié 2026-05-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent mais légèrement maladroit (l'IA) qui tente de répondre à des questions de culture générale piégeuses. Pour trouver la bonne réponse, cet étudiant a le droit d'utiliser une bibliothèque (un moteur de recherche) pour consulter des faits, mais il doit décider quand chercher et quoi demander.

La plupart des méthodes actuelles enseignent à cet étudiant en attendant qu'il termine tout son essai. Si la réponse finale est correcte, le professeur lui donne une étoile dorée. Si elle est incorrecte, le professeur lui met une croix rouge. Le problème ? L'étudiant ne sait pas quelle étape précise a été l'erreur. A-t-il posé la mauvaise question ? A-t-il lu le mauvais paragraphe ? S'est-il laissé distraire ? Il sait seulement que toute la tentative a échoué.

Search-E1 est une nouvelle méthode plus simple pour enseigner à cet étudiant. Elle ne nécessite ni un professeur humain surdoué, ni un robot supplémentaire sophistiqué, ni un système de récompense spécial. Au lieu de cela, elle utilise une technique appelée "Auto-évolution" à travers une danse en deux étapes :

Étape 1 : La phase « Tout essayer » (GRPO)

D'abord, on demande la même question à l'étudiant cinq fois.

Dans une tentative, il pourrait se promener dans la bibliothèque, poser des questions absurdes et échouer.
Dans une autre tentative, il pourrait poser les questions parfaites, trouver le bon livre et obtenir la bonne réponse rapidement.

Le système examine ces cinq tentatives et déclare : « D'accord, celle qui a obtenu la bonne réponse est la « référence d'or » pour ce tour. » Mais, comme auparavant, cela ne dit à l'étudiant que « Bon travail sur cet essai complet », et non « Bon travail sur cette question précise ».

Étape 2 : La phase « Rembobiner et apprendre » (Auto-distillation hors ligne)

C'est ici que la magie opère. Le système prend la tentative échouée (l'« Étudiant ») et la tentative réussie (le « Professeur »).

Voici l'astuce ingénieuse :

Le système donne la question originale à l'Étudiant.
Le système donne la même question au Professeur, mais il lui remet aussi une triche : le chemin complet réussi que l'étudiant a emprunté dans l'autre tentative.
Le Professeur lit la triche et dit : « Si je devais répondre à cette question maintenant, en connaissant le bon chemin, voici exactement ce que je dirais ensuite. »
L'Étudiant est alors contraint d'écouter le Professeur et de tenter de reproduire ses mots, étape par étape.

L'Étudiant n'est pas simplement informé « Vous aviez raison/tort ». On lui montre, token par token (mot par mot), exactement comment mieux réfléchir. « Ah, je vois ! Quand j'ai demandé « Qui est le président ? », le Professeur a demandé « Qui était le président en 1990 ? » C'est la différence ! »

Pourquoi est-ce spécial ?

Pas de professeurs externes : Habituellement, pour obtenir ce niveau de détail, il faut une IA surdouée (comme un modèle de 72 milliards de paramètres) pour noter chaque étape individuelle. Search-E1 utilise les propres tentatives réussies de l'étudiant comme professeur. C'est comme un étudiant qui étudie sa propre copie après avoir obtenu un A, plutôt que d'attendre qu'un professeur la corrige.
Pas de machinerie supplémentaire : D'autres méthodes ajoutent des outils complexes pour déterminer quelles étapes étaient bonnes. Search-E1 utilise simplement la boucle standard « essayer et réessayer » et ajoute cette étape « étudiez votre propre succès » entre les deux.
Les résultats : Lorsqu'ils ont testé cela sur sept défis de culture générale différents, l'étudiant utilisant Search-E1 a obtenu des scores nettement supérieurs à ceux d'autres étudiants utilisant des méthodes plus complexes. Il était particulièrement performant sur les questions « multi-sauts » (où vous devez relier plusieurs points), car ces questions comportent de nombreuses étapes où l'on peut se tromper, et cette méthode corrige les étapes spécifiques qui étaient brisées.

En résumé : Search-E1 apprend à une IA à devenir plus intelligente en lui permettant d'échouer, puis en lui faisant étudier ses propres tentatives réussies comme s'il s'agissait d'un manuel parfait, apprenant exactement quoi dire à chaque instant sans avoir besoin d'aide extérieure.

Résumé Technique : Search-E1

Énoncé du Problème

Bien que les grands modèles de langage (LLM) aient atteint de fortes capacités de raisonnement, ils restent contraints par leurs connaissances pré-entraînées et ne peuvent intégrer d'informations émergentes après l'entraînement. Les agents de raisonnement augmentés par la recherche résolvent ce problème en entrelaçant le raisonnement interne avec des appels de récupération externe. Cependant, les pipelines d'entraînement postérieur actuels pour ces agents reposent sur un apprentissage par renforcement (RL) au niveau des résultats, utilisant typiquement l'optimisation de politique relative par groupe (GRPO) avec une récompense basée uniquement sur l'exactitude de la réponse finale.

Cette supervision au niveau de la trajectoire crée une limitation critique : chaque token dans un déploiement reçoit le même signal de gradient, indépendamment du fait qu'une requête de recherche spécifique était bien formulée ou redondante. Pour surmonter cela, des travaux récents ont introduit des mécanismes élaborés, incluant :

Supervision Externe : Distillation de sous-questions à partir de modèles enseignants plus puissants (par exemple, modèles de 72B) ou dérivation de récompenses étape par étape à partir d'annotations par des modèles comme GPT-4o.
Modules Auxiliaires : Ajout de modèles de récompense de processus, de critiques rétrospectifs ou d'estimateurs intrinsèques nécessitant des phases d'entraînement séparées ou des hypothèses restrictives.
Changements Structurels : Restructuration des déploiements via une recherche arborescente ou des curriculums multi-étapes.
Récompenses Conçues à la Main : Ajustement de bonus et de pénalités pour des étapes de récupération spécifiques.

Bien que ces méthodes produisent des gains, elles alourdissent le pipeline d'entraînement et lient la recette à des ressources ou des conceptions qui ne sont pas universellement disponibles. L'article se demande si une telle machinerie est nécessaire et propose une méthode pour obtenir une supervision par étape en utilisant uniquement les données du modèle lui-même.

Méthodologie : Search-E1

Search-E1 est un pipeline d'auto-évolution qui alterne entre GRPO standard et Distillation Autonome Hors Ligne (OFSD). Il ne nécessite ni enseignant externe, ni modules auxiliaires, ni annotations au-delà des paires question-réponse standard.

1. Le Tour GRPO (Exploration)

Le pipeline commence par un tour GRPO standard utilisant une récompense de résultat par correspondance exacte.

Pour chaque question $q$ , un groupe de $G$ trajectoires est échantillonné à partir de la politique actuelle $\pi_{\theta}$ .
Des récompenses sont attribuées basées sur l'exactitude de la réponse finale.
La politique est mise à jour en utilisant la perte GRPO standard, où l'avantage est partagé sur tous les tokens d'une trajectoire. Cette étape explore l'espace des trajectoires mais manque de signaux denses par étape.

2. Le Tour OFSD (Consolidation)

Après la convergence d'un tour GRPO, la politique effectue une étape de distillation autonome hors ligne pour extraire des signaux denses, au niveau du token, à partir de ses propres déploiements.

Extraction de Paires : À partir du pool de déploiements de la politique convergée, des paires de trajectoires $(\tau_{ref}, \tau_{stu})$ $(τ_{r e f}, τ_{s t u})$ sont construites pour chaque question.
- Référence ( $\tau_{ref}$ ) : La trajectoire correcte ( $R=1$ ) avec le moins d'appels de récupération.
- Élève ( $\tau_{stu}$ ) : Une trajectoire incorrecte ( $R=0$ ) qui diffère au maximum de la référence, ou la trajectoire correcte la plus distincte si aucune trajectoire incorrecte n'existe.
Conditionnement Asymétrique : Les mêmes paramètres de politique $\theta$ $θ$ agissent à la fois comme enseignant et comme élève, mais opèrent sous des prompts différents :
- Élève : Conditionné sur le prompt d'inférence standard $P_S(q) = [\text{instruction}] \parallel q$ .
- Enseignant : Conditionné sur un prompt privilégié $P_T(q, \tau_{ref}) = [\text{instruction}] \parallel q \parallel \tau_{ref}$ , qui expose la trajectoire de référence efficace comme guide expert.
Objectif KL Avant au Niveau du Token : L'élève est entraîné à aligner sa distribution au moment de l'inférence avec la distribution de l'enseignant dans le contexte privilégié.
- La perte est calculée sur les positions générées par la politique (en excluant le texte récupéré).
- Un mécanisme de broutage ponctuel ( $\tau_{clip}$ ) limite la contribution des tokens à forte divergence pour éviter la domination du gradient par des valeurs aberrantes rares.
- L'objectif est : $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$ .
Implémentation : OFSD est réalisé via un adaptateur LoRA attaché au point de contrôle GRPO. Le passage enseignant utilise les poids de base figés, tandis que le passage élève utilise les poids LoRA actifs.

3. La Boucle Alternée

Le pipeline itère :

Tour GRPO : Met à jour la politique via un RL au niveau des résultats.
Tour OFSD : Extrait des paires des déploiements de la politique mise à jour et entraîne un adaptateur LoRA pour minimiser la divergence KL, en fusionnant l'adaptateur dans les poids de base.
Ce cycle se répète, chaque itération apportant des gains positifs jusqu'à ce que le modèle approche le plafond de capacité de l'architecture de base.

Contributions Clés

Pipeline Search-E1 : Un cadre d'auto-évolution qui alterne GRPO vanilla avec une distillation autonome hors ligne, éliminant le besoin d'enseignants externes, de modules auxiliaires ou d'annotations non standard.
Objectif OFSD : Un mécanisme de distillation autonome hors ligne apparié où la politique sert à la fois d'enseignant et d'élève sous différents contextes de conditionnement. Il utilise un KL avant au niveau du token avec broutage ponctuel pour fournir une supervision dense par étape dérivée entièrement des déploiements GRPO de la politique elle-même.
Performance Empirique : Démontré sur sept benchmarks de questions-réponses (à la fois mono-saut et multi-saut), Search-E1 atteint des résultats de l'état de l'art parmi les méthodes open-source sans supervision externe.

Résultats Expérimentaux

La méthode a été évaluée sur sept benchmarks de questions-réponses utilisant Qwen2.5-3B-Instruct et Qwen2.5-7B-Instruct.

Performance Globale : Search-E1 a atteint une Exactitude Exacte (EM) moyenne de 0,440 avec le modèle 3B, surpassant toutes les bases de référence open-source à cette échelle.
Comparaison avec les Bases de Références à Récompense de Résultat : Il a surpassé la base de référence la plus forte à récompense de résultat (AutoRefine-Base) de 3,5 points en moyenne. Les gains étaient particulièrement prononcés sur les jeux de données multi-sauts (par exemple, +12,0 sur Bamboogle, +6,6 sur 2Wiki), suggérant que l'alignement par étape est le plus bénéfique lorsque les trajectoires impliquent des chaînes de recherche complexes et multi-étapes.
Comparaison avec les Bases de Références à Supervision de Processus : Search-E1 a surpassé les méthodes reposant sur des annotations externes (StepSearch) et le regroupement basé sur les états (GiGPO) sur six des sept benchmarks.
- Il a surpassé StepSearch sur les quatre benchmarks multi-sauts sans utiliser d'annotations GPT-4o.
- Il a surpassé GiGPO sur 2Wiki, MuSiQue et HotpotQA. La seule exception était Bamboogle, que les auteurs attribuent à la petite taille de la partition de test et à la nature spécifique des requêtes d'entités-pont qui favorisent le regroupement par état d'ancrage de GiGPO.
Ablation : Les résultats confirment que la boucle alternée de GRPO et OFSD produit des gains positifs constants, le signal étant suffisant pour combler et inverser l'écart de performance généralement observé entre les variantes de modèles "Base" et "Instruct" dans les contextes RL.

Signification et Revendications

L'article revendique que Search-E1 démontre que la machinerie externe élaborée n'est pas strictement nécessaire pour améliorer le raisonnement augmenté par la recherche. En exploitant le contraste entre les trajectoires frères générées lors de l'entraînement GRPO standard, la méthode fournit naturellement une supervision dense par étape.

Simplicité : L'approche repose sur un "GRPO vanilla" et un objectif de distillation autonome, évitant la complexité de l'entraînement de modèles de récompense séparés, de critiques, ou de la distillation à partir d'enseignants plus grands.
Efficacité des Ressources : Elle élimine la dépendance aux systèmes externes (comme GPT-4o) ou aux structures de déploiement spécifiques (comme la recherche arborescente), rendant la recette plus accessible et robuste.
Généralisabilité : Les gains sont constants sur les tâches mono-saut et multi-saut, les améliorations les plus significatives se produisant dans les scénarios où la qualité de la décision par étape est critique (raisonnement multi-saut).

Les auteurs concluent que la recette alternée d'exploration (GRPO) et de consolidation (OFSD) est une voie viable pour l'auto-évolution dans les agents augmentés par la recherche, offrant une alternative plus simple aux pipelines de plus en plus complexes du domaine. Un travail futur est suggéré pour explorer des contextes privilégiés plus riches (par exemple, plusieurs frères corrects) et des calendriers d'auto-évolution plus longs.