💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

SD-Search introduit un cadre d'auto-distillation rétrospective en ligne qui permet aux agents de raisonnement augmentés par la recherche de générer internement des signaux de supervision au niveau des étapes en entraînant un modèle étudiant à imiter un enseignant conditionné par la rétrospection, surmontant ainsi les limites d'attribution du crédit du renforcement par récompense de résultat sans nécessiter d'enseignants externes ni d'annotations supplémentaires.

Auteurs originaux : Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment résoudre une énigme complexe. L'élève possède une bibliothèque (l'internet) qu'il peut consulter, mais il ne sait pas quoi demander au bibliothécaire.

Dans l'état actuel de la recherche en intelligence artificielle, la plupart des méthodes d'entraînement ressemblent à un enseignant qui ne note l'élève que sur la réponse finale.

Le Problème : Si l'élève obtient la bonne réponse, l'enseignant dit : « Excellent travail ! » Mais si l'élève a eu de la chance avec une mauvaise question et une réponse heureuse, l'enseignant dit toujours « Excellent travail ! » L'élève n'apprend jamais que sa question spécifique était en réalité terrible. Il sait simplement que le résultat était bon. Cela s'appelle la « Récompense de résultat ».
L'Ancienne Solution : Certains chercheurs ont tenté de résoudre ce problème en engageant un « Détective Maître » surdoué et coûteux (une immense IA externe) pour surveiller l'élève et dire : « C'était une bonne question », ou « C'était une mauvaise ». Cela fonctionne, mais c'est incroyablement coûteux et lent, car vous avez besoin de ce géant Détective Maître pour chaque session d'entraînement.

SD-Search est une nouvelle méthode ingénieuse pour enseigner à l'élève sans avoir besoin du coûteux Détective Maître. Voici comment cela fonctionne, en utilisant une analogie simple :

La Classe « Voyage dans le Temps »

Imaginez que l'élève passe un examen.

L'Élève (Le « Présent ») : L'élève est assis à son bureau, regardant la question. Il doit décider quoi chercher maintenant, sans savoir s'il aura raison ou tort. Il devine en fonction de ce qu'il sait sur le moment.
L'Enseignant (Le « Futur ») : Maintenant, imaginez le même élève, mais cette fois, il possède un carnet magique de voyage dans le temps. Ce carnet contient les résultats de plusieurs tentatives pour la même question. Il indique : « Dans la tentative A, nous avons demandé « Qui est le père ? » et obtenu la bonne réponse. Dans la tentative B, nous avons demandé « Quelle est la couleur du ciel ? » et obtenu une mauvaise réponse. »

SD-Search utilise ce carnet magique pour créer une version « Enseignant » de l'élève.

L'Enseignant regarde la question et lit le carnet. Parce que l'Enseignant sait quelles questions ont mené au succès et lesquelles ont mené à l'échec, il peut dire : « Ah, je vois que demander au sujet du père était le bon mouvement. J'aurais posé cette question. »
L'Élève (qui n'a pas encore le carnet) est ensuite invité à copier les choix de l'Enseignant. L'objectif est de faire en sorte que les suppositions de l'Élève correspondent à la sagesse « rétrospective » de l'Enseignant.

Fonctionnement en Pratique

L'article appelle cela « Distillation de soi rétrospective sur politique ». Décomposons cela :

Distillation de soi : L'IA s'enseigne elle-même. Elle n'a pas besoin d'un expert extérieur. Elle génère un certain nombre de tentatives (déroulements), examine les résultats, puis utilise les modèles « réussis » pour enseigner la version « élève » d'elle-même.
Rétrospective : Elle regarde en arrière ce qui s'est passé après que la décision ait été prise pour juger si la décision était bonne.
Sur politique : Elle fait cela en utilisant ses propres données actuelles, et non des données provenant d'une autre IA plus grande.

L'Accent sur les « Requêtes de Recherche »

L'article se concentre spécifiquement sur les requêtes de recherche (les questions que l'IA pose au moteur de recherche).

Dans les anciennes méthodes, si la réponse finale était correcte, chaque mot écrit par l'IA (y compris les questions de recherche) recevait un autocollant « bien joué », même si la question de recherche était vague ou erronée.
Dans SD-Search, l'IA reçoit un signal spécifique « bien joué » ou « mal joué » pour chaque question de recherche spécifique. Si la question de recherche a mené à une impasse, l'Enseignant (avec le carnet de voyage dans le temps) montre à l'Élève une question différente et meilleure. L'Élève apprend à imiter la meilleure question.

Les Résultats (Le « Tableau d'Affichage »)

Les chercheurs ont testé cela sur sept benchmarks différents de questions-réponses (comme un quiz de culture générale).

Performance : Leur méthode (SD-Search) a performé aussi bien que les méthodes coûteuses utilisant un immense IA « Détective Maître » de 72 milliards de paramètres, et mieux que les méthodes qui ne regardent que la réponse finale.
Efficacité : Ils ont fait cela sans avoir besoin d'aide extérieure, sans API coûteuses et sans étapes d'entraînement supplémentaires. Ils ont simplement utilisé la boucle d'entraînement standard, ajoutant une petite étape de « voyage dans le temps » où l'IA examine ses propres tentatives passées.
Mise à l'échelle : À mesure que le modèle d'IA devenait plus grand (de 3 milliards à 7 milliards de paramètres), cette méthode d'auto-enseignement continuait de s'améliorer, tandis que les méthodes dépendant du « Détective Maître » commençaient à perdre leur avantage.

En Bref

SD-Search est comme un élève qui, après avoir passé un examen, a la possibilité de consulter la clé de correction et les notes de ses amis qui ont passé l'examen en même temps. Ils repassent ensuite l'examen, en essayant de poser exactement les mêmes questions que les versions « réussies » d'eux-mêmes. Ils apprennent de leurs propres erreurs et succès passés, devenant plus intelligents sans jamais avoir besoin d'un enseignant humain ou d'un super-ordinateur pour leur dire quoi faire.

Résumé Technique : SD-Search

Énoncé du Problème

Les agents de raisonnement augmentés par la recherche, qui alternent raisonnement interne et appels de récupération externe, dépendent fortement de la qualité des requêtes de recherche individuelles. Cependant, les approches standard d'apprentissage par renforcement (RL) pour ces agents, telles que l'optimisation de politique relative par groupe (GRPO), utilisent généralement des récompenses au niveau du résultat (par exemple, la justesse de la réponse finale). Cette formulation attribue la même récompense au niveau de la trajectoire à chaque token d'un déploiement, échouant à fournir un crédit spécifique à l'étape pour les décisions de recherche individuelles. Par conséquent, le modèle ne reçoit aucun signal distinguant une requête bien formulée et à haute valeur d'une requête redondante ou médiocre.

Les tentatives récentes pour y remédier via une supervision de processus (par exemple, Thinker, StepSearch) injectent des signaux au niveau de l'étape en s'appuyant sur des ressources externes : soit un modèle enseignant considérablement plus grand (par exemple, 72 milliards de paramètres) pour décomposer les problèmes, soit des annotations provenant de systèmes externes plus puissants (par exemple, GPT-4o). Ces méthodes améliorent les performances mais introduisent des coûts significatifs, une dépendance aux API ou aux modèles externes, et limitent l'applicabilité aux contextes où de telles ressources sont disponibles.

Méthodologie : SD-Search

Les auteurs proposent SD-Search (Auto-distillation rétrospective en ligne), un cadre qui dérive une supervision au niveau de l'étape entièrement à partir de la politique elle-même, éliminant ainsi le besoin d'enseignants externes ou d'annotations auxiliaires. L'innovation centrale est l'auto-distillation rétrospective en ligne, où un seul modèle joue deux rôles distingués uniquement par leur contexte de conditionnement :

Vue Étudiant : La politique opère dans des conditions standard d'inférence, ne voyant que le préfixe de trajectoire disponible au moment de la décision.
Vue Enseignant : Les mêmes paramètres de politique sont conditionnés par un bloc rétrospectif ( $h(G)$ ). Ce bloc agrège les trajectoires de recherche et les étiquettes de résultat (CORRECT/INCORRECT) d'un groupe de déploiements frères échantillonnés à partir de la même question. Crucialement, l'enseignant voit une vue « masquée » de ces déploiements, ne conservant que les segments de recherche et les étiquettes de résultat, tout en écartant le raisonnement en aval, les documents récupérés et les réponses finales pour empêcher l'extraction directe de la réponse.

L'Objectif d'Entraînement

La méthode aligne la distribution des requêtes de l'étudiant sur la distribution de l'enseignant aux positions de requête de recherche ( $Q_\tau$ ) en utilisant une perte de divergence de Jensen-Shannon (JSD) au niveau du token.

Distribution de l'Enseignant : Comme l'enseignant connaît les résultats de l'ensemble du groupe de déploiements, sa distribution prédictive sur les tokens de recherche encode implicitement quelles requêtes ont conduit au succès et lesquelles non.
Alignement de l'Étudiant : L'étudiant minimise la JSD entre sa propre distribution et celle de l'enseignant aux positions de requête. Cela fournit un signal dense au niveau de l'étape qui complète les avantages grossiers au niveau de la trajectoire de GRPO.
Intégration : La perte totale est $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$ . Le terme JSD est ajouté comme une perte auxiliaire sans modifier l'estimateur d'avantage ni le processus d'échantillonnage des déploiements GRPO.

Choix de Conception Clés

Masquage Futur : Le bloc rétrospectif masque les tokens non liés à la recherche (THINK, DOCUMENTS, ANSWER) pour empêcher l'enseignant de « tricher » en voyant la réponse dans le contexte récupéré, ce qui effondrerait la distribution de recherche.
Contraste de Résultat : L'enseignant se conditionne sur les étiquettes de résultat binaires des déploiements frères. Ce contraste permet à l'enseignant de renforcer les motifs de requêtes réussis et de redistribuer la masse de probabilité loin de ceux qui ont échoué, même si le déploiement spécifique supervisé se termine par un échec.
Échauffement : Une période d'échauffement est employée où le coefficient de distillation est nul, permettant à la politique d'apprendre le format de trajectoire structuré avant l'introduction du signal d'auto-distillation.

Contributions Clés

Cadre : SD-Search est le premier cadre à fournir une supervision au niveau de l'étape pour le raisonnement augmenté par la recherche via l'auto-distillation rétrospective en ligne, ne nécessitant aucun enseignant externe ni aucune annotation au-delà des paires question-réponse standard utilisées pour l'entraînement par récompense de résultat.
Objectif : Un objectif JSD novateur au niveau du token qui aligne la distribution des requêtes de la politique sur une distribution conditionnée par la rétrospection. Cela s'intègre parfaitement dans les pipelines GRPO existants avec un seul passage avant auxiliaire et un terme de perte.
Validation Empirique : Des expériences approfondies sur sept benchmarks de QA mono-hop et multi-hop démontrent que SD-Search égale ou dépasse les baselines de supervision de processus dépendant de ressources externes, tout en surpassant les baselines de récompense de résultat pure.

Résultats Expérimentaux

Les auteurs ont évalué SD-Search en utilisant les architectures de base Qwen2.5-3B et Qwen2.5-7B sur sept benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

Échelle 3B : SD-Search a atteint un Exact Match (EM) moyen de 0,428, surpassant les baselines de récompense de résultat les plus fortes (AutoRefine : 0,405, MR-Search : 0,414) et correspondant statistiquement à la baseline de supervision de processus leader Thinker (0,430), bien que Thinker dépende d'un enseignant de 72 milliards de paramètres.
Échelle 7B : SD-Search a atteint un EM moyen de 0,476, surpassant toutes les baselines, y compris Thinker (0,452) et AutoRefine (0,455).
Comportement d'Échelle : Contrairement à Thinker, dont le gain de performance par rapport aux baselines de récompense de résultat diminue et finit par devenir négatif à mesure que la taille du modèle augmente (en raison de l'enseignant externe fixe devenant un goulot d'étranglement), les gains de SD-Search restent positifs à toutes les échelles (de 1,5B à 14B). Cela suggère que la méthode évolue avec la capacité de lecture en contexte propre à l'étudiant.
Efficacité : La méthode engendre une surcharge d'entraînement de bout en bout de 15,5 % (mesurée sur 8×GPU H800) par rapport aux baselines de récompense de résultat. Cette surcharge est entièrement contenue dans la boucle RL standard, évitant les coûts d'inférence massifs des modèles enseignants de 72 milliards de paramètres ou des pipelines d'annotation GPT-4o requis par les méthodes concurrentes.

Signification et Revendications

L'article revendique que le signal au niveau de l'étape traditionnellement obtenu à partir de sources externes peut être récupéré à partir de la politique elle-même grâce au conditionnement rétrospectif. En exploitant le contraste entre les déploiements réussis et infructueux au sein d'un groupe d'entraînement unique, la politique apprend à identifier les décisions de recherche de haute qualité sans supervision externe.

Les auteurs positionnent SD-Search comme une alternative plus accessible et évolutive à la supervision de processus. Il élimine la dépendance aux modèles ou API externes coûteux, rendant la supervision de haute qualité au niveau de l'étape réalisable pour les praticiens disposant de ressources limitées. De plus, les résultats suggèrent que l'« enseignant » dans l'auto-distillation n'a pas besoin d'être un modèle séparé et plus grand ; plutôt, la même politique, lorsqu'elle a accès aux résultats de ses propres explorations, possède suffisamment d'informations pour guider efficacement sa propre stratégie de recherche.

Limitations : Les auteurs notent que la méthode repose actuellement sur des étiquettes de résultat binaires dérivées de réponses de référence, la restreignant aux tâches avec des références évaluable. De plus, l'efficacité du contraste rétrospectif peut se dégrader dans les scénarios où l'ensemble du groupe de déploiements partage le même résultat (tous réussis ou tous échoués), bien que cela soit moins fréquent à plus petite échelle.