🤖 AI

Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?

Cet article révèle que l'auto-distillation augmentée par rétroaction échoue souvent dans les agents de recherche à recherche entrelacée en raison d'un phénomène de « effondrement du décodage » et de signaux de supervision incohérents, ce qui peut être efficacement atténué en employant un enseignant à moyenne mobile exponentielle (EMA) pour stabiliser le processus d'apprentissage.

Auteurs originaux : Fan Yang, Rui Meng, Yuxin Wen

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fan Yang, Rui Meng, Yuxin Wen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent, mais légèrement confus, comment résoudre un mystère. Ce robot possède un superpouvoir : il peut demander l'aide d'un bibliothécaire dès qu'il est bloqué. C'est le monde des « agents de recherche » — des programmes informatiques qui réfléchissent, posent des questions et cherchent des réponses dans une immense bibliothèque de textes pour résoudre des problèmes. Habituellement, pour enseigner à ces robots, nous utilisons un robot « enseignant » qui est déjà un expert. Le robot étudiant observe l'enseignant, copie ses mouvements et essaie de s'améliorer. Mais et si nous n'avons pas un enseignant super-expert ? Et si le seul enseignant que nous avons est le robot étudiant lui-même, regardant en arrière vers ses propres tentatives passées ? C'est ce qu'on appelle la « auto-distillation ». C'est comme un étudiant essayant d'apprendre de ses propres devoirs, espérant que s'il se souvient avoir résolu un problème correctement une fois, il pourra le refaire sans aide. Les scientifiques sont très enthousiasmés par cette idée car elle pourrait permettre aux robots d'apprendre de leurs erreurs et de leurs succès sans avoir besoin qu'un humain note chaque étape. Mais est-ce que cette astuce fonctionne réellement lorsque le robot doit chercher des informations en cours de route ? C'est la grande question que cet article aborde.

Les chercheurs de cette étude ont décidé de tester une version spécifique de cette idée appelée « Feedback-Augmented Self-Distillation » (FA-SD). Ils ont mis en place une expérience où leur agent d'IA, un robot nommé Qwen, a tenté de résoudre des questions complexes en faisant des recherches sur Internet. L'idée était simple : si le robot réussissait une question lors d'une tentative, ils lui montraient cette tentative réussie comme un « indice » ou un « feedback » pour l'aider à résoudre la même question à nouveau. Ils espéraient que cela agirait comme un super-enseignant, guidant le robot pour qu'il fasse de meilleurs choix. Cependant, les résultats ont été surprenants et un peu décevants. Au lieu de devenir plus intelligent, le robot a commencé à échouer d'une manière très spécifique et étrange.

L'équipe a découvert que le robot n'apprenait pas réellement à mieux réfléchir. Au lieu de cela, il est tombé dans un piège qu'ils appellent le « effondrement du décodage » (decoding collapse). Imaginez un étudiant passant un examen qui, au lieu de lire la question, mémorise simplement la forme de la feuille de réponses. Il écrit les mêmes paragraphes et les mêmes requêtes de recherche sophistiqués encore et encore, peu importe la question réelle. Pour un observateur extérieur, les réponses semblent différentes et complexes, mais elles sont en réalité vides de sens réel. Le robot faisait exactement cela. Il avait trouvé un « modèle » (template) pour donner l'impression de chercher et de réfléchir, et il répétait simplement ce modèle. Parce que le robot ne faisait que copier un motif plutôt que de vraiment comprendre la question, le signal de l'« enseignant » qu'il essayait d'apprendre est devenu inutile. Les mathématiques utilisées pour enseigner au robot (appelées divergence KL) ne pouvaient pas faire la différence entre une réponse intelligente et une réponse fausse, donc le robot ne s'est pas amélioré.

Les chercheurs ont également découvert que le problème ne venait pas du fait que le robot « enseignant » était trop faible. En fait, lorsqu'ils donnaient l'indice au robot (la tentative réussie passée) dans son prompt, celui-ci pouvait résoudre le problème bien mieux que lorsqu'il était laissé seul. Le problème était que le robot ne pouvait pas « internaliser » ou absorber cette compétence. C'était comme un étudiant qui pourrait réussir un examen s'il avait le corrigé sous les yeux, mais qui échouerait complètement quand on lui retire le corrigé. Le robot ne pouvait pas traduire l'indice en une compétence permanente.

Pour corriger cela, l'équipe a essayé de rendre l'enseignant plus stable. Ils ont réalisé que parce que le robot apprenait et changeait chaque seconde, la version « enseignant » de lui-même changeait aussi, ce qui rendait les leçons confuses. Ils ont essayé deux solutions : une où l'enseignant était figé dans le temps (une « référence fixe »), et une autre où l'enseignant était une « moyenne » de ses versions passées (appelée « Moyenne Mobile Exponentielle » ou EMA). L'enseignant « figé » a aidé un peu, mais l'enseignant « moyenne » a été le véritable héros. En lissant les changements, l'enseignant EMA a donné au robot un guide stable et cohérent. Cela a permis au robot de se remettre de ses échecs précédents et d'apprendre réellement. Finalement, le robot utilisant l'enseignant EMA a obtenu une moyenne de 0,206 sur sept tests différents, ce qui est un bond important par rapport à son score de départ de 0,114.

Cependant, l'article prévient également que cette astuce de l'indice ne fonctionne pas pour tout le monde. Lorsqu'ils ont essayé d'utiliser cette même idée de « feedback » avec un robot enseignant puissant et externe (un qui n'était pas l'étudiant lui-même), cela a en fait aggravé les choses. Il semble que l'ajout d'indices supplémentaires à un enseignant qui est déjà fort ne crée que de la confusion. L'étude suggère que si l'auto-enseignement est une idée puissante, elle est très fragile. Si le robot commence à copier des modèles plutôt qu'à réfléchir, tout le système se brise. Mais avec le bon type de guidage constant, comme l'enseignant EMA, il est possible d'aider ces agents de recherche à apprendre à réfléchir par eux-mêmes, même s'ils commencent par simplement prétendre connaître la réponse.

Résumé Technique : Pourquoi l'Auto-Distillation Augmentée par Feedback échoue pour les Agents de Recherche à Interleavage de Récupération

Énoncé du Problème

Les agents de recherche à interleavage de récupération, qui alternent entre le raisonnement et l'utilisation d'outils externes (recherche), sont confrontés à des difficultés lors de l'entraînement en raison de la parcimonie des récompenses au niveau du résultat. Bien que l'Apprentissage par Renforcement (RL) et les signaux de supervision denses (par exemple, les récompenses de processus) aient été proposés, l'Auto-Distillation On-Policy (OPSD) offre une alternative prometteuse en utilisant un seul Grand Modèle de Langage (LLM) comme étudiant et comme enseignant. Dans l'OPSD, l'enseignant est conditionné par une « information privilégiée » (telle que des exécutions réussies) pour fournir une supervision dense au niveau des tokens à l'étudiant non conditionné.

Cependant, il reste incertain de savoir si ce paradigme s'étend efficacement aux agents de recherche à interleavage de récupération. Contrairement à la modélisation de langage standard, les agents de recherche génèrent des trajectoires où les actions du modèle déterminent les observations récupérées ultérieures (sorties de l'environnement), créant un décalage entre la distillation standard au niveau des tokens et les décisions de recherche à long horizon nécessaires pour une récupération efficace. Cette étude examine si l'Auto-Distillation Augmentée par Feedback (FA-SD) — qui utilise des exécutions réussies comme démonstrations privilégiées pour conditionner l'auto-enseignant — peut fournir une supervision fiable pour ces agents.

Méthodologie

1. Auto-Distillation Augmentée par Feedback (FA-SD)

Les auteurs instaurent la FA-SD pour les agents de recherche. Le processus implique :

Génération de trajectoires (Rollout) : Échantillonnage d'un groupe de trajectoires pour une question donnée.
Feedback Privilégié : Si une trajectoire réussie existe dans le groupe, elle est utilisée comme feedback ( $f$ ) pour augmenter le prompt de l'« auto-enseignant ».
Objectif de Distillation : La politique de l'étudiant non conditionné ( $\pi_\theta$ ) est entraînée pour correspondre à la distribution de tokens de l'auto-enseignant augmenté par feedback ( $\pi_\theta(\cdot | x, f)$ ). La fonction de perte minimise la divergence (par exemple, la divergence KL) entre l'étudiant et l'auto-enseignant à arrêt de gradient, en masquant les observations récupérées et en se concentrant sur les tokens générés par l'assistant.

2. Diagnostic des Modes de Défaillance

Pour comprendre pourquoi la FA-SD échoue, les auteurs décomposent l'instabilité du signal de supervision en deux composantes :

Incohérence du Modèle : L'auto-enseignant et l'étudiant partagent les mêmes paramètres mis à jour de manière continue, ce qui provoque une dérive de la cible de l'enseignant pendant l'entraînement.
Incohérence du Prompt : L'enseignant est conditionné par des démonstrations de feedback, tandis que l'étudiant ne l'est pas. Cela crée un décalage de distribution qui peut ne pas se transférer proprement.

3. Mitigations Proposées

Pour traiter l'Incohérence du Modèle, les auteurs évaluent deux stratégies de régularisation pour l'auto-enseignant :

Enseignant de Référence Fixe : L'enseignant est gelé aux paramètres initiaux de l'étudiant au début de l'entraînement.
Enseignant par Moyenne Mobile Exponentielle (EMA) : Les paramètres de l'enseignant sont mis à jour selon une moyenne mobile des paramètres de l'étudiant ( $\theta_{EMA} = \alpha \theta_{EMA} + (1-\alpha)\theta_t$ ), ralentissant la dérive de la cible de l'enseignant.

4. Extension à l'Enseignant Externe

Les auteurs testent également si l'astuce d'augmentation par feedback se généralise à la Distillation On-Policy Multi-Exécution (MOPD) avec un enseignant externe (FA-MOPD), où l'enseignant externe est conditionné sur des exécutions réussies tandis que l'étudiant reste non conditionné.

Principaux Résultats et Constats

1. Échec de la FA-SD Standard

Sur sept benchmarks de questions-réponses en domaine ouvert (NQ, HotpotQA, etc.), les variantes de la FA-SD standard (non-tronquée et de type PPO-clippée) échouent à maintenir une amélioration.

Dynamique d'Entraînement : Les taux de réussite restent proches de zéro pendant la majeure partie de l'entraînement, avec seulement un rebond transitoire avant de régresser.
Effondrement du Décodage (Decoding Collapse) : Les auteurs identifient un mode de défaillance spécifique appelé effondrement du décodage. Les modèles commencent à s'appuyer sur des modèles de sortie de raisonnement et de recherche récurrents. Ces trajectoires semblent diverses mais sont largement indépendantes de la question d'entrée. Par conséquent, le signal de distillation basé sur la KL devient non informatif car le modèle n'apprend pas à résoudre la question spécifique, mais plutôt à imiter un modèle générique. Les métriques agrégées standard manquent souvent cela car elles ne vérifient pas la spécificité de l'entrée.

2. L'Auto-Enseignant est Capable, mais l'Internalisation Échoue

Les expériences montrent que l'auto-enseignant augmenté par feedback est souvent plus fort que l'étudiant non conditionné lors de l'inférence. Cela infirme l'hypothèse selon laquelle l'échec serait dû à un enseignant faible. Il s'agit plutôt d'un échec d'internalisation : l'étudiant ne parvient pas à absorber de manière fiable le signal de distillation au niveau des tokens dérivé du feedback privilégié dans sa politique non conditionnée.

3. Impact de la Régularisation

Stabilisation : Les enseignants de Référence Fixe et EMA stabilisent l'entraînement en empêchant la cible de l'enseignant de dériver trop rapidement.
Performance : L'enseignant EMA produit les meilleurs résultats. Il permet au modèle de récupérer de régressions temporaires et atteint une performance finale plus élevée (score moyen de 0,206 sur les benchmarks) par rapport à la ligne de base (0,114).
Phase de Warm-up : L'approche EMA nécessite une phase de chauffe (warm-up) où la performance peut régresser temporairement avant que le signal de supervision ne se stabilise et ne s'améliore.

4. Généralisation aux Enseignants Externes

Lorsque l'astuce d'augmentation par feedback est appliquée à la MOPD avec un enseignant externe fort (FA-MOPD), la performance dégrade par rapport à la MOPD standard. Cela suggère que le feedback privilégié introduit une incohérence de prompt ou un conditionnement inutile même lorsqu'un enseignant externe fort est présent, et ne se généralise pas directement à l'OPD avec enseignant externe.

Principales Contributions

Instanciation de la FA-SD : Le papier définit et implémente l'Auto-Distillation Augmentée par Feedback pour les agents de recherche à interleavage de récupération, en utilisant des exécutions réussies comme démonstrations privilégiées.
Identification de l'Effondrement du Décodage : Les auteurs caractérisent un mode de défaillance où les modèles produisent des trajectoires indépendantes de l'entrée via des modèles récurrents, rendant le signal de distillation non informatif. Ce phénomène est distinct d'une simple régression de performance et est souvent ignoré par les métriques standard.
Analyse de l'Incohérence de la Supervision : L'étude décompose l'instabilité de la FA-SD en incohérence de modèle (dérive de l'enseignant) et incohérence de prompt (décalage de conditionnement). Elle démontre que stabiliser l'enseignant via l'EMA ou des références fixes est crucial pour un entraînement efficace.
Résultats Négatifs sur la Généralisation : Le papier montre que si les enseignants externes forts fournissent une supervision initiale stable dans la MOPD, l'ajout de feedback privilégié à ceux-ci (FA-MOPD) n'améliore pas la performance, indiquant que l'augmentation par feedback introduit des incohérences spécifiques dans le contexte des agents de recherche.

Signification

Ce papier fournit un diagnostic critique de la raison pour laquelle l'auto-distillation, une technique prometteuse pour la supervision dense, échoue dans le cadre complexe des agents à interleavage de récupération. Il souligne que l'effondrement du décodage et l'incohérence de la supervision sont les barrières primaires, et non simplement l'absence d'un enseignant fort. En démontant que la régularisation par EMA peut stabiliser l'auto-enseignant et récupérer la performance, ce travail offre une voie pratique pour appliquer l'auto-distillation aux tâches agentiques. De plus, il met en garde contre l'application naïve de l'augmentation par feedback aux cadres avec enseignant externe, suggérant que les bénéfices de l'information privilégiée sont hautement sensibles à l'architecture spécifique et au conditionnement de la configuration de distillation.