🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Cet article remet en question l'hypothèse selon laquelle l'auto-distillation on-policy est une approche supérieure pour le post-entraînement continu, démontrant à travers des expériences SDPO que, bien qu'elle accélère la spécialisation intra-domaine, elle entraîne souvent un oubli et un effondrement du modèle plus importants par rapport aux méthodes d'apprentissage par renforcement on-policy en raison d'une dérive des paramètres accrue et d'une amplification des artefacts de formatage.

Auteurs originaux : Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Pourquoi « Plus » n'est pas toujours « Mieux »

Imaginez que vous enseignez de nouvelles compétences à un élève (un Grand Modèle de Langage) au fil du temps. Vous voulez qu'il apprenne les mathématiques, puis les sciences, puis le codage, sans oublier ce qu'il a appris dans les matières précédentes.

Récemment, une méthode populaire appelée Auto-Distillation est devenue le « ticket d'or ». L'idée était simple : laisser l'élève générer une réponse, puis faire en sorte que ce même élève (jouant le rôle de professeur) évalue chaque mot de cette réponse en temps réel. Comme le professeur donne un feedback sur chaque mot (supervision dense), il semblait que l'élève apprendrait super vite et n'oublierait jamais ses anciennes leçons.

Ce papier dit : « Attendez. Ce n'est pas comme ça que ça fonctionne. »

Les auteurs ont découvert que si cet enseignement « mot par mot » est excellent pour maîtriser un sujet spécifique très rapidement, il est en réalité dangereux lorsque vous essayez d'enseigner beaucoup de choses différentes les unes après les autres. Cela provoque souvent l'oubli de tout ce que le modèle a appris auparavant, et peut même le briser complètement.

Le Conflit Central : La « Frénésie » contre la « Main Stable »

Le papier compare deux styles d'enseignement :

Le Tuteur « Mot par Mot » (SDPO) : C'est la méthode d'auto-distillation. Le professeur regarde le brouillon de l'élève et corrige chaque mot immédiatement.
- L'Analogie : Imaginez un entraîneur qui court aux côtés d'un sprinteur, en criant : « Bouge ton pied gauche ! Non, plus vite ! Plie le genou ! Surveille ton bras ! » à chaque pas.
- Le Résultat : Le sprinteur devient très rapide sur cette piste spécifique en ce moment. Mais si l'entraîneur change d'avis sur la technique toutes les quelques secondes, ou si l'entraîneur commence à imiter les erreurs du sprinteur, le sprinteur est confus, perd l'équilibre et oublie comment courir.
Le Coach de la « Ligne d'Arrivée » (GRPO) : C'est la méthode traditionnelle d'Apprentissage par Renforcement. L'élève court toute la course, et le coach ne donne une note qu'à la toute fin (par exemple : « Bon travail, tu as fini en 10 secondes »).
- L'Analogie : Le coach laisse le coureur faire sa propre course. Il n'intervient pas à chaque étape. Il ne donne un feedback que sur le résultat final.
- Le Résultat : Le coureur apprend un peu plus lentement, mais il développe un style naturel et stable. Lorsqu'il change de piste (un nouveau sujet), il ne perd pas l'équilibre. Il se souvient comment courir.

Explication des Résultats Clés avec des Métaphores

1. Le Problème du « Professeur Fragile »

Dans la méthode « Mot par Mot », le professeur est le modèle lui-même. Le papier a découvert que si le professeur est mis à jour trop rapidement (en essayant d'être « frais »), il devient instable.

La Métaphore : Imaginez un professeur qui est aussi un élève. Si le professeur change d'avis sur la « bonne » réponse toutes les 5 minutes en fonction de ce que l'élève vient de dire, l'élève finit par avoir mal à la tête. Il commence à copier la confusion du professeur.
La Solution : Le papier a découvert qu'un professeur a besoin d'être stable. Il vaut mieux avoir un professeur qui reste le même pendant un certain temps, puis qui reçoit une mise à jour rapide, plutôt qu'un professeur qui change constamment.

2. La « Chambre d'Écho » des Erreurs

Lorsque le modèle se corrige lui-même mot par mot, il peut accidentellement renforcer de mauvaises habitudes.

La Métaphore : Imaginez un élève qui écrit accidentellement un symbole bizarre (comme un émoji buggé) dans sa rédaction. Le professeur « Mot par Mot » voit cela, pense « Oh, c'est une partie du style », et dit à l'élève de l'écrire à nouveau. L'élève l'écrit à nouveau, le professeur le félicite à nouveau, et bientôt l'élève n'écrit que des symboles bizarres.
Le Résultat : Le modèle « s'effondre ». Il arrête de répondre aux questions et se contente de répéter des erreurs de formatage encore et encore parce que la boucle de rétroaction a amplifié une petite erreur en une habitude massive.

3. Le Piège du « Juste Milieu » (L'Oubli)

Le papier a découvert un motif étrange dans ce que le modèle oublie.

La Métaphore : Imaginez que vous apprenez à jouer du piano.
- Si vous apprenez une chanson qui est très similaire à ce que vous connaissez déjà, vous devenez meilleur dans les deux.
- Si vous apprenez une chanson qui est complètement différente (comme passer du piano à la batterie), vos compétences au piano restent intactes car elles sont trop différentes.
- Le Danger : Si vous apprenez une chanson qui est quelque part entre les deux (un peu similaire) mais qui possède quelques règles différentes, votre cerveau est confus. Vous essayez d'appliquer les anciennes règles à la nouvelle chanson, et vous ratez les deux.
La Découverte : La méthode « Mot par Mot » est excellente pour les tâches « très similaires », mais terrible pour les tâches « quelque part entre les deux ». Elle provoque l'oubli des anciennes compétences qui étaient assez proches pour interférer, mais pas assez pour aider.

4. La « Dérive » (Drift)

Le papier a regardé à l'intérieur du « cerveau » du modèle (ses paramètres) pour voir ce qui changeait.

La Métaphore : Le coach de la « Ligne d'Arrivée » (GRPO) fait de petits ajustements prudents sur les chaussures du coureur. Le coach « Mot par Mot » (SDPO) reconstruit constamment les jambes du coureur et change sa foulée.
Le Résultat : La méthode « Mot par Mot » fait dériver le modèle si loin de son état d'origine qu'il perd sa capacité à gérer des situations nouvelles et inattendues. Il devient un spécialiste incapable de penser en dehors de la boîte.

Conclusion

Le papier conclut que la supervision dense (corriger chaque mot) est une épée à double tranchant.

Quand elle fonctionne : Si vous avez un professeur très stable et une tâche très claire, cela aide le modèle à se spécialiser rapidement.
Quand elle échoue : Dans un scénario d'« Apprentissage Continuel » (apprendre une chose après l'autre), elle est trop agressive. Elle amplifie le bruit, renforce les erreurs de formatage et provoque l'oubli des connaissances précédentes.

À retenir : Ne supposez pas que donner plus de feedback à un modèle (chaque mot) le rend plus intelligent ou plus stable. Parfois, une approche plus lente et plus constante (comme le coach de la « Ligne d'Arrivée ») est préférable pour un apprentissage à long terme. Le papier nous avertit de ne pas traiter l'auto-distillation comme un stabilisateur magique ; elle nécessite une gestion prudente pour éviter de briser le modèle.

Résumé Technique : PLUS DENSE $\neq$ MEILLEUR : LIMITES DE L'AUTO-DISTILLATION ON-POLICY POUR LE POST-ENTRAÎNEMENT CONTINU

Énoncé du Problème

L'entraînement post-continu est essentiel pour permettre aux modèles de fondation d'acquérir de nouvelles connaissances à travers différents domaines tout en préservant leurs capacités existantes. Alors que la littérature récente suggère que le réglage fin par renforcement (RFT) on-policy atténue mieux l'oubli catastrophique que le réglage fin supervisé (SFT), un nouveau paradigme — l'auto-distillation on-policy — a émergé comme une alternative prometteuse. Cette approche, illustrée par l'Optimisation de la Politique d'Auto-Distillation (SDPO), convertit les déroulements générés par le modèle en une supervision dense au niveau du jeton (token), utilisant le modèle lui-même comme enseignant conditionné par un contexte privilégié (ex. : solutions, retours ou démonstrations).

Le problème central abordé dans ce travail est de savoir si la vision optimiste de l'auto-distillation on-policy se vérifie dans les contextes d'apprentissage continu. Plus précisément, les auteurs cherchent à savoir si la SDPO hérite des avantages de rétention attribués au RL on-policy de séquence, ou si la densité de la supervision au niveau du jeton introduit de nouveaux modes de défaillance, tels que l'instabilité, l'interférence et l'effondrement, lorsqu'elle est appliquée à travers des tâches séquentielles.

Méthodologie

L'étude emploie un cadre expérimental comparatif analysant l'Optimisation de la Politique d'Auto-Distillation (SDPO) par rapport à l'Optimisation de la Politique Relative au Groupe (GRPO), une méthode d'optimisation de récompense au niveau de la séquence.

Configuration Expérimentale :
- Modèles : Les expériences utilisent les séries de modèles Qwen3-4B et Olmo-3-7B.
- Tâches : L'entraînement se déroule sur quatre domaines : Mathématiques (MATH), Sciences (SCIENCE), Utilisation d'Outils (TOOLUSE) et Codage (CODING).
- Évaluation : La performance est mesurée sur des benchmarks en distribution (in-distribution) et hors distribution (OOD) (ex. : AIME, GPQA, BFCLv4, MMLU-R) pour évaluer la spécialisation, la rétention et le transfert.
- Contexte Continu : Les modèles sont entraînés séquentiellement (MATH $\rightarrow$ SCIENCE $\rightarrow$ TOOLUSE $\rightarrow$ CODING) pour simuler un post-entraînement continu.
Variations Clés :
- Stabilité de l'Enseignant : Les auteurs font varier le taux de mise à jour de la Moyenne Mobile Exponentielle (EMA) ( $\alpha$ ) du modèle enseignant pour tester le compromis entre « fraîcheur » et « stabilité temporelle ». Ils introduisent une stratégie de « Redémarrage et Gel » (StableSDPO) pour découpler ces facteurs.
- Densité de Supervision : L'étude compare la SDPO standard à des variantes qui distillent les jetons de Chaîne de Pensée (CoT) pour évaluer si une supervision plus dense (niveau jeton vs niveau séquence) améliore l'apprentissage.
- Diagnostics : Les auteurs analysent la dérive des paramètres via des métriques de Décomposition en Valeurs Singulières (SVD) (décalage spectral, rotation de l'angle principal, chevauchement de masque) et les dérives de la variété de réponse via la similitude d'embedding. Ils fournissent également une analyse théorique utilisant un cadre de « dérive KL excédentaire ».

Principales Contributions

Le papier présente quatre contributions principales :

Découplage des Données et de l'Objectif : Les auteurs séparent la source des données (on-policy) de l'objectif d'entraînement. Ils démontrent que bien que les données on-policy soient bénéfiques, l'objectif spécifique de l'auto-distillation dense n'hérite pas automatiquement du biais de mise à jour conservateur du RL on-policy de niveau séquence.
Fragilité des Signaux Denses : La SDPO s'avère être une méthode de spécialisation puissante mais un signal d'apprentissage continu fragile. Son efficacité est hautement conditionnelle à la stabilité de l'enseignant et à la fiabilité des jetons. L'étude révèle que la distillation de CoT et les mises à jour rapides de l'enseignant peuvent amplifier le bruit et les artefacts de formatage.
Compromis d'Apprentissage Continu : Dans les contextes continus, les variantes de la SDPO présentent une rétention nettement plus faible que la GRPO. L'oubli n'est pas uniforme ; il se concentre sur les tâches à « distance intermédiaire » — des tâches suffisamment proches pour être affectées par les mises à jour du domaine source, mais suffisamment désalignées pour ne pas en bénéficier.
Diagnostics Mécanistes : Le papier diagnostique les causes de l'échec de la SDPO via :
- Dérive des Paramètres/Réponses : La SDPO induit des décalages spectraux et des changements de variété de réponse plus importants que la GRPO.
- Amplification d'Artefacts : Une boucle de « biais de confirmation » où les artefacts de formatage (ex. : jetons répétés) sont renforcés par la boucle enseignant-élève, menant à l'effondrement du modèle.
- KL Excédentaire Théorique : Une preuve montrant que la projection au niveau du jeton de la SDPO vers un enseignant privilégié induit une dérive KL excédentaire par rapport à la projection de récompense de séquence minimisant la KL, prédisant un oubli supplémentaire.

Résultats

Spécialisation vs Rétention : La SDPO excelle dans la spécialisation immédiate (ex. : amélioration significative des scores Math500 après l'entraînement MATH) mais échoue à retenir les capacités à travers les changements de domaine. Dans une séquence d'entraînement continu en quatre étapes, une SDPO avec un enseignant rapide ( $\alpha=5\%$ ) s'est effondrée vers une performance proche de zéro, tandis que la GRPO a maintenu et amélioré les capacités à travers tous les domaines.
Stabilité de l'Enseignant : Aucun taux d'EMA unique n'est globalement optimal. Les mises à jour rapides ( $\alpha=5\%$ ) dégradent souvent la performance en raison de l'instabilité temporelle. La stratégie « Redémarrage et Gel » surpasse significativement l'EMA continue, suggérant que des mises à jour périodiques et stables de l'enseignant sont cruciales.
Distillation de CoT : La distillation des jetons CoT améliore la performance sur les traces structurées et courtes (Utilisation d'Outils) mais nuit à la performance sur les tâches de raisonnement longues et bruitées (Math, Science), où les jetons intermédiaires contiennent souvent des artefacts ou des auto-vérifications redondantes qui diluent l'attribution de crédit.
Interférence de Distance Intermédiaire : La généralisation OOD suit un schéma non monotone. Les tâches très proches du domaine d'entraînement ou très éloignées sont souvent préservées ou améliorées. Cependant, les tâches à une distance intermédiaire souffrent de l'oubli le plus important, un phénomène cohérent avec la théorie de l'interférence dans les modèles linéaires.
Modes d'Effondrement : L'étude identifie un mode d'échec spécifique où le modèle s'effondre en répétant des jetons de formatage (ex. : \boxed). Cela est attribué à la boucle d'auto-renforcement des artefacts à haute fréquence dans l'auto-distillation dense.

Signification et Revendications

Le papier conclut que l'auto-distillation on-policy n'est pas un stabilisateur par défaut pour le post-entraînement continu. Bien qu'elle offre un signal puissant pour une spécialisation rapide lorsque les cibles de l'enseignant sont stables et que la supervision au niveau du jeton est fiable, elle introduit un compromis : une supervision plus dense renforce les signaux d'apprentissage locaux mais augmente la sensibilité au bruit, au désalignement de domaine et aux artefacts accumulés.

Les auteurs soutiennent que l'intuition « plus dense est meilleur » est erronée dans le contexte de l'apprentissage continu. Contra s'à des méthodes de niveau séquence comme la GRPO, qui s'adaptent de manière conservatrice et préservent les capacités antérieures, les mises à jour agressives au niveau du jeton de la SDPO peuvent mener à un oubli catastrophique et à l'effondrement du modèle. Le papier suggère que l'avenir de l'auto-distillation on-policy dans l'apprentissage continu ne dépend pas de l'augmentation de la densité du signal, mais de la protection de ce signal par le pondération des jetons, le contrôle de l'enseignant et l'équilibrage des données afin de garantir la stabilité et la conscience des artefacts.