🤖 machine learning

On the Geometry of On-Policy Distillation

Cet article caractérise la dynamique d'entraînement de la distillation on-policy (OPD) comme un régime géométrique distinct qui diffère du réglage fin supervisé et de l'apprentissage par renforcement, révélant que les mises à jour de l'OPD se verrouillent rapidement dans un sous-espace spécifique de faible dimension qui est fonctionnellement suffisant pour sa performance.

Auteurs originaux : Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

Publié 2026-06-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève (un grand modèle d'IA) comment résoudre des problèmes mathématiques complexes. Vous avez trois méthodes principales pour le faire, et ce document est comme une histoire de détective cherchant à comprendre précisément comment le cerveau de l'élève change au cours de chaque méthode.

Les trois méthodes sont :

SFT (Fine-tuning supervisé) : L'enseignant donne à l'élève un manuel de réponses parfaites, et l'élève les mémorise.
RLVR (Apprentissage par renforcement) : L'élève essaie de résoudre des problèmes par lui-même, reçoit un simple « Correct ! » ou « Faux ! » à la fin, et apprend du résultat.
OPD (Distillation sur politique) : C'est la nouvelle méthode, la plus intéressante. L'élève essaie de résoudre des problèmes, mais un enseignant super intelligent observe chaque étape de l'élève, le corrige immédiatement s'il s'écarte même légèrement de la trajectoire.

Le document pose la question suivante : Que se passe-t-il à l'intérieur du « cerveau » de l'élève (ses poids mathématiques) lorsque nous utilisons cette nouvelle méthode OPD ?

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. La zone « Relaxed Off-Principal »

Imaginez que le cerveau de l'élève est un immense paysage multidimensionnel.

SFT est comme un bulldozer. Il défonce le paysage, modifiant presque tout selon une ligne droite et prévisible. Il est très brutal et modifie les « routes principales » (directions principales) du cerveau.
RLVR est comme un ninja. Il effectue des changements très petits et précis uniquement dans les ruelles sombres et cachées (directions hors-principales), laissant les routes principales intactes.
OPD est comme un randonneur expérimenté. Il ne défonce pas le paysage comme le bulldozer, mais il ne se faufile pas non plus aussi discrètement que le ninja. Il prend un chemin intermédiaire : il modifie moins de choses que le bulldozer, mais est plus actif que le ninja. Il reste dans une zone « relaxée » où il évite les routes principales sans être aussi strictement limité que le ninja.

2. Le « Verrou de Sous-espace » (Le tunnel secret)

C'est la plus grande découverte du document.

Quand le Bulldozer (SFT) travaille, il continue d'élargir son chemin, explorant de nouvelles zones et des zones plus vastes dans le cerveau tout au long de l'entraînement.
Quand le Ninja (RLVR) travaille, il commence large mais finit par se réduire à un point minuscule et spécifique.
Quand le Randonneur (OPD) commence, il trouve rapidement un tunnel étroit et secret (un canal de faible dimension) et reste à l'intérieur pour le reste de son voyage.

Le moment « Eurêka ! » : Les chercheurs ont testé si ce tunnel était une simple coïncidence ou s'il était réellement nécessaire. Ils ont essayé de forcer l'élève à apprendre uniquement à l'intérieur de ce tunnel étroit trouvé tôt dans l'entraînement.

Résultat : L'élève OPD a appris très bien ! Le tunnel était suffisant.
Contraste : Lorsqu'ils ont testé cela sur le Bulldozer (SFT), l'élève a échoué lamentablement. Le Bulldozer avait besoin de l'espace ouvert ; le tunnel était trop étroit pour lui.
Conclusion : L'OPD possède un « superpouvoir » unique : il trouve le chemin le plus efficace et le plus étroit vers la solution très tôt dans l'entraînement et s'y verrouille.

3. Qu'est-ce qui contrôle le verrou ?

Les chercheurs ont joué au jeu du « et si » pour voir ce qui faisait que le Randonneur restait dans le tunnel.

Changer le terrain (Temps d'exécution) : Ils ont fait sauter des étapes à l'élève ou l'ont fait apprendre à partir d'exemples légèrement différents (hors-politique/off-policy). Résultat : Le Randonneur a quand même trouvé le même tunnel. Le chemin est robuste.
Changer les règles (Objectif) : Ils ont mélangé la méthode OPD avec la méthode RLVR (en changeant le signal de récompense). Réslement : Le tunnel a disparu ! Le Randonneur s'est perdu et a commencé à errer.

La conclusion à retenir : Le « verrou » dans ce tunnel efficace n'est pas causé par ce que l'élève regarde (les données) ni par sa façon de se déplacer (le déroulement/rollout). Il est entièrement causé par la façon dont l'enseignant récompense l'élève (l'objectif). Si vous changez les règles du jeu, l'élève cesse d'utiliser son tunnel efficace.

Résumé

Le document conclut que l'OPD n'est pas seulement un mélange entre le Bulldozer et le Ninja. C'est une méthode distincte avec sa propre géométrie. Elle trouve rapidement un « tunnel secret » étroit et efficace dans la structure du cerveau et s'y maintient. Ce tunnel est solide et efficace, mais il est fragile : si vous changez les règles fondamentales de l'objectif d'entraînement, le tunnel disparaît.

Résumé Technique : Sur la Géométrie de la Distillation On-Policy

Énoncé du Problème

Les Modèles de Raisonnement de Grande Taille (LRM) ont progressé de manière significative grâce aux paradigmes de post-entraînement, principalement le Fine-Tuning Supervisé (SFT) et l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Récemment, la Distillation On-Policy (OPD) est apparue comme une approche complémentaire, entraînant un modèle étudiant sur ses propres trajectoires échantillonnées grâce à un guidage dense au niveau du jeton (token) provenant d'un enseignant plus fort. Bien que l'OPD démontre une utilité empirique, sa dynamique dans l'espace des paramètres reste mal comprise. Plus précisément, il n'est pas clair si l'OPD représente une simple interpolation entre les empreintes géométriques du SFT et du RLVR, ou si elle induit une trajectoire d'optimisation distincte. Le papier aborde trois questions centrales :

Où se situe l'OPD dans le spectre de l'espace des paramètres entre le SFT et le RLVR ?
Quelle trajectoire de mise à jour intrinsèque l'OPD suit-elle pendant l'entraînement ?
Quel composant de l'objectif d'OPD contrôle cette trajectoire ?

Méthodologie

Les auteurs analysent la géométrie des mises à jour de l'OPD à l'aide d'une suite de diagnostics de l'espace des paramètres appliqués aux checkpoints de la famille Qwen3 (spécifiquement Qwen3-8B). Le dispositif expérimental compare trois paradigmes initialisés à partir d'un ancrage SFT partagé (pour l'OPD et le RLVR) ou d'un modèle pré-entraîné (pour le SFT) :

SFT : Fine-tuning supervisé standard sur des démonstrations hors ligne.
RLVR : Optimisation de politique utilisant des récompenses éparses au niveau du résultat (GRPO).
OPD : Distillation on-policy utilisant une supervision de l'enseignant dense au niveau du jeton.

L'analyse emploie quatre diagnostics primaires pour caractériser les mises à jour ( $\Delta W = W_+ - W_0$ ) :

Sparsité de la mise à jour : Mesure de la fraction de poids inchangés en précision bfloat16.
Rotation de l'angle principal : Quantification de la rotation des sous-espaces singuliers dominants ( $U, V$ ) entre les poids initiaux et finaux.
Dérive spectrale : Mesure du décalage spectral normalisé (NSS) des valeurs singulières.
Chevauchement du masque de mise à jour : Détermination de savoir si les mises à jour visibles se concentrent sur les poids principaux (haute courbure) ou de faible magnitude.

Pour étudier la dynamique d'entraînement, les auteurs suivent les mises à jour cumulées ( $\Delta W_t$ ) à travers les checkpoints en utilisant le rang stable, les normes de Frobenius et les estimations de la queue de Hill. Ils mènent également des expériences de contrôle en perturbant trois facteurs : la densité de supervision des jetons (sparsification), la politique de rollout (génération off-policy) et la composition de l'objectif (interpolation des avantages OPD et RLVR).

Contributions Clés et Résultats

1. L'OPD Occupe un Régime « Relaxé Hors-Principal »

L'étude situe l'OPD dans une région distincte de l'espace des paramètres, intermédiaire entre le SFT et le RLVR, mais biaisée vers le côté RLVR.

Sparsité : L'OPD présente une sparsité de mise à jour intermédiaire (51,6 % de poids inchangés), se situant entre les mises à jour denses du SFT (8,1 % de poids inchangés) et les mises à jour éparses du RLVR (77,2 % de poids inchangés).
Géométrie : L'OPD induit moins de rotation de sous-espace et de dérive spectrale que le SFT, mais plus que le RLVR.
Localisation : Les mises à jour de l'OPD s'éloignent des poids principaux et se dirigent vers les régions de faible magnitude, similairement au RLVR, mais avec un support visible plus large (sélectivité plus faible).
Interprétation : Les auteurs proposent une vue « À Trois Portes Relaxées ». L'OPD conserve le biais de préservation de la géométrie du RLVR (Porte II : la géométrie du modèle oriente les mises à jour loin des directions principales) mais relaxe la sélectivité grâce à la supervision dense au niveau du jeton (Porte I : ancrage de distribution), permettant à plus de coordonnées de franchir le seuil de réalisation de la précision (Porte III).

2. Verrouillage de Sous-Espace (Subspace Locking)

L'OPD suit une trajectoire distincte caractérisée par un verrouillage de sous-espace.

Convergence Précoce : Contra lirement au SFT (qui étend son sous-espace de mise à jour) ou au RLVR (qui se contracte tardivement), l'OPD entre rapidement dans une bande de mise à jour étroite et de faible dimension très tôt dans l'entraînement.
Stabilité : Ce canal de faible dimension émerge tôt (au cours des premiers checkpoints mesurés) et reste persistant tout au long de l'entraînement.
Suffisance Fonctionnelle : Contraindre l'entraînement ultérieur au sous-espace de faible dimension (rang-16) formé tôt dans l'entraînement de l'OPD préserve les performances de l'OPD. En revanche, la même contrainte dégrade significativement les performances du SFT. Cela indique que le sous-espace verrouillé est fonctionnellement suffisant pour l'apprentissage de l'OPD.
Magnitude : L'OPD accumule une norme de mise à jour cumulée substantiellement plus grande que le RLVR tout en maintenant un rang stable comparable, excluant la possibilité que la faible dimension ne soit qu'un artefact d'un mouvement de paramètres négligeable.

3. La Composition de l'Objectif Contrôle la Trajectoire

Les expériences de contrôle révèlent que le mécanisme de verrouillage de sous-espace est robuste aux perturbations au moment de l'exécution, mais sensible à la composition de l'objectif.

Robustesse : La sparsification des jetons (réduction de la densité de supervision) et les rollouts off-policy (utilisation de données générées par l'enseignant) préservent la trajectoire du rang stable de l'OPD, n'affectant que l'échelle de la mise à jour.
Sensibilité : L'interpolation de l'objectif OPD avec le signal d'avantage du RLVR modifie la dynamique du rang. Lorsque la composante OPD est affaiblie, la trajectoire s'écarte du régime verrouillé.
Mécanisme : Les auteurs soutiennent que la sparsification des jetons et les rollouts off-policy ne font que redimensionner la covariance du gradient, préservant les directions spectrales dominantes. En revanche, le mélange d'objectifs change la source même du gradient, altérant la géométrie de la covariance dominante et brisant la trajectoire verrouillée.

Signification et Revendications

Le papier affirme que l'OPD n'est pas simplement un point final intermédiaire entre le SFT et le RLVR, mais qu'elle induit sa propre géométrie de mise à jour unique. La principale signification réside dans l'identification du verrouillage de sous-espace comme une propriété fondamentale de l'entraînement OPD.

Les auteurs suggèrent que les futurs algorithmes d'OPD devraient être conçus avec un contrôle de la géométrie à l'esprit plutôt que de traiter la densité de supervision au niveau du jeton comme l'axe de conception principal. Des recettes efficaces devraient :

Surveiller et exploiter le canal de mise à jour de faible dimension, persistant et émergeant tôt.
Utiliser la composition de l'objectif comme levier principal pour réguler la géométrie de mise à jour.
Traiter la sélection des jetons et les politiques de rollout comme des facteurs secondaires qui influencent l'échelle de mise à jour plutôt que la structure spectrale fondamentale.

Le papier conclut que ces diagnostics fournissent un compte rendu de l'espace des paramètres de l'OPD, offrant une base pour des stratégies d'optimisation plus stables, interprétables et transférables, conscientes de la géométrie. Les auteurs notent des limites concernant l'accent mis sur les environnements de raisonnement contrôlés de Qwen3 et la dépendance aux diagnostics basés sur les checkpoints plutôt qu'à des théories causales formelles.