🤖 machine learning

Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation

Ce papier propose un cadre unifié qui découple les choix traditionnellement couplés de la source du préfixe et de la direction de la divergence de KL dans la distillation des LLM, révélant quatre objectifs distincts et introduisant des techniques pratiques telles que le mélange de KL et des curriculums à seuil d'entropie pour optimiser les compromis entre précision, diversité et efficacité dans les tâches de raisonnement.

Auteurs originaux : Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen

Publié 2026-05-19

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti (l'IA Élève) comment résoudre des énigmes mathématiques complexes en observant un chef étoilé (l'IA Professeur). L'article que vous avez partagé est un guide sur comment organiser ce cours de cuisine le plus efficacement possible.

Pendant longtemps, les chercheurs ont cru qu'il n'existait que deux façons de mener ce cours :

La méthode « Copier-Coller » : Le professeur rédige une recette parfaite, et l'élève la mémorise simplement ligne par ligne.
La méthode « Pratique en direct » : L'élève tente de cuisiner, et le professeur le corrige en temps réel au fur et à mesure.

Les auteurs de cet article ont réalisé que ces deux méthodes mélangeaient en réalité deux ingrédients distincts : d'où vient la leçon (la source du préfixe) et comment la correction est donnée (la direction de la divergence KL). Ils ont décidé de démêler ces ingrédients pour voir ce qui se passe lorsque l'on les combine de différentes manières.

Voici la décomposition en termes simples :

1. Les deux ingrédients

L'article indique que nous devons examiner deux choix distincts :

Choix A : D'où commence la leçon ? (Source du préfixe)
- Le chemin du Professeur : L'élève apprend en observant les étapes parfaites et pré-rédigées du professeur. (Comme lire un manuel scolaire).
- Le chemin de l'Élève : L'élève apprend en pratiquant sur ses propres étapes, et le professeur corrige ces étapes spécifiques. (Comme un entraîneur qui vous regarde jouer un match).
Choix B : Comment mesurons-nous l'erreur ? (Direction KL)
- L'approche « Sois comme moi » (KL direct) : Le professeur dit : « Tu dois correspondre exactement à mes probabilités. » C'est comme dire : « Si je dis qu'il y a 70 % de chances qu'il y ait du sel, tu dois aussi dire 70 %. » C'est très strict et tente de couvrir toutes les possibilités du professeur.
- L'approche « Ne sois pas faux » (KL inverse) : Le professeur dit : « Ne choisis pas les options que je juge mauvaises. » C'est comme dire : « Si je pense que cet ingrédient est terrible, ne l'utilise pas. » Cela se concentre sur l'évitement des pires erreurs du professeur, ce qui rend souvent l'élève très confiant mais moins créatif.

2. Les quatre nouvelles recettes

En combinant ces deux choix, les auteurs ont découvert quatre façons d'entraîner, et non plus seulement deux. Ils ont constaté que les anciennes méthodes n'étaient que deux combinaisons spécifiques de ces quatre.

Recette 1 (Chemin du Professeur + « Sois comme moi ») : C'est la méthode standard « Copier-Coller » utilisée par de nombreuses grandes entreprises aujourd'hui. Elle est stable mais peut être rigide.
Recette 2 (Chemin de l'Élève + « Sois comme moi ») : C'est comme un entraîneur qui vous regarde jouer et corrige vos mouvements spécifiques. Cela aide l'élève à apprendre de ses propres erreurs.
Recette 3 (Chemin du Professeur + « Ne sois pas faux ») : C'est une nouvelle idée. C'est comme lire un manuel scolaire mais en se concentrant uniquement sur l'évitement des mauvaises idées du professeur. Cela agit comme un « filtre de sécurité ».
Recette 4 (Chemin de l'Élève + « Ne sois pas faux ») : C'est la méthode « Pratique en direct ». L'élève tente, et le professeur dit : « Ne fais pas ça. » C'est très puissant pour obtenir rapidement de bons scores, mais cela comporte un piège caché.

3. Les trois grands compromis

L'article a mené de nombreuses expériences (principalement sur des problèmes mathématiques) et a découvert trois « pièges » ou compromis majeurs :

Le piège « Confiance vs Créativité » :
Si vous utilisez l'approche « Ne sois pas faux » (KL inverse), l'élève devient très bon pour trouver la bonne réponse en moyenne. Cependant, il devient trop confiant et cesse d'essayer de nouvelles choses. Il perd sa « diversité ». Si vous lui demandez de résoudre un problème de dix manières différentes, il pourrait vous donner la même réponse dix fois, ou il pourrait se retrouver bloqué dans une boucle.
- Analogie : C'est comme un élève qui a mémorisé la clé des réponses si bien qu'il ne peut plus imaginer aucune autre façon de résoudre le problème.
Le piège « Qualité vs Coût » :
Si l'élève s'exerce par lui-même (Chemin de l'Élève), il apprend mieux car il corrige ses propres erreurs spécifiques. Mais cela est coûteux car l'ordinateur doit générer de nouvelles réponses à chaque fois.
Si l'élève lit simplement les notes du professeur (Chemin du Professeur), c'est moins cher et plus rapide car les notes sont déjà écrites, mais l'élève pourrait ne pas apprendre aussi profondément.
Le piège « Long vs Court » :
S'entraîner sur des problèmes très longs et complexes (séquences longues) rend l'élève plus intelligent. Mais si vous utilisez l'approche « Ne sois pas faux » sur des problèmes longs, l'élève devient effrayé. Il commence à écrire des réponses incroyablement longues et décousues juste pour éviter de faire une erreur, ou il cesse complètement de réfléchir.
- Analogie : C'est comme un élève qui, face à une immense dissertation, commence à écrire des absurdités juste pour remplir la page parce qu'il est terrifié à l'idée d'écrire le mauvais mot.

4. Les solutions : Mélange et Portes

Pour résoudre ces problèmes, les auteurs ont proposé deux astuces simples :

Mélanger les recettes (Mélange KL) :
Au lieu de choisir uniquement « Sois comme moi » ou « Ne sois pas faux », ils suggèrent de les mélanger.
- La solution : Utilisez principalement « Ne sois pas faux » pour obtenir de bons scores, mais ajoutez un peu de « Sois comme moi » pour maintenir la créativité de l'élève et l'empêcher de se retrouver bloqué dans des boucles longues et ennuyeuses. C'est comme dire à l'élève : « N'utilise pas cet mauvais ingrédient, mais souviens-toi aussi qu'il existe de nombreuses bonnes façons de cuisiner ce plat. »
La « Porte d'entropie » (Curriculum de longueur) :
Au lieu de forcer l'élève à s'exercer immédiatement sur des problèmes longs et difficiles, commencez par des problèmes courts et faciles.
- La solution : Augmentez la longueur des problèmes uniquement si l'élève réfléchit encore clairement (a une « entropie » ou créativité élevée). Si l'élève commence à se confondre ou à devenir répétitif, arrêtez d'augmenter la longueur. Cela le maintient affûté et l'empêche d'écrire ces réponses longues et décousues.

La conclusion

L'article soutient que nous ne devrions pas suivre aveuglément les méthodes standards « Copier-Coller » ou « Pratique en direct ». En comprenant que d'où nous apprenons et comment nous corrigeons les erreurs sont deux choses différentes, nous pouvons les combiner.

La meilleure stratégie est de équilibrer les choses :

Ne soyez pas trop strict, sinon l'élève perd sa créativité.
Ne copiez pas simplement le professeur, sinon l'élève gaspille la puissance de calcul.
Ne passez pas trop vite à des problèmes longs, sinon l'élève se confond.

En utilisant leurs astuces de « Mélange » et de « Porte », ils ont montré qu'il est possible d'obtenir un élève qui est intelligent, créatif, efficace et stable, tout à la fois.

Résumé Technique : Découplage de la KL et des Trajectoires dans la Distillation des LLM

Énoncé du Problème

La distillation de connaissances est devenue une pierre angulaire du post-entraînement des grands modèles de langage (LLM), en particulier pour les tâches de raisonnement, fonctionnant souvent en parallèle de l'apprentissage par renforcement (RL). Cependant, l'espace de conception de la distillation reste mal compris. Les pipelines actuels suivent généralement l'un des deux paradigmes suivants : la distillation hors-politique (entraînement sur des traces générées par l'enseignant, souvent via un affinage supervisé) ou la distillation en politique (OPD) (entraînement sur des déployages générés par l'élève avec rétroaction de l'enseignant).

L'article soutient que ces paradigmes dominants couplent implicitement deux choix de conception orthogonaux :

Source du Préfixe : Que la supervision s'applique à des préfixes générés par l'enseignant (hors-politique) ou par l'élève (en politique).
Direction de la KL au niveau des tokens : Que l'objectif minimise la KL directe ( $KL(p_{enseignant} \parallel q_{élève})$ ) ou la KL inverse ( $KL(q_{élève} \parallel p_{enseignant})$ ).

La pratique conventionnelle couple les préfixes d'enseignant avec la KL directe et les préfixes d'élève avec la KL inverse. Les auteurs soutiennent que ce couplage n'est pas intrinsèque au niveau des tokens et que le découplage de ces axes révèle un espace de conception plus large avec quatre objectifs valides, chacun correspondant à des régimes d'apprentissage distincts.

Méthodologie

Cadre Théorique : Découplage des Axes

Les auteurs décomposent la divergence de KL au niveau de la séquence en utilisant la règle de chaîne autorégressive. Ils démontrent que :

La KL directe ( $KL(p_T \parallel q_S)$ ) s'apparie naturellement avec les préfixes d'enseignant (hors-politique) car l'espérance est prise sur la distribution de trajectoire de l'enseignant.
La KL inverse ( $KL(q_S \parallel p_T)$ ) s'apparie naturellement avec les préfixes d'élève (en politique) car l'espérance est prise sur la distribution de trajectoire de l'élève.

En traitant ces éléments comme des axes indépendants, les auteurs définissent quatre objectifs :

Préfixe d'enseignant + KL directe : Correspond à un affinage supervisé (SFT) hors-politique (distillation standard).
Préfixe d'élève + KL directe : Correspond à un SFT en politique de style DAgger.
Préfixe d'enseignant + KL inverse : Correspond à un objectif de distillation de style RL hors-ligne.
Préfixe d'élève + KL inverse : Correspond à la Distillation en Politique (OPD), vue comme un RL en politique à récompense dense.

L'article établit des identités au niveau du gradient montrant que :

La KL directe produit un gradient de type entropie croisée de style SFT avec des cibles douces de l'enseignant.
La KL inverse produit un gradient de politique de style RL avec une récompense dense définie par le rapport de vraisemblance enseignant-élève ( $r = \log p_T - \log q_S$ ).

Configuration Expérimentale

Les auteurs mènent une étude contrôlée sur le raisonnement mathématique en utilisant des modèles Qwen3 (élève de 0,6B, enseignants de 4B/8B). Ils évaluent les quatre objectifs dans deux régimes :

Distillation Autonome : Comparaison des performances finales des modèles entraînés uniquement avec chaque objectif.
Distillation puis RL : Utilisation des points de contrôle distillés comme initialisations pour l'Optimisation de Politique Relative par Groupes (GRPO).

Ils suivent la précision, l'entropie prédictive et la longueur des réponses à travers diverses longueurs de séquence (128 vs 4096 tokens) et benchmarks (MATH500, GSM8K, AIME24, AMC23).

Contributions Clés

1. Identification de Trois Compromis

L'analyse empirique révèle trois compromis fondamentaux régissant la conception de la distillation :

Compromis Précision–Entropie (Direction de la KL) : La KL inverse atteint systématiquement une meilleure précision autonome (Avg@k) mais pousse l'entropie prédictive vers un effondrement, réduisant la diversité (Pass@k plus faible) et rendant le modèle moins stable pour le RL ultérieur. La KL directe préserve l'entropie, soutenant une amélioration RL plus stable, bien qu'avec une précision autonome initiale plus faible.
Compromis Qualité–Calcul (Source du Préfixe) : Les préfixes d'élève (en politique) produisent une meilleure précision sous des étapes d'entraînement appariées en supervisant les états que l'élève visite réellement. Cependant, les préfixes d'enseignant (hors-politique) sont plus efficaces en calcul sous des FLOPs appariés car ils permettent de réutiliser les logits d'enseignant mis en cache et les trajectoires hors ligne, évitant le coût de la génération en ligne par l'élève.
Compromis Précision–Stabilité (Longueur d'Entraînement) : La distillation sur longues séquences (4096 tokens) améliore la précision du raisonnement mais, particulièrement sous KL inverse, provoque un effondrement sévère de l'entropie et une « inflation de longueur » (réponses atteignant la limite de génération). L'entraînement sur courtes séquences est plus stable mais moins précis.

2. Méthodes Proposées pour Équilibrer les Compromis

Motivés par ces résultats, les auteurs proposent deux méthodes pratiques :

Mélange de KL : Une combinaison pondérée de KL directe et inverse à chaque préfixe. Les auteurs constatent que dans la distillation sur longues séquences, un mélange lourd en KL directe est crucial. Il conserve les avantages de précision de la KL inverse tout en empêchant l'effondrement de l'entropie et l'inflation de longueur, stabilisant ainsi la dynamique d'entraînement.
Curriculum de Longueur à Portière d'Entropie : Un calendrier d'entraînement qui commence par des horizons courts et n'augmente la longueur de séquence que tant que l'entropie prédictive reste au-dessus d'un seuil de stabilité. Cette approche évite l'effondrement de l'entropie associé à un entraînement fixe sur de longs horizons.

Résultats

Distillation Autonome

La KL inverse surpasse généralement la KL directe en précision autonome (Avg@k), avec des gains moyens de +2,45 points.
Les Préfixes d'élève surpassent les Préfixes d'enseignant en précision, en particulier dans les configurations sur longues séquences (gain de +3,55 Avg@k).
Effondrement de l'Entropie : La KL inverse pure dans les configurations sur longues séquences pousse l'entropie près de zéro et provoque une inflation des longueurs de réponse jusqu'à la limite maximale (par exemple, 8192 tokens), dégradant le Pass@k.

Distillation puis RL (GRPO)

Stabilité de l'Initialisation : Les modèles initialisés avec une KL directe (même si leur précision autonome est plus faible) montrent une amélioration plus fiable pendant le GRPO car ils conservent une entropie plus élevée.
Piège de la KL Inverse : Les modèles initialisés avec une KL inverse commencent souvent avec une meilleure précision mais se dégradent ou stagnent pendant le RL en raison d'une faible entropie et d'une capacité d'exploration réduite.
Succès du Curriculum : Le curriculum de longueur à portière d'entropie améliore considérablement les performances. Par rapport à un entraînement fixe sur 4096 tokens, il a amélioré Avg@k de 3,6 points et Pass@k de jusqu'à 5,8 points, tout en réduisant la longueur moyenne des réponses d'environ 3 fois (par exemple, de ~8185 à ~2688 tokens).

Résultats du Mélange de KL

Dans les configurations sur longues séquences, un mélange avec un poids élevé de KL directe (par exemple, 0,8 Directe / 0,2 Inverse) a conservé la majeure partie de la précision de la KL inverse tout en stabilisant l'entropie et en empêchant l'inflation de longueur.

Importance et Revendications

L'article revendique fournir un cadre théorique unifié qui relie des recettes d'entraînement disparates (SFT, DAgger, RL hors-ligne, OPD) comme des instances spécifiques de deux choix de conception orthogonaux. En découplant la source du préfixe et la direction de la KL, les auteurs soutiennent que les praticiens peuvent dépasser les paradigmes rigides pour concevoir des objectifs de distillation de raisonnement qui équilibrent explicitement :

La Précision (via KL inverse et longues séquences),
La Diversité/Exploration (via KL directe et préservation de l'entropie),
L'Efficacité Calculatoire (via préfixes d'enseignant/mise en cache), et
L'Entraînabilité RL en Aval (via une entropie stable).

Les méthodes proposées (mélange de KL et curriculum à portière d'entropie) sont présentées comme des outils pratiques pour naviguer dans les compromis identifiés, permettant l'entraînement de modèles de raisonnement plus petits qui sont à la fois précis et stables pour une optimisation de politique ultérieure. Les auteurs soulignent que le « meilleur » objectif autonome n'est pas nécessairement la meilleure initialisation pour un pipeline RL, mettant en évidence la nécessité d'une vue holistique du processus de post-entraînement.