🤖 machine learning

Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level

Ce papier propose la distillation asymétrique en ligne (AOPD), un nouveau cadre d'entraînement qui remédie aux faiblesses structurelles de la distillation en ligne standard en remplaçant le renforcement négatif inefficace par une minimisation de la divergence localisée, permettant ainsi d'obtenir des performances supérieures en raisonnement mathématique et en adaptation à l'utilisation d'outils tout en maintenant une entropie de politique plus élevée.

Auteurs originaux : Nan Jia, Haojin Yang, Xing Ma, Jiesong Lian, Shuailiang Zhang, Weipeng Zhang, Ke Zeng, Xunliang Cai, Zequn Sun

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nan Jia, Haojin Yang, Xing Ma, Jiesong Lian, Shuailiang Zhang, Weipeng Zhang, Ke Zeng, Xunliang Cai, Zequn Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti (l'IA « élève ») comment résoudre des énigmes mathématiques complexes en observant un grand maître (l'IA « professeur »).

Pendant longtemps, la méthode standard consistait à laisser l'apprenti essayer de résoudre l'énigme par lui-même. S'il réussissait une étape, le professeur lui donnait une tape dans le dos. S'il se trompait à une étape, le professeur lui lançait un « non » sévère. Cela s'appelle la Distillation On-Policy.

Cependant, les auteurs de cet article ont découvert que ce système de « tape dans le dos ou non » présente trois défauts majeurs qui rendent l'apprentissage lent et frustrant :

Le problème du « Cri » (Variance élevée) : Lorsque l'apprenti commet une erreur vraiment grave, le « non » du professeur est si fort et si dur (mathématiquement parlant, le signal est énorme et non borné) qu'il effraie l'apprenti. Au lieu d'apprendre une correction spécifique, l'apprenti se confond et fait des sauts sauvages et imprévisibles dans sa réflexion.
Le problème du « Silence » (Disparition des gradients) : La plupart du temps, les étapes de l'apprenti sont juste « correctes » — ni excellentes, ni terribles. Dans l'ancien système, le professeur émet un signal neutre du genre « bof ». Parce que ce signal est si faible, l'apprenti n'apprend rien de ces moments, même si le professeur possède en réalité une meilleure façon de faire. Le processus d'apprentissage s'arrête net.
Le problème du « Point aveugle » (Trous noirs de l'exploration) : Si l'apprenti reste coincé dans une impasse, l'ancien système lui dit seulement ne pas emprunter cette voie. Il ne lui dit pas où aller à la place. L'apprenti reste à tourner en rond, devinant aveuglément de nouveaux chemins parce qu'il ignore que le chemin correct existe.

La Solution : AOPD (L'approche du « Tuteur Intelligent »)

L'article propose une nouvelle méthode appelée Distillation Asymétrique On-Policy (AOPD). Imaginez cela comme un tuteur qui change de style d'enseignement selon la situation.

Au lieu d'utiliser la même règle « tape dans le dos/non » pour tout, l'AOPD utilise deux modes différents :

Mode 1 : Le Cheerleader (Exploitation) : Lorsque l'apprenti fait quelque chose que le professeur apprécie (une étape « positive »), le système agit comme l'ancienne méthode. Il dit : « Super travail ! Continue exactement comme ça ! » Cela renforce les bons comportements.
Mode 2 : Le GPS (Imitation) : Lorsque l'apprenti est coincé, fait une erreur, ou fait simplement quelque chose de « correct » (étapes non positives), le système arrête le « non » dur et le « bof » faible. Au lieu de cela, il affiche instantanément une carte. Il dit : « Arrête de deviner. Regarde la carte du professeur. Voici le chemin exact que le professeur emprunterait depuis cet endroit précis. »

Pourquoi Cela Fonctionne Mieux

Les auteurs ont testé cette méthode sur des compétitions mathématiques difficiles (comme l'AIME et le HMMT) en utilisant différentes tailles de modèles d'IA. Voici ce qu'ils ont constaté :

Apprentissage plus intelligent : En passant au mode « GPS » lorsque les choses se compliquent, l'apprenti n'est ni effrayé par les grosses erreurs ni ennuyé par les réponses neutres. Il reçoit des directions précises et utiles exactement au moment où il en a besoin.
Plus rapide et plus fort : La nouvelle méthode a systématiquement battu l'ancienne méthode « tape dans le dos/non ». En fait, lorsque l'apprenti commençait avec de faibles compétences (une « initialisation faible »), la nouvelle méthode l'a aidé à rattraper son retard beaucoup plus vite, obtenant environ 8 % de réponses correctes en plus que l'ancienne méthode.
Meilleure mémoire : Lorsque l'apprenti apprenait une nouvelle compétence (comme l'utilisation d'outils) après avoir maîtrisé les mathématiques, l'ancienne méthode lui faisait oublier ses compétences mathématiques. La nouvelle méthode (AOPD) agissait comme une éponge flexible ; elle apprenait la nouvelle compétence liée aux outils sans effacer les connaissances mathématiques qu'il possédait déjà.

La Vue d'Ensemble

En termes simples, l'article soutient que vous ne devriez pas traiter chaque moment d'apprentissage de la même manière.

Lorsque les choses vont bien, encouragez l'élève à continuer à explorer par lui-même.
Lorsque les choses vont mal ou sont juste « bof », arrêtez le jeu de devinettes et montrez directement à l'élève la meilleure méthode du professeur.

En mélangeant « laissez-les essayer » et « montrez-leur la réponse » aux moments appropriés, l'IA apprend plus vite, fait moins d'erreurs et se souvient mieux de ce qu'elle a appris.

Résumé Technique : Distillation Asymétrique en Ligne (AOPD)

1. Énoncé du Problème

La distillation en ligne (OPD) est devenue une technique puissante pour entraîner des modèles de langage de grande taille (LLM) étudiants en exploitant des feedbacks au niveau des tokens provenant d'un modèle enseignant sur des trajectoires générées par l'étudiant. Contrairement à la distillation hors ligne, qui souffre de biais d'exposition, l'OPD aligne l'étudiant sur la distribution de l'enseignant lors des déroulements au moment de l'inférence. Cependant, les auteurs identifient que l'OPD standard, qui repose sur un gradient de politique pondéré par l'avantage, souffre de trois faiblesses structurelles critiques dans les régions à avantage non positif :

Mises à jour à forte variance : Dans les régions où la probabilité de l'étudiant est significativement inférieure à celle de l'enseignant (avantage négatif), la nature logarithmique de la formulation de l'avantage crée des valeurs scalaires non bornées. Cela conduit à des distributions de gradients à queues lourdes et à une optimisation instable.
Gradients disparaissants : Une vaste majorité des tokens générés se concentrent souvent autour d'un avantage nul. Dans ces régions « neutres », la mise à jour standard pondérée par l'avantage s'annule, jetant l'information riche de la distribution conditionnelle fournie par l'enseignant concernant les chemins de raisonnement alternatifs.
Goulots d'étranglement d'exploration (Trous noirs) : Lorsqu'un étudiant commet une erreur (avantage négatif), la mise à jour standard supprime le token échantillonné mais redistribue la masse de probabilité strictement selon l'a priori actuel de l'étudiant. Si le token correct a une probabilité a priori proche de zéro dans le modèle étudiant, la mise à jour corrective est négligeable. Cela piège le modèle dans un « trou noir d'exploration », l'empêchant de découvrir des alternatives correctes sans guidance externe.

2. Méthodologie : Distillation Asymétrique en Ligne (AOPD)

Pour remédier à ces limitations, les auteurs proposent la Distillation Asymétrique en Ligne (AOPD). Ce cadre comble le fossé entre l'apprentissage par renforcement (exploitation) et l'apprentissage supervisé (imitation) en basculant dynamiquement les modes d'apprentissage au niveau du token en fonction du signal d'avantage.

Mécanisme Central

L'AOPD décompose l'objectif d'entraînement en deux régimes distincts :

Régions à Avantage Positif (Exploitation) : Lorsque le token étudiant reçoit un avantage positif ( $A_t > 0$ ), la méthode conserve la mise à jour standard du gradient de politique. Cela renforce l'exploration réussie là où le raisonnement de l'étudiant s'aligne avec ou dépasse la préférence de l'enseignant.
Régions à Avantage Non Positif (Imitation) : Lorsque l'avantage est nul ou négatif ( $A_t \le 0$ ), l'AOPD remplace le gradient de politique inefficace par une minimisation de divergence localisée.

L'Objectif d'Intervention

Au lieu de s'appuyer sur l'avantage scalaire, l'AOPD minimise la Divergence KL Vers l'Avant entre les distributions de l'enseignant et de l'étudiant, mais restreinte à un Support Défini par l'Enseignant.

Support de l'Enseignant ( $S_t$ ) : Défini comme les $K$ tokens ayant la probabilité la plus élevée sous la distribution de l'enseignant $P_T(\cdot | c_t)$ .
Fonction de Perte : Sur ce support, la perte est formulée comme suit :
$L_{FKL}^t = \frac{1}{K} \sum_{v \in S_t} P_T(v | c_t) (\log P_T(v | c_t) - \log P_S(v | c_t))$
Objectif Généralisé : La perte totale AOPD combine le terme de renforcement positif ( $L_{Pos}$ ) avec la guidance KL Vers l'Avant pour les régions non positives. Un paramètre de seuil $\tau$ peut être utilisé pour déclencher l'intervention, avec $\tau=0$ comme paramétrage par défaut pour cibler exactement le régime non positif.

Justification Théorique

Mises à jour Bornées : En basculant vers le KL Vers l'Avant sur un support borné, l'amplitude de la mise à jour est contrainte par le simplexe de probabilité ( $P_T - P_S$ ), éliminant la variance à queues lourdes causée par les différences de log-probabilité non bornées.
Récupération des Gradients : Dans les régions à avantage nul, le terme KL Vers l'Avant utilise la distribution conditionnelle complète de l'enseignant, fournissant des signaux de correction significatifs même lorsque l'avantage scalaire est nul.
Échappement des Trous Noirs : En faisant correspondre explicitement la distribution de l'enseignant sur le support, l'AOPD injecte des signaux directionnels vers les tokens favorisés par l'enseignant mais sous-estimés par l'étudiant, brisant efficacement le goulot d'étranglement de l'exploration.

3. Contributions Clés

Analyse des Limites de l'OPD : L'article fournit une analyse théorique et empirique démontrant que les mises à jour standard basées sur l'avantage échouent dans les régions à avantage négatif et nul en raison d'une forte variance, de gradients disparaissants et de goulots d'étranglement d'exploration.
Cadre AOPD : La proposition d'un cadre d'entraînement asymétrique qui bascule de manière adaptative du gradient de politique pondéré par l'avantage vers un appariement localisé de la distribution de l'enseignant. Cette conception préserve les avantages de l'exploitation basée sur l'apprentissage par renforcement tout en appliquant une supervision forte et dirigée aux goulots d'étranglement de l'optimisation.
Validation Empirique : Des expériences complètes à travers plusieurs échelles de modèles et configurations d'initialisation montrent que l'AOPD surpasse systématiquement l'OPD standard et d'autres bases de référence (SeqKD, GKD, ExOPD).

4. Résultats Expérimentaux

Les auteurs ont évalué l'AOPD sur des benchmarks de raisonnement mathématique de niveau compétition (AIME 2024, AIME 2025, HMMT 2025) en utilisant des modèles Qwen3 (4B et 8B) avec des étapes de préchauffage SFT variables.

Gains de Performance : L'AOPD a systématiquement obtenu les meilleures performances globales.
- Sous initialisation forte (3K étapes de préchauffage SFT), l'AOPD a amélioré le Pass@1 moyen de 4,09 % par rapport à l'OPD standard.
- Sous initialisation faible (1K étapes de préchauffage SFT), le gain a été encore plus significatif à 8,34 %, démontrant la robustesse de l'AOPD lorsque les modèles étudiants commencent avec des capacités fondamentales plus faibles.
Dynamique d'Entraînement : L'AOPD a présenté des courbes d'entraînement stables sans la dégradation initiale des performances observée dans l'OPD et l'ExOPD. Elle a maintenu une entropie de politique plus élevée tout au long de l'entraînement, indiquant un espace de politique moins concentré.
Apprentissage Continu : Dans les tâches d'adaptation séquentielle à l'utilisation d'outils, l'AOPD a démontré une capacité supérieure de rétention. Alors que d'autres méthodes ont subi des baisses de performance en raisonnement mathématique après l'apprentissage de nouveaux outils, l'AOPD a en fait amélioré sa rétention en mathématiques (de 67,43 à 68,04 Pass@4) tout en atteignant des taux de réussite d'utilisation d'outils compétitifs.

5. Importance et Revendications

L'article revendique que l'AOPD représente une avancée significative dans la distillation des capacités de raisonnement en résolvant les inefficacités structurelles de la distillation en ligne standard. Les auteurs soutiennent que :

L'Asymétrie est Cruciale : Traiter différemment les régions à avantage positif et non positif est essentiel. Les régions positives bénéficient de l'exploration de style RL, tandis que les régions non positives nécessitent la guidance directe et haute fidélité de l'imitation supervisée pour éviter la stagnation de l'optimisation.
Robustesse à l'Initialisation : La méthode est particulièrement efficace pour les modèles avec des capacités initiales plus faibles, où l'OPD standard échoue souvent à se remettre d'une dégradation précoce de l'optimisation.
Préservation des Capacités : En localisant l'intervention de l'enseignant sur des positions difficiles plutôt que de remodeler l'ensemble de la politique, l'AOPD préserve mieux les compétences de raisonnement acquises précédemment lors de l'apprentissage continu.

Les auteurs concluent que la combinaison de l'exploitation (RL) et de l'imitation (apprentissage supervisé) au niveau du token offre une voie principielle pour améliorer à la fois l'efficacité de l'entraînement et les capacités finales des modèles étudiants, en particulier dans les tâches de raisonnement complexe.