🤖 AI

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

L'article propose la Step-Level On-Policy Distillation (SOPD), une nouvelle méthode qui interpole entre le Supervised Fine-Tuning et l'On-Policy Distillation pour fournir des corrections complètes, au niveau de chaque étape, sur les trajectoires générées par l'étudiant, surpassant ainsi substantiellement les deux approches conventionnelles dans les tâches de raisonnement et d'agent.

Auteurs originaux : Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les grands modèles de langage sont souvent comparés à des étudiants qui doivent apprendre d'un enseignant. Pendant des années, la méthode standard pour enseigner à ces étudiants numériques a consisté à leur montrer des exemples parfaits écrits par un expert et à leur demander de mémoriser la séquence. Cette méthode, connue sous le nom de réglage fin supervisé (supervised fine-tuning), est efficace mais rigide ; elle suppose que l'étudiant suivra toujours parfaitement le chemin de l'expert, ignorant les erreurs que l'étudiant est réellement enclin à commettre. Une approche plus récente, appelée distillation on-policy, tente de remédier à cela en laissant l'étudiant générer ses propres réponses, puis en le corrigeant jeton par jeton au fur et à mesure. Bien que cela permette à l'étudiant d'apprendre de ses propres erreurs, cela crée un problème différent : les corrections sont si fragmentées que l'étudiant ne voit jamais un chemin complet et cohérent vers la bonne réponse. C'est comme essayer d'apprendre à conduire en recevant une instruction d'un seul mot chaque fois que vous touchez le volant, plutôt que de voir comment négocier tout un virage.

Des chercheurs ont maintenant développé une nouvelle méthode d'entraînement qui comble ce fossé, combinant le meilleur des deux mondes. En introduisant une technique appelée distillation on-policy au niveau des étapes (Step-Level On-Policy Distillation), l'équipe permet à l'étudiant de compléter une pensée complète ou une séquence d'actions par lui-même, puis demande à l'enseignant de fournir une correction unique et cohérente pour chaque étape majeure de ce parcours. Cette approche a été testée sur des tâches complexes allant de la résolution de problèmes mathématiques difficiles à la navigation dans des environnements domestiques virtuels. Les résultats montrent que cette méthode aide l'étudiant à apprendre de manière nettement plus rapide et plus précise que les techniques précédentes, atteignant des taux de réussite qui étaient auparavant hors de portée pour des modèles de cette taille. La découverte clé est qu'en découpant le processus d'apprentissage en segments naturels et significatifs plutôt qu'en mots individuels ou en corrections aléatoires, le modèle peut comprendre non seulement quelle est la bonne réponse, mais aussi comment y parvenir à partir des erreurs spécifiques qu'il a commises.

Le cœur de cette nouvelle méthode réside dans la façon dont elle gère l'interaction entre le modèle étudiant et l'enseignant. Dans l'approche traditionnelle de la distillation on-policy, l'enseignant examine le travail de l'étudiant et propose une minuscule correction pour chaque mot généré. Si l'étudiant commet une erreur tôt dans le processus, l'enseignant essaie de la corriger mot par mot, mais l'étudiant est toujours bloqué dans un état de confusion, essayant de suivre un chemin brisé. La nouvelle méthode, la distillation on-policy au niveau des étapes, change le rythme de cette interaction. D'abord, l'étudiant est autorisé à générer une réponse complète ou une séquence complète d'actions sans interruption. Une fois que l'étudiant a terminé, le système décompose cette réponse en étapes naturelles, comme une phrase complète dans une démonstration mathématique ou un tour de conversation complet dans un jeu.

À ce stade, l'enseignant intervient, mais non pas pour réécrire toute l'histoire. Au lieu de cela, l'enseignant examine le point de départ de l'étudiant pour chaque étape spécifique et génère une version correcte et unique de cette étape. L'étudiant apprend alors à correspondre à cette étape correcte tout en conservant le reste de son propre contexte original. Cela signifie que l'étudiant apprend à corriger sa propre trajectoire sans que l'enseignant ne prenne le contrôle de l'ensemble du processus. L'enseignant fournit un guide clair et local pour chaque partie du voyage, garantissant que l'étudiant voit un chemin logique et complet à partir de l'endroit exact où il a échoué. Cela préserve l'expérience de l'étudiant face à l'erreur tout en lui donnant un moyen structuré de les corriger.

Les chercheurs ont testé cette approche dans deux environnements très différents pour voir si elle tenait la route. Le premier test impliquait un agent naviguant dans une maison simulée, une tâche connue sous le nom d'ALFWorld. Dans cet environnement, le modèle devait trouver comment accomplir des tâches comme trouver une clé ou nettoyer une pièce en interagant avec un monde textuel. L'équipe a utilisé un modèle enseignant puissant pour guider un modèle étudiant plus petit. Lorsqu'ils ont comparé la nouvelle méthode au style de correction par jeton (token-by-token) de l'ancienne méthode, les résultats ont été frappants. L'étudiant entraîné avec la nouvelle méthode a amélioré son taux de réussite de plus de 18 points de pourcentage sur les tâches qu'il avait déjà vues et de plus de 21 points de pourcentage sur les tâches qu'il n'avait jamais vues. De plus, il a accompli ces tâches en moins de tentatives, montrant qu'il ne se contentait pas de mieux deviner, mais apprenait des manières plus efficaces de résoudre les problèmes.

Le second test s'est concentré sur le raisonnement mathématique, un domaine où la cohérence logique est primordiale. Ici, les modèles ont été invités à résoudre des problèmes mathématiques de niveau compétition. Les chercheurs ont constaté que la nouvelle méthode permettait à l'étudiant d'organiser sa pensée en étapes plus claires et plus structurées. À mesure que l'entraînement progressait, l'étudiant commençait à générer des étapes de raisonnement plus distinctes, et les corrections de l'enseignant devenaient plus riches et plus détaillées. Sur quatre benchmarks mathématiques différents, l'étudiant entraîné avec cette nouvelle méthode a surpassé la meilleure approche précédente de loin, améliorant sa précision moyenne de près de 10 points de pourcentage. Cela a démontré que la méthode n'était pas seulement une technique pour des tâches simples, mais un moyen robuste d'améliorer le raisonnement complexe.

L'un des avantages les plus pratiques de cette nouvelle technique est qu'elle ne nécessite pas que l'enseignant révèle ses calculs internes. Dans de nombreuses méthodes précédentes, l'étudiant avait besoin d'accéder aux scores de probabilité bruts de l'enseignant pour chaque mot, ce qui est souvent impossible si l'enseignant est un système "boîte noire" fermé. La nouvelle méthode ne nécessite que la génération de texte par l'enseignant, ce qui la rend beaucoup plus facile à appliquer à des scénarios du monde réel où les meilleurs modèles ne sont pas totalement ouverts. De plus, comme l'enseignant ne génère qu'une étape à la fois basée sur le travail existant de l'étudiant, le processus est plus rapide et évite les délais causés par l'attente de la réaction de l'environnement à chaque mouvement.

L'étude confirme que la façon dont nous structurons l'apprentissage importe autant que la qualité de l'enseignant. En s'éloignant des corrections fragmentées mot par mot pour passer à un guidage cohérent au niveau des étapes, les chercheurs ont créé une dynamique d'entraînement qui respecte le propre chemin de l'étudiant tout en fournissant une carte claire pour la correction. Cette approche combine avec succès la flexibilité de l'apprentissage par ses propres erreurs avec la clarté d'un guidage expert. Les conclusions suggèrent que pour que l'intelligence artificielle devienne plus capable et plus fiable, en particulier dans des tâches interactives complexes, nous devons concevoir des méthodes d'entraînement qui permettent aux modèles de voir l'ensemble de leurs erreurs et d'apprendre à les réparer en un seul mouvement logique.

Résumé Technique : Distillation On-Policy au Niveau des Étapes (SOPD)

1. Énoncé du Problème

Le papier traite des limitations des paradigmes actuels de Distillation On-Policy (OPD) et de Fine-Tuning Supervisé (SFT) pour l'entraînement des Grands Modèles de Langage (LLM), particulièrement dans les tâches de raisonnement et d'agent.

Limitations de l'OPD standard : Bien que l'OPD aligne un modèle étudiant sur la distribution de logits d'un enseignant sur des trajectoires générées par l'étudiant (évitant ainsi le décalage de distribution d'état des méthodes off-policy), elle opère au niveau du jeton (token). Cela entraîne des « corrections fragmentées ». Lorsqu'un étudiant commet une erreur, l'enseignant fournit une guidance d'un seul jeton conditionnée par le préfixe erroné. Par conséquent, l'enseignant ne peut pas dérouler un chemin de réparation complet et cohérent ; les cibles suivantes restent conditionnées sur la trajectoire erronée originale de l'étudiant plutôt que sur une trajectoire corrigée.
Limitations du SFT standard : Le SFT fournit une supervision cohérente à long horizon, mais est intrinsèquement off-policy. Il s'entraîne sur des trajectoires générées par l'enseignant, créant un décalage entre la distribution d'état d'entraînement et les états réellement visités par l'étudiant lors de l'inférence.
Limitations des approches hybrides existantes : Des méthodes comme DAgger ou l'Expert Correction On-Policy (OEC) tentent de combler ce fossé en insérant des réponses de l'enseignant dans les trajectoires de l'étudiant. Cependant, ces approches altèrent intrinsèquement la trajectoire que l'étudiant aurait produite, changeant la distribution d'état et affaiblissant la nature on-policy de l'entraînement.

2. Méthodologie : Distillation On-Policy au Niveau des Étapes (SOPD)

Les auteurs proposent la Distillation On-Policy au Niveau des Étapes (SOPD), une méthode qui interpole entre la correction à long horizon du SFT et les avantages on-policy de l'OPD.

Mécanisme Central

La SOPD opère sur des trajectoires complètes générées par l'étudiant, mais les partitionne en étapes naturelles (par exemple, des paragraphes de raisonnement en mathématiques, ou des tours d'interaction avec l'environnement pour les agents).

Rollout de l'Étudiant : Le modèle étudiant $\pi_\theta$ génère une trajectoire complète $\tau_S = (s_1, s_2, \dots, s_K)$ , où chaque $s_k$ est une étape naturelle. La séquence de préfixes $h_k$ (l'état avant l'étape $k$ ) est enregistrée.
Requête à l'Enseignant : Après que l'étudiant a terminé la trajectoire, l'enseignant est interrogé une fois par étape. Pour chaque préfixe $h_k$ $h_{k}$ enregistré, l'enseignant génère une étape cible unique $\tilde{s}_k \sim q_T(\cdot | h_k)$ $\tilde{s}_{k} \sim q_{T} (\cdot ∣ h_{k})$ .
- Crucialement, l'enseignant génère cette cible de manière indépendante en se basant uniquement sur le préfixe de l'étudiant $h_k$ . Il ne voit pas les sorties précédentes de l'enseignant, et sa sortie n'altère pas la trajectoire de l'étudiant.
- Cela préserve l'occupation d'état de l'étudiant ( $h_k \sim d_{\pi_\theta}$ ) tout en fournissant un chemin de correction cohérent et multi-jetons pour cette étape spécifique.
Objectif d'Entraînement : L'étudiant est entraîné à prédire l'étape générée par l'enseignant $\tilde{s}_k$ étant donné le préfixe $h_k$ . La fonction de perte est une entropie croisée équilibrée par étape :
$L_{SOPD} = \frac{1}{|S_B|} \sum_{(h_k, \tilde{s}_k) \in S_B} \frac{1}{|\tilde{s}_k|} \sum_{j=1}^{|\tilde{s}_k|} -\log \pi_\theta(\tilde{s}_{k,j} | h_k, \tilde{s}_{k,<j})$
Cette formulation moyenne la perte à l'intérieur de chaque étape, puis moyenne à travers toutes les étapes, empêant les étapes longues de l'enseignant de dominer les mises à jour de gradient.

Détails d'Implémentation

Masque d'Attention Compacté (Packed Attention Mask) : Pour garantir l'efficacité, le prompt d'entrée, la trajectoire complète de l'étudiant et toutes les étapes cibles de l'enseignant sont compactés dans une seule séquence. Le masque d'attention garantit que chaque cible de l'enseignant ne peut porter attention qu'au prompt, à son préfixe d'étudiant correspondant et à ses propres jetons causaux. Les étapes futures de l'étudiant et les autres cibles de l'enseignant sont masquées.
Compatibilité Black-Box : La SOPD nécessite uniquement le texte généré par l'enseignant, et non ses logits. Cela la rend applicable aux scénarios de distillation de type boîte noire (black-box).
Génération Parallèle : Puisque les requêtes de l'enseignant sont conditionnellement indépendantes (basées sur des préfixes d'étudiant fixes), elles peuvent être générées en parallèle après le déroulement de l'étudiant, évitant la latence des interactions séquentielles enseignant-environnement.

Limites Théoriques

Les auteurs démontrent que la SOPD connecte deux limites de granularité :

Limite d'une Étape : Si l'ensemble de la réponse est traité comme une seule étape, la SOPD se réduit au SFT de séquence standard.
Limite d'un Jeton : Si chaque étape est un jeton unique, la SOPD approxime un objectif Forward-KL OPD échantillonné.

3. Contributions Clés

Proposition de la SOPD : Un nouveau paradigme de distillation qui combine la couverture de l'état on-policy de l'OPD avec la supervision cohérente multi-jetons du SFT.
Applicabilité Black-Box : Contrairement à l'OPD standard qui nécessite les logits de l'enseignant, la SOPD ne nécessite que la génération de texte de l'enseignant, ce qui la rend adaptée aux enseignants boîte noire.
Unification Théorique : Le papier établit que la SOPD se réduit mathématiquement au SFT ou approxime l'OPD Forward-KL selon la longueur de l'étape, offrant une perspective unifiée sur ces paradigmes de distillation.
Validation Empirique : Démontre la supériorité de la SOPD par rapport au SFT et à l'OPD Vanilla sur les tâches de raisonnement et d'agent.

4. Résultats Expérimentaux

Les auteurs ont évalué la SOPD sur deux domaines distincts : ALFWorld (tâches d'agent interactif) et le Raisonnement Mathématique.

ALFWorld (Interaction d'Agent)

Configuration : Distiller un étudiant de 3B (Qwen2.5-3B) à partir d'un enseignant RL de 7B (Qwen2.5-7B-RL).
Résultats : La SOPD a atteint un taux de réussite de 84,29 % sur les tâches "Valid Seen" et de 82,09 % sur les tâches "Valid Unseen".
- Cela représente une amélioration de +18,57 et +21,64 points par rapport à l'OPD Vanilla, respectivement.
- La SOPD a également réduit le nombre moyen de tours d'interaction avec l'environnement d'environ 3,5 à 4,3 par rapport à l'OPD, indiquant des politiques plus efficaces.
- Sur les tâches "Hard", la SOPD a maintenu la trajectoire d'interaction la plus courte parmi les méthodes d'étudiants tout en atteignant le taux de réussite le plus élevé.

Raisonnement Mathématique

Configuration : Distiller un étudiant de 4B sans pensée (non-thinking) à partir d'un enseignant RL de 4B (Qwen3-4B-Non-Thinking-RL-Math) en utilisant le jeu de données DeepMath.
Benchmarks : AIME24, AIME25, HMMT25 (Février) et HMMT25 (Novembre).
Résultats : La SOPD a nettement surpassé l'OPD Vanilla sur tous les benchmarks.
- Précision Moyenne : La SOPD a atteint une précision moyenne de 57,7 % contre 47,7 % pour l'OPD (un gain d'environ 10 points de pourcentage).
- Les gains spécifiques incluent +9,9 points sur AIME24 et +13,1 points sur HMMT25-Nov.
Dynamique d'Entraînement : L'analyse a montré qu'au fur et à mesure de l'entraînement, le modèle étudiant générait des étapes de raisonnement plus naturelles, et que l'enseignant fournissait une supervision plus riche (plus de jetons) par étape, indiquant que le modèle apprend à organiser des processus de raisonnement plus structurés.

5. Signification et Revendications

Le papier affirme que la SOPD offre une nouvelle perspective sur les méthodes de distillation en résolvant le compromis entre l'alignement de la distribution d'état (OPD) et la supervision cohérente (SFT).

Correction Cohérente : Contrairement à l'OPD au niveau du jeton, la SOPD permet à l'enseignant de fournir un chemin de correction complet et exécutable pour un segment spécifique de la trajectoire d'un étudiant sans altérer la trajectoire elle-même.
Efficacité : En découplant la génération de l'enseignant de l'interaction de l'étudiant avec l'environnement (dans les tâches d'agent) et en permettant des requêtes parallèles, la SOPD réduit le coût pratique de la distillation boîte noire pour qu'il soit comparable à celui du SFT standard.
Efficacité Générale : Les résultats suggèrent que la supervision au niveau des étapes est un mécanisme robuste pour améliorer tant les capacités de raisonnement que les politiques d'interaction d'agent, surpassant les bases de distillation et de fine-tuning de pointe existantes.

Les auteurs concluent que la SOPD transforme efficacement les états intermédiaires visités par l'étudiant en requêtes boîte noire pour l'enseignant, fournissant une supervision locale dense tout en préservant l'intégrité de la distribution d'état de l'étudiant.