💬 NLP

Pass the Baton: Trajectory-Relayed On-Policy Distillation

L'article introduit Relay-OPD, une nouvelle méthode de distillation on-policy qui atténue l'échec de préfixe en déclenchant dynamiquement des interventions de l'enseignant pour corriger les déviations de trajectoire de l'étudiant, atteignant ainsi des performances de pointe sur les benchmarks de raisonnement mathématique tout en réduisant considérablement la longueur de la trajectoire d'entraînement.

Auteurs originaux : Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où de gigantesques ordinateurs ultra-intelligents (appelés Modèles de Langage Étendus ou LLM) apprennent à résoudre des énigmes complexes, comme des problèmes mathématiques ou des casse-têtes logiques. Pour les enseigner, nous utilisons souvent une configuration « professeur-élève ». Le professeur est un modèle massif et puissant qui connaît les réponses, et l'élève est un modèle plus petit et plus rapide qui tente d'apprendre du professeur. Habitéralement, le professeur écrit simplement la solution parfaite, et l'élève la recopie. Mais il existe une méthode plus intelligente appelée Distillation On-Policy. Au lieu de simplement copier un essai terminé, l'élève essaie d'écrire la solution lui-même. S'il se retrouve bloqué ou s'il prend un mauvais chemin, le professeur intervient pour guider le prochain mot, là, sur le moment même. C'est excellent car cela apprend à l'élève comment réfléchir, et pas seulement quoi mémoriser.

Cependant, cette méthode présente une faille délicate. Si l'élève commet une erreur tôt dans le processus — comme prendre un mauvais tournant dans un labyrinthe — le professeur tente de guider le reste du voyage. Mais parce que l'élève est déjà égaré, les directives du professeur deviennent souvent confuses ou peu fiables, et l'élève continue de s'égarer davantage. C'est comme donner des indications à quelqu'un alors qu'il conduit déjà dans la mauvaise direction ; plus il conduit, plus il est confus. Ce document s'attaque à ce problème spécifique : comment empêcher l'élève de s'égarer irrémédiablement avant que l'aide du professeur ne devienne inutile ?

La course de relais du raisonnement

Les auteurs de ce document, travaillant avec des modèles de la famille Qwen, ont réalisé que lorsque le modèle élève commence à dérailler, le professeur et l'élève commencent en réalité à être en désaccord sur ce qu'il faut faire ensuite. L'élève, obstinément attaché à sa mauvaise idée, veut continuer tout droit. Le professeur, voyant l'erreur, veut s'arrêter, réfléchir et changer de direction.

Ils appellent ce moment de désaccord un « déclencheur de passage de témoin » (handoff trigger). Imaginez cela comme une course de relais. Dans une course standard, si le coureur (l'élève) trébuche et commence à courir dans la mauvaise direction, l'entraîneur (le professeur) peut simplement crier des instructions depuis la ligne de touche, mais le coureur continue de trébucher. Dans cette nouvelle méthode, appelée Relay-OPD, au moment où l'entraîneur voit le coureur se diriger vers une falaise, l'entraîneur intervient, saisit le témoin et court quelques pas dans la bonne direction pour réinitialiser la trajectoire du coureur. Ensuite, l'entraîneur redonne le témoin, et l'élève continue la course, désormais sur la bonne voie.

Comment ça marche : Les jetons « Mais » et « Attendez »

Le système est ingénieux car il n'a pas besoin d'un humain pour lui dire quand une erreur se produit. Il surveille les probabilités. Si le professeur est très susceptible de dire un mot de « réflexion » comme « Mais », « Attendez » ou « Cependant » (qui signalent un changement de pensée), mais que l'élève est susceptible de dire « Donc » ou « Maintenant » (qui signalent la poursuite de la pensée actuelle), le système sait : Nous sommes hors de la trajectoire !

À cet instant précis, le professeur prend le contrôle pour une courte « étape » du voyage. Le professeur écrit un court paragraphe pour corriger le raisonnement, puis rend le contrôle à l'élève. L'élève termine ensuite le reste du problème, en apprenant de la trajectoire corrigée.

Les chercheurs ont découvert que cette intervention n'a pas besoin d'être longue. En fait, le professeur n'a besoin d'écrire que 0,35 % du total des mots pour faire une énorme différence. C'est comme un entraîneur donnant une seule impulsion vive pour corriger la forme d'un coureur, plutôt que de courir toute la course pour lui.

Les résultats : Plus intelligents et plus rapides

L'équipe a testé cela sur huit benchmarks mathématiques différents, en utilisant des modèles élèves de différentes tailles (0,6 milliard et 1,7 milliard de paramètres) et un professeur de 4 milliards de paramètres. Les résultats sont impressionnants :

De meilleurs scores : Les élèves Relay-OPD ont obtenu des scores nettement plus élevés que ceux utilisant les méthodes standards. Pour le modèle de 1,7 milliard de paramètres, cela a amélioré le score moyen de 5,73 % par rapport à la méthode standard et a battu le meilleur concurrent de 1,49 %.
Moins de temps gaspillé : Parce que le système empêche l'élève de s'égarer dans des impasses, le processus d'entraînement est devenu beaucoup plus efficace. La longueur moyenne des trajectues d'entraînement a été réduite de plus de 50 %. Les élèves ont appris autant en deux fois moins de temps.
L'importance de l'« étape » : Les chercheurs ont prouvé que la courte correction du professeur (l'étape du professeur) était cruciale. Simplement arrêter l'élève lorsqu'il faisait une erreur (sans que le professeur ne la corrige d'abord) ne fonctionnait pas aussi bien. Le professeur devait montrer à l'élève comment revenir sur la bonne voie.

Ce que ce n'est pas

Le document prend soin de montrer ce que cette méthode n'est pas. Il ne s'agit pas seulement de couper les réponses longues prématurément (comme d'autres méthodes l'ont tenté), ni de réécrire l'intégralité de l'essai de l'élève une fois terminé. C'est une correction en temps réel, « sur le moment ». Cela ne consiste pas non plus à ce que le professeur prenne le contrôle de toute la course ; l'élève fait toujours la majeure partie du travail. Le professeur n'intervient que pour ces brèves et critiques séquences de contrôle lorsque l'élève est sur le point de commettre une erreur permanente.

En bref, Relay-OPD est comme un filet de sécurité qui rattrape un élève en train de tomber juste avant qu'il ne touche le sol, le redirige doucement, et le laisse continuer à courir. Cela transforme un désastre potentiel en un moment d'apprentissage, rendant les modèles d'IA plus intelligents, plus rapides et moins susceptibles de s'égarer dans leurs propres pensées.

Résumé Technique : Relay-OPD (Passer le témoin)

1. Énoncé du Problème : Échec de Préfixe dans la Distillation On-Policy

La distillation on-policy (OPD) améliore le transfert de connaissances des modèles enseignants puissants vers des modèles étudiants plus faibles en ancrant la supervision au niveau du jeton (token) dans les propres trajectoires générées par l'étudiant. Cependant, cette approche souffre d'un défaut critique appelé échec de préfixe (prefix failure). Dans les tâches de raisonnement à chaîne longue, si un modèle étudiant s'engage trop tôt dans une mauvaise direction de raisonnement, tous les jetons suivants se construisent sur cet écart. Cela produit des continuations longues et mal dirigées qui :

Provoquent une supervision peu fiable et potentiellement nocive de la part de l'enseignant.
Gaspillent une puissance de calcul substantielle sur des trajectoires qui ne peuvent être corrigées.

Les remèdes existants présentent des limitations structurelles :

Troncation à longueur fixe (ex. FastOPD, ESR) : Coupe les déploiements à des positions rigides, sans tenir compte de l'endroit où l'échec de raisonnement réel se produit.
Réécriture hors ligne (ex. TRD) : Répare les trajectoires uniquement après achèvement, laissant souvent des artefacts visibles.
Mélange au niveau du jeton (ex. SKD) : Effectue une commutation basée sur un désaccord distributionnel générique plutôt que sur des signaux explicites d'échec de raisonnement.

Il manque un mécanisme capable d'agir en ligne (online), corrigeant les échecs au moment où ils émergent, et intervenant spécifiquement sur l'état du raisonnement lui-même.

2. Méthodologie : Relay On-Policy Distillation (Relay-OPD)

Les auteurs proposent Relay-OPD, une méthode qui entrelace la génération de l'étudiant avec de brèves prises de contrôle ciblées de l'enseignant lors des points de détection de défaillance.

2.1 Intuition Fondamentale : Asymétrie de Continuation Enseignant-Étudiant

La méthode repose sur une asymétrie observée sur les préfixes défaillants :

L'Étudiant : A tendance à continuer selon la direction actuelle (erronée).
L'Enseignant : A tendance à s'arrêter, à réexaminer et à rediriger le raisonnement (en utilisant souvent des jetons de "réflexion" comme Mais, Attendez, Cependant).

Cette divergence sert de déclencheur de passage de témoin sans étiquette (label-free handoff trigger). Lorsque le jeton suivant le plus probable de l'enseignant est un jeton de réflexion, mais que l'ensemble de support top- $K$ de l'étudiant ne contient aucun de ces jetons, un passage de témoin est déclenché.

2.2 Construction de la Trajectoire de Relais

Lorsqu'un déclencheur est activé, l'enseignant prend brièvement le relais pour produire une jambe d'enseignant (teacher leg), après quoi l'étudiant reprend la génération.

Déclencheur de passage (Handoff Trigger $\phi(h)$ ) : Défini comme $1[a_T(h) \in \mathcal{R}] \cdot 1[K_S(h) \cap \mathcal{R} = \emptyset]$ , où $\mathcal{R}$ est l'ensemble des jetons de réflexion, $a_T$ est le jeton principal de l'enseignant, et $K_S$ est l'ensemble top- $K$ de l'étudiant.
Budget de Relais ( $M, L$ ) : Pour éviter que la trajectoire ne s'éloigne trop de la politique de l'étudiant, un budget limite l'intervention :
- $M$ : Nombre maximum de prises de contrôle de l'enseignant.
- $L$ : Nombre de paragraphes supplémentaires générés par l'enseignant après le jeton de réflexion.
Processus : L'étudiant génère de manière autoregressive. Lors de la détection d'un déclencheur (et si le budget le permet), l'enseignant génère $L$ paragraphes (en commençant par le jeton de réflexion). L'étudiant reprend ensuite la génération à partir du préfixe corrigé.

2.3 Objectif d'Optimisation

Relay-OPD optimise la politique de l'étudiant sur la trajectoire de relais $z$ résultante. Contrairement à l'OPD standard qui utilise les jetons originaux de l'étudiant, Relay-OPD utilise les jetons réellement générés $z_t$ de la trajectoire de relais (incluant les jetons générés par l'enseignant).
L'objectif utilise un avantage à échantillon unique de type reverse-KL :
$A_t^{Relay} = \log \pi_T(z_t | h_t^z) - \log \bar{\pi}_\theta(z_t | h_t^z)$
Ceci est optimisé via une perte de type PPO avec écrêtage (clipped PPO), permettant à l'étudiant d'absorber sélectivement les signaux correctifs de l'enseignant plutôt que de s'ajuster totalement à la distribution de l'enseignant.

2.4 Implémentation Efficace

Pour éviter la surcharge liée au basculement entre deux pipelines de génération, Relay-OPD unifie le processus au sein d'un moteur de décodage spéculatif unique :

L'Étudiant agit comme le modèle de brouillon (draft model).
L'Enseignant agit comme le modèle cible (target model).
Le moteur bascule dynamiquement la politique cible ( $\pi_{tgt}$ ) entre l'étudiant et l'enseignant selon l'état actuel (jambe Étudiant vs jambe Enseignant).
Les jambes de l'enseignant effectuent un décodage spéculatif standard contre l'enseignant, tandis que les jambes de l'étudiant acceptent tous les brouillons. Cela garantit que l'identité distributionnelle de la trajectoire de relais est préservée exactement.

3. Contributions Clés

Identification de l'Asymétrie : L'article identifie que la divergence enseignant-étudiant sur les préfixes défaillants est un signal fiable et sans étiquette pour l'intervention. Les expériences montrent que corriger l'échec de préfixe nécessite seulement une intervention précoce et locale, les jetons de l'enseignant ne représentant que 0,35 % du total des jetons générés.
Cadre Relay-OPD : Une nouvelle méthode qui convertit cette asymétrie en un déploiement de relais budgétisé, unifiant la génération étudiant et enseignant dans un seul moteur de décodage spéculatif.
Supériorité Empirique : Démontrée sur huit benchmarks de raisonnement mathématique et deux échelles d'étudiants (0,6B et 1,7B).

4. Résultats Expérimentaux

Les auteurs ont évalué Relay-OPD en utilisant Qwen3-4B-Instruct-2507 comme enseignant et Qwen3-0.6B/1.7B-Non-Thinking comme étudiants sur huit benchmarks (AIME 2024/2025/2026, MATH500, AMC 2023, OlympiadBench, HMMT Feb/Nov).

Performance :
- Étudiant 1.7B : A obtenu les meilleurs résultats ou les deuxièmes meilleurs résultats sur tous les benchmarks.
  - Précision moyenne : 46,96 % (contre 41,23 % pour l'OPD standard, soit une amélioration de +5,73 %).
  - Surpasse le benchmark le plus fort, FastOPD, de +1,49 %.
- Étudiant 0.6B : Gains constants, améliorant la précision moyenne de +3,01 % par rapport à l'OPD standard.
Efficacité :
- Longueur d'entraînement : Réduction de la longueur moyenne de la trajectoire d'entraînement de >50 % (de 4 658 à 2 296 jetons pour le 1.7B).
- Convergence : Atteint le meilleur checkpoint en moins d'étapes (Étape 35 contre Étape 55 pour l'OPD).
- Inférence : Réduction de la longueur moyenne des réponses de 14 à 28 % par rapport à FastOPD tout en améliorant la précision.
Études d'Ablation :
- Nécessité de la jambe d'enseignant : Le simple fait de s'arrêter au déclencheur (Trigger-stop) donnait une précision de 43,48 % ; l'ajout de la jambe d'enseignant ( $L=3$ ) l'a élevée à 46,25 %, prouvant la valeur du contexte corrigé.
- Objectif : L'objectif de type reverse-KL sur les jetons générés a surpassé à la fois les objectifs "Student Draft Token" et "Teacher FKL", confirmant le bénéfice d'une absorption sélective des signaux correctifs.

5. Signification et Revendications

L'article affirme que l'échec de préfixe est un goulot d'étranglement fondamental dans la distillation on-policy que les méthodes existantes de troncation ou de réécriture ne parviennent pas à traiter de manière dynamique. Relay-OPD répond à cela en :

Agissant en ligne : Corrigeant les échecs au moment où ils émergent plutôt qu'a posteriori.
Minimisant l'intervention : En utilisant une approche de "relais" où l'enseignant n'intervient que brièvement pour rediriger, gardant la trajectoire proche de la distribution de la politique de l'étudiant.
Efficacité : Réduisant considérablement le coût de calcul de l'entraînement en raccourcissant les trajectoires et en évitant le calcul gaspillé sur des erreurs irrécupérables.

Les auteurs concluent que Relay-OPD offre un mécanisme robuste et sans étiquette pour la distillation forte-vers-faible dans les tâches de raisonnement, atteignant des résultats de pointe tout en réduisant drastiquement les coûts d'entraînement.