💬 NLP

SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling

Ce document introduit la Sign-Gated On-Policy Distillation (SG-OPD), une méthode qui améliore la distillation on-policy en employant un vérificateur binaire pour filtrer les signaux de l'enseignant via un échantillonnage par phases et des contrôles de cohérence de signe, améliorant ainsi de manière significative les performances sur les benchmarks de raisonnement mathématique de niveau compétition.

Auteurs originaux : Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti (l'Étudiant) comment résoudre des énigmes mathématiques complexes. Vous avez un mathématicien maître (l'Enseignant) qui connaît les réponses, mais l'apprenti est un débutant et se perd souvent.

Le document présente une nouvelle méthode d'enseignement appelée SG-OPD. Pour comprendre pourquoi elle est spéciale, examinons les problèmes des anciennes méthodes et comment SG-OPD les résout.

Le Problème : Deux manières dont les anciennes méthodes échouent

Auparavant, les chercheurs ont essayé deux approches principales, mais toutes deux comportaient des pièges cachés :

Le Problème du "Fantôme" (Décalage de trajectoire) :
Imaginez que l'apprenti soit si novice que ses premières tentatives pour résoudre une énigme sont complètement folles et erronées. Si vous le forcez à copier immédiatement la solution parfaite du Maître, les instructions du Maître n'auront aucun sens pour l'apprenti car son point de départ est trop différent. C'est comme essayer d'enseigner le calcul à un bambin en lui montant une thèse de doctorat. Le "signal" de l'enseignant est noyé par le bruit parce que l'étudiant est trop en retard.
Le Problème du "Mauvais Conseil" (Fiabilité des jetons) :
Même lorsque l'apprenti est sur la bonne voie, le Maître n'est pas parfait à chaque étape. Parfois, le Maître peut préférer un mot ou un nombre spécifique qui mène en réalité l'étudiant loin de la bonne réponse, même si le résultat final semble correct. Si l'étudiant copie aveuglément chaque mouvement du Maître, il pourrait apprendre à prendre un mauvais tournant simplement parce que le Maître l'a dit, pour réaliser plus tard qu'il s'agissait d'une impasse.

La Solution : SG-OPD (Le Coach Intelligent)

Les auteurs proposent SG-OPD, qui agit comme un coach intelligent utilisant un Vérificateur Binaire (un simple contrôleur "Correct/Incorrect") pour décider quand faire confiance au Maître et quand l'ignorer. Cela se déroule en deux étapes :

1. La Phase d'Échauffement : "Le Filet de Sécurité" (Échantillonnage de l'Enseignant par Phases)

La Métaphore : Quand l'apprenti commence tout juste (le "démarrage à froid"), il erre dans l'obscurité. Le coach apporte quelques exemples vérifiés du carnet de notes du Maître — seulement ceux que le contrôleur déclare définitivement corrects.
Comment cela fonctionne : Au tout début, l'étudiant apprend à partir de ces exemples sûrs et vérifiés du Maître pour trouver un point d'appui. À mesure que l'étudiant s'améliore, le coach arrête progressivement de lui montrer les notes du Maître et le force à s'exercer par lui-même. Cela comble le fossé entre les tentatives désordonnées du début de l'étudiant et la logique parfaite du Maître.

2. La Phase Étape par Étape : "Le Signal de Confiance" (Porte de Cohérence de Signe)

La Métaphore : Maintenant, l'étudiant résout des problèmes par lui-même. Le coach observe chaque mot (jeton) que l'étudiant écrit.
- Scénario A (Accord) : L'étudiant écrit une étape, le contrôleur "Correct/Incorrect" dit "Bon travail !" (Signal positif), et le Maître dit aussi "Bon travail !" (Signal positif).
  - Action : Le coach crie : "Allez-y !" et dit à l'étudiant d'amplifier encore plus cette étape. C'est ce qu'on appelle l'Extrapolation.
- Scénario B (Conflit) : L'étudiant écrit une étape, le contrôleur dit "Bon travail !" (Signal positif), mais le Maître dit "Je n'aime pas ce mot, change-le" (Signal négatif).
  - Action : Le coach dit : "Attendez, n'écoutez pas le Maître ici." L'étudiant ignore le retour négatif du Maître sur cette étape spécifique et conserve la direction que le contrôleur a approuvée. C'est ce qu'on appelle l'Interpolation.

Pourquoi cela fonctionne mieux

Les auteurs ont testé cela sur des compétitions mathématiques difficiles (comme AIME et HMMT). Voici ce qu'ils ont trouvé :

Meilleurs Scores : SG-OPD a systématiquement battu les méthodes standards. En moyenne, il a amélioré le "taux de réussite" (obtenir la bonne réponse au moins une fois) par une marge significative par rapport à l'ancienne méthode.
Stabilité : Lorsque les chercheurs ont essayé de rendre les anciennes méthodes "plus agressives" (pousser l'étudiant à apprendre plus vite), les anciennes méthodes se sont effondrées et ont échoué. SG-OPD, cependant, est resté stable et a continué de s'améliorer car il savait exactement quand faire confiance au Maître et quand l'ignorer.
Pas de "Effondrement" : Dans certains entraînements d'IA, pousser trop fort fait que le modèle cesse d'explorer et se contente de répéter les mêmes réponses ennuyeuses. SG-OPD a réussi à obtenir des scores élevés tout en maintenant le processus de pensée de l'étudiant diversifié et créatif.

Résumé

SG-OPD est une stratégie d'enseignement qui utilise un simple contrôleur "Correct/Incorrect" pour agir comme un filtre. Il utilise le savoir du Maître pour faire démarrer l'étudiant en toute sécurité, mais utilise ensuite le contrôleur pour décider, étape par étape, si le conseil du Maître est réellement utile ou s'il égare l'étudiant. Cela permet à l'étudiant d'apprendre plus vite et plus précisément qu'auparavant.

Résumé Technique : Sign-Gated On-Policy Distillation (SG-OPD)

1. Énoncé du Problème

L'article traite des limitations de l'On-Policy Distillation (OPD), une technique où un modèle étudiant est entraîné sur ses propres trajectoires en utilisant une supervision dense par jeton (token) provenant d'un modèle enseignant plus puissant. Bien que l'OPD surpasse souvent la distillation off-policy et l'apprentissage par renforcement (RL) standard, les auteurs identifient que son efficacité repose sur deux hypothèses implicites qui échouent fréquemment en pratique, particulièrement dans les contextes de transfert fort-vers-faible (par exemple, distiller un grand modèle de raisonnement vers un plus petit) :

Alignement fragile au niveau de la trajectoire : Dans les scénarios de démarrage à froid (cold-start), les déploiements d'un étudiant faible se situent souvent loin du support de trajectoire de l'enseignant. Par conséquent, le signal de la divergence KL inverse (le cœur de l'OPD) est dominé par le bruit plutôt que par une supervision informative, ce qui entraîne une instabilité lors du début de l'entraînement.
Fiabilité non uniforme au niveau du jeton : Même sur des déploiements vérifiés comme corrects par un vérificateur externe, les préférences par jeton de l'enseignant peuvent contredire la direction "vérifiée comme correcte". L'enseignant peut assigner une faible probabilité à des jetons qui sont pourtant nécessaires à un chemin de solution valide. Amplifier aveuglément le gradient de la KL inverse sur ces jetons pénalise les trajectoires valides.

2. Méthodologie : SG-OPD

Les auteurs proposent la Sign-Gated On-Policy Distillation (SG-OPD), un cadre qui utilise un vérificateur binaire comme signal de confiance pour l'enseignant à deux granularités complémentaires : le niveau de l'échantillon et le niveau du jeton.

A. Niveau de l'échantillon : Phased Teacher Sampling (PTS)
Pour traiter l'échec d'alignement au niveau de la trajectoire lors du démarrage à froid, SG-OPD introduit une perte auxiliaire basée sur des déploiements de l'enseignant vérifiés.

Mécanisme : Pendant les premières étapes de l'entraînement, le mini-lot est divisé. Une fraction des prompts est échantillonnée à partir de l'enseignant ( $\pi^*$ ), et seules les trajectoires vérifiées comme correctes sont conservées. Celles-ci servent d'« ancre » via une perte d'entropie croisée (Cross-Entropy - CE).
Amortissement (Annealing) : Cette guidance de l'enseignant est pondérée par un programme de cosinus en trois phases ( $\alpha(t)$ ). Elle commence à un niveau élevé pendant le démarrage à froid pour combler l'écart de distribution et décroît jusqu'à zéro, garantissant que la distribution d'entraînement asymptotique reste entièrement on-policy (générée par l'étudiant).

B. Niveau du jeton : Sign-Consistency Gating (Porte de cohérence de signe)
Pour traiter l'échec de fiabilité au niveau du jeton, SG-OPD oriente les mises à jour en fonction de l'accord entre le signal de résultat du vérificateur et le signal de préférence de l'enseignant.

Signaux :
- $a_1(t)$ : L'avantage au niveau du résultat provenant d'un vérificateur binaire (par exemple, de type GRPO), indiquant si la trajectoire est correcte.
- $a_2(t)$ : L'avantage de la KL inverse de l'enseignant (signal OPD).
La Porte (Gate) : Une porte binaire $g_t$ $g_{t}$ est définie comme $1[a_1(t) \cdot a_2(t) > 0]$ $1 [a_{1} (t) \cdot a_{2} (t) > 0]$ .
- Jetons de consensus ( $g_t=1$ ) : Le vérificateur et l'enseignant sont d'accord sur la direction. Ces jetons subissent une extrapolation (mise à jour amplifiée) en utilisant une force d'extrapolation plus élevée ( $\lambda_{high}$ ).
- Jetons de conflit ( $g_t=0$ ) : Les signaux sont en désaccord (par exemple, l'enseignant supprime un jeton qui mène à une réponse correcte). Ces jetons subissent une interpolation (mise à jour adoucie) ou sont masqués, empêchant l'étudiant d'être éloigné des solutions vérifiées.
Stabilité : Un poids de découplage (detached clipping weight) est appliqué pour éviter que les avantages aberrants ne dominent le gradient.

L'objectif final combine la perte de gradient de politique à porte au niveau du jeton avec la perte d'ancrage de l'enseignant par phases au niveau de l'échantillon.

3. Contributions Clés

Identification des modes de défaillance : L'article identifie et analyse explicitement deux limitations structurelles de l'OPD : la fragilité de l'alignement de la trajectoire au démarrage à froid et la fiabilité non uniforme des préférences de l'enseignant, même sur des trajectoires correctes.
Cadre SG-OPD : La proposition d'un cadre à deux granularités qui traite un vérificateur binaire comme un signal de confiance. Il combine le Phased Teacher Sampling pour stabiliser le démarrage à froid et le Sign-Consistency Gating pour extrapoler ou interpoler sélectivement les mises à jour de jetons selon l'accord des signaux.
Validation Empirique : Des expériences approfondies sur des benchmarks de raisonnement mathématique de niveau compétition démontrent que SG-OPD surpasse systématiquement l'OPD standard et les variantes extrapolées (ExOPD), particulièrement dans les régimes où l'extrapolation uniforme provoque un effondrement de l'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant Qwen3-1.7B comme étudiant et Qwen3-4B-Non-Thinking-RL-Math (étape 500) comme enseignant, évalués sur quatre benchmarks : AIME24, AIME25, HMMT25-Feb et HMMT25-Nov.

Gains de Performance : SG-OPD a obtenu les scores moyens les plus élevés sur toutes les métriques.
- avg@32 : 29,53 % (une amélioration de +1,98 par rapport à l'OPD et +1,54 par rapport à l'ExOPD).
- pass@32 : 59,17 % (une amélioration de +7,50 par rapport à l'OPD et +5,00 par rapport à l'ExOPD).
Études d'Ablation :
- Le Sign-Consistency Gate s'est avéré élargir la « plage de sécurité » pour la force d'extrapolation. Alors que l'extrapolation uniforme (ExOPD) s'effondrait à un $\lambda$ élevé (par exemple, $\lambda=1,8$ ), SG-OPD maintenait ou améliorait les performances à cette même force.
- Le PTS seul améliorait les performances par rapport à l'OPD, mais la combinaison du PTS et du Sign-Gate a produit des gains quasi additifs, confirmant leur orthogonalité.
Dynamique d'Entraînement : SG-OPD a obtenu des récompissances d'entraînement plus élevées et a maintenu une entropie de politique plus élevée par rapport à l'OPD et l'ExOPD, indiquant que le mécanisme de porte amplifie le consensus sans provoquer l'effondrement de l'exploration.

5. Signification et Revendications

L'article affirme que SG-OPD fournit une approche plus robuste et stable de la distillation on-policy en gérant explicitement le désalignement entre les trajectoires de l'étudiant et les préférences de l'enseignant.

Signal de Confiance : Il démontre qu'un vérificateur binaire peut servir de signal de confiance fiable pour l'enseignant, permettant au modèle de « reculer » là où l'enseignant est peu fiable (jetons de conflit) et de « s'appuyer » là où ils sont en accord (jetons de consensus).
Stabilité : La méthode reste stable à des forces d'extrapolation qui font diverger les méthodes d'extrapolation uniforme, transformant efficacement les régimes « impossibles à entraîner » en régimes de haute performance.
Portée : Les auteurs notent que la validation actuelle est limitée au raisonnement mathématique avec des vérificateurs binaires. Ils suggèrent que l'approche se généralise à d'autres tâches de type vérificateur (par exemple, le code avec des tests unitaires) mais reconnaissent que des certificats de processus (vérification étape par étape) seraient une extension nécessaire pour les tâches où la réponse finale est fausse mais où les étapes intermédiaires sont utiles.

Le travail est présenté comme une amélioration méthodologique du pipeline de distillation, offrant une solution à des modes de défaillance structurels spécifiques observés dans les contextes de distillation fort-vers-faible.