💬 NLP

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

Ce document introduit Lightning OPD 2.0, une nouvelle méthode de distillation on-policy qui atténue le biais de style dans les contextes de cross-teacher en employant une résidualisation de style par ajustement croisé afin de séparer les différences stylistiques des véritables signaux de raisonnement, permettant ainsi un transfert de connaissances efficace même lorsque le générateur de données SFT et le modèle enseignant de distillation sont des modèles distincts.

Auteurs originaux : Yecheng Wu, Song Han, Han Cai

Publié 2026-07-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yecheng Wu, Song Han, Han Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant mais excentrique comment résoudre des énigmes complexes. Vous avez un « Enseignant » qui est un génie des mathématiques et de la programmation, et un « Étudiant » qui est impatient d'apprendre. Dans le monde de l'intelligence artificielle, on appelle cela la distillation : l'étudiant essaie de copier le processus de pensée de l'enseignant pour devenir plus intelligent. Habituellement, la meilleure façon de faire cela est de faire pratiquer l'étudiant sur des problèmes que l'enseignant a déjà résolus, puis de demander à l'enseignant de noter les nouvelles tentatives de l'étudiant ligne par ligne. C'est ce qu'on appelle la Distillation On-Policy. C'est comme avoir un entraîneur qui observe chacun de vos mouvements et donne un feedback instantané, plutôt que d'attendre la fin du match pour dire « bon travail » ou « essaie encore ».

Cependant, il y a un piège. Pour que cet entraînement fonctionne parfaitement, l'enseignant doit être la même personne qui a écrit les problèmes d'entraînement originaux étudiés par l'étudiant. Si l'étudiant a appris à partir d'un manuel écrit par l'« Enseignant A », mais qu'il est maintenant évalué par l'« Enseignant B », les choses peuvent devenir confuses. Même si l'Enseignant B est un génie, il peut écrire dans un style différent, utiliser des mots différents ou penser avec un rythme différent. L'étudiant pourrait être confus, pensant que l'enseignant corrige son calcul alors que l'enseignant est en fait simplement agacé par son écriture. Ce papier traite du problème de ce qui se passe lorsque l'« Enseignant » qui évalue le travail est différent de celui qui a écrit les exemples originaux, et de la manière de corriger cette confusion pour que l'étudiant puisse toujours apprendre efficacement.

Le Problème : Quand l'Entraîneur et le Manuel ne correspondent pas

Dans l'article, les chercheurs ont remarqué un bug frustrant. Ils utilisaient une technique appelée Lightning OPD (Distillation On-Policy) pour entraîner des modèles d'IA à devenir meilleurs en mathématiques et en programmation. La configuration était simple : prendre un modèle qui avait déjà appris de certains exemples (la « référence SFT »), le laisser générer de nouvelles réponses, puis demander à un « Enseignant » super-intelligent de noter ces réponses pour enseigner encore plus à l'étudiant.

Les problèmes ont commencé lorsque l'« Enseignant » n'était pas le même modèle que celui qui avait écrit les exemples originaux. Les chercheurs ont constaté que lorsqu'ils remplaçaient l'enseignant par un autre, même plus fort, le modèle étudiant ne s'améliorait pas ; parfois, il régressait !

Pourquoi ? Les chercheurs ont réalisé que l'Enseignant ne corrigeait pas seulement la logique (les mathématiques ou le code) ; il corrigeait aussi le style. Imaginez un étudiant écrivant une démonstration mathématique. Il pourrait écrire : « Par conséquent, la réponse est 42. » Un autre enseignant pourrait préférer : « Ainsi, nous concluons que la solution est 42. » Si l'Enseignant est strict sur le style, il pourrait donner une note faible au mot « Par conséquent » même si les mathématiques sont parfaites. L'étudiant, confus, commence à modifier sa logique juste pour plaire aux habitudes d'écriture de l'Enseignant. Les chercheurs ont appelé cela le « Biais de Style ». Le désaccord de l'Enseignant avec l'étudiant était un mélange de corrections utiles (corriger une étape erronée) et de bruit inutile (corriger un choix de mot), et l'étudiant ne pouvait pas faire la différence.

La Solution : Lightning OPD 2.0

Pour corriger cela, l'équipe a inventé Lightning OPD 2.0. Leur idée était d'agir comme un détective, en séparant les plaintes de « style » des plaintes de « logique » avant que l'étudiant n'apprenne de celles-ci.

Voici comment ils ont procédé, en utilisant une analogie ludique :

Imaginez que l'Enseignant et l'Étudiant ont une conversation. L'Enseignant dit : « Je n'aime pas le mot que vous avez utilisé », et « Je n'aime pas cette étape mathématique que vous avez faite. »

Le travail de détective : Les chercheurs ont réalisé que les plaintes de « style » sont prévisibles. Si l'Enseignant déteste le mot « Par conséquent » dans un problème de mathématiques, il le détestera probablement dans chaque problème de mathématiques, quel que soit le nombre spécifique. C'est un motif récurrent.
L'astuce du Cross-Fitting : Pour trouver ces motifs, ils ont divisé tous les problèmes d'entraînement en groupes. Ils ont examiné le Groupe A pour voir ce que l'Enseignant critiquait dans le Groupe B, et le Groupe B pour voir ce que l'Enseignant critiquait dans le Groupe A. C'est ce qu'on appelle le cross-fitting. C'est comme demander à un groupe d'amis : « Quels mots l'Enseignant déteste-t-il toujours ? » sans laisser la personne jugée influencer la réponse.
Soustraire le bruit : Une fois qu'ils ont identifié le « Biais de Style » (les plaintes récurrentes sur les mots, le formatage et le rythme), ils l'ont soustrait du score total de l'Enseignant.
Le Résultat : Ce qui restait était le « Résiduel » — le pur feedback utile concernant le raisonnement réel. L'étudiant n'apprend désormais que des parties du feedback de l'Enseignant qui comptent réellement pour la résolution du problème, ignorant la grognonnerie stylistique.

Ce qu'ils ont trouvé

Les chercheurs ont testé cette nouvelle méthode sur deux étudiants IA très différents : un modèle de 4 milliards de paramètres (un apprenant plus petit et plus rapide) et un modèle de 8 milliards de paramètres (un apprenant plus grand et plus avancé). Ils ont utilisé un modèle massif et super-intelligent comme « Enseignant » pour les deux.

Les résultats étaient clairs :

Sans la correction (Original Lightning OPD) : Lorsque l'Enseignant était différent de l'auteur des exemples originaux, l'étudiant s'améliorait à peine. Le biais de style noyait les bons conseils.
Avec la correction (Lightning OPD 2.0) : L'étudiant apprenait beaucoup plus vite et devenait nettement plus intelligent.

Plus précisément, en partant du modèle de 8 milliards de paramètres, la nouvelle méthode a permis à l'IA d'atteindre 82,4 % de précision sur l'AIME 2024 (une compétition mathématique difficile de niveau lycée) et 63,0 % sur LiveCodeBench v5 (un défi de programmation). C'était un bond important par rapport à la méthode originale, qui peinait à améliorer le score de l'étudiant dans ces scénarios de « enseignants dépareillés ».

Pourquoi c'est important

Le papier suggère que vous n'avez plus besoin de forcer l'« Enseignant » et l'« Auteur des exemples » à être la même personne. Par le passé, si vous vouliez utiliser un Enseignant spécifique et super-intelligent pour noter votre IA, vous deviez vous assurer que cet Enseignant écrivait également toutes vos données d'entraînement. C'était coûteux et limitant.

Lightning OPD 2.0 suggère que vous pouvez choisir le meilleur possible Enseignant pour la notation et la meilleure source possible pour vos données d'entraînement, même s'ils sont différents. En supprimant mathématiquement les plaintes de « style », l'IA peut apprendre le raisonnement sans être confondue par la personnalité de l'enseignant. C'est une façon pratique de rendre l'entraînement de l'IA plus flexible et efficace, permettant aux chercheurs de mélanger et assortir les meilleurs outils disponibles sans craindre qu'ils n'entrent en conflit.

Résumé Technique : Lightning OPD 2.0

Énoncé du Problème

La distillation on-policy (OPD) est apparue comme une alternative stable et rentable à l'apprentissage par renforcement pour le post-entraînement des grands modèles de raisonnement. Elle exploite un enseignant de haute capacité pour fournir une supervision dense, au niveau du jeton (token), sur les trajectoires générées par l'étudiant. Cependant, une condition préalable critique pour une OPD efficace, identifiée dans des travaux antérieurs (Lightning OPD), est la cohérence de l'enseignant : le modèle fournissant la supervision OPD doit être le même que celui ayant généré les démonstrations utilisées pour la politique de référence du réglage fin supervisé (SFT) initial.

En pratique, cette condition est fréquemment violée. Les données SFT ont souvent une provenance mixte ou non documentée, ou bien les praticiens souhaitent utiliser un ensemble de données SFT spécifique généré par un modèle, tout en distillant avec un autre modèle enseignant, potentiellement plus fort. Ce contexte de cross-teacher (enseignants croisés) introduit un décalage où le désaccord brut entre l'enseignant et la référence contient non seulement des signaux de raisonnement utiles et spécifiques au contexte, mais aussi une composante récurrente associée à des différences stylistiques (formulation, formatage, cadence de raisonnement). Si elle n'est pas corrigée, ce « biais de style de jeton » s'accumule à travers les déroulements (rollouts), interférant systématiquement avec le signal de raisonnement et provoquant une dégradation des performances de la distillation, même lorsque le nouvel enseignant est plus performant que le générateur SFT d'origine.

Méthodologie : Lightning OPD 2.0

Pour remédier à cela, les auteurs introduisent Lightning OPD 2.0, une méthode qui atténue le biais de style grâce à une résidualisation de style par cross-fitting. L'idée centrale est que le désaccord lié au style est prévisible à travers les déroulements mis en cache sur la base de coordonnées lexicales et de contextes grossiers simples, tandis que le désaccord lié au raisonnement dépend davantage de l'état spécifique du problème.

La méthode procède comme suit :

Décomposition du désaccord : La différence de log-probabilité brute entre l'enseignant et la référence ( $d_{it} = \ell^T_{it} - \ell^R_{it}$ ) est modélisée comme la somme d'une composante de biais de style récurrente $b(z_{it})$ et d'une variation résiduelle $v_{it}$ (représentant l'évidence spécifique au contexte).
$d_{it} = b(z_{it}) + v_{it}$
Coordonnées observables : Pour estimer la composante récurrente $b(z_{it})$ $b (z_{i t})$ , la méthode utilise deux types de coordonnées :
- Identité du jeton (Token Identity) : Capture les préférences lexicales.
- Contexte grossier : Défini par la position normalisée de la réponse et la surpris de la politique de référence (une mesure de l'atypicité d'un jeton sous la politique SFT).
Estimation par cross-fitting : Les déroulements mis en cache sont partitionnés en $K$ $K$ plis (folds). Pour un pli $k$ $k$ mis de côté, la méthode construit deux tables de recherche en utilisant uniquement les $K-1$ $K - 1$ autres plis :
- Une table de recherche de jetons estimant le désaccord moyen par identité de jeton.
- Une table de recherche de contexte estimant le désaccord moyen par paire de coordonnées de contexte.
- Ces tables sont lissées pour gérer les groupes rares.
Résidualisation : Pour chaque jeton du pli mis de côté, le biais de style estimé $\hat{b}_{it}$ est calculé comme la moyenne des prédictions des recherches de jetons et de contexte. Cette estimation est soustraite du désaccord brut pour produire un signal résidualisé :
$d^*_{it} = d_{it} - \hat{b}_{it}$
Optimisation : Le désaccord résidualisé $d^*_{it}$ remplace le désaccord brut dans l'objectif Lightning OPD. La politique de l'étudiant est mise à jour en utilisant l'avantage dérivé de ce signal résidualisé, éliminant efficacement le biais de style récurrent tout en préservant l'évidence de raisonnement spécifique au contexte.

Contributions Clés

Formulation de l'OPD Cross-Teacher : Le papier définit formellement le cadre où le générateur de données SFT et l'enseignant OPD sont sélectionnés indépendamment, démontrant qu'une application naïve de l'OPD dans ce cadre entraîne une dégradation substantielle des performances.
Identification du Biais de Style de Jeton : Les auteurs identifient une composante récurrente du désaccord enseignant-référence qui est prévisible à travers les déroulements et associée à des différences stylistiques, expliquant pourquoi une supervision cross-teacher brute peut être trompeuse.
Algorithme Lightning OPD 2.0 : L'introduction d'une technique de résidualisation de style par cross-fitting qui estime et soustrait ce biais à l'aide de tables de recherche de jetons et de contexte. Cela permet de choisir l'étalon SFT et l'enseignant de distillation indépendamment sans reconstruire le pipeline SFT.

Résultats Expérimentaux

La méthode a été évaluée sur des benchmarks de raisonnement mathématique et de génération de code en utilisant deux contextes de cross-teacher distincts :

Configuration 1 : Référence SFT issue de Qwen3-4B (générée par Qwen3-8B) avec un enseignant OPD de Qwen3-30B-A3B-Thinking-2507.
Configuration 2 : Référence SFT issue de Klear-Reasoner-8B (entraînée sur des données distillées de DeepSeek-R1) avec le même enseignant OPD Qwen3-30B.

Principales conclusions :

Gains de performance : Lightning OPD 2.0 surpasse systématiquement la baseline Lightning OPD et les autres variantes d'OPD (IW-OPD, TA-OPD) dans les configurations cross-teacher.
- Dans la configuration Qwen3-4B, elle a amélioré le raisonnement mathématique moyen de 3,1 points et la génération de code de 1,4 point par rapport à la baseline Lightning OPD.
- Dans la configuration Klear-Reasoner-8B, elle a amélioré le raisonnement mathématique moyen de 1,0 point et la génération de code de 1,4 point.
État de l'art : En partant de Klear-Reasoner-8B-SFT, Lightning OPD 2.0 a atteint 82,4 % sur AIME 2024 et 63,0 % sur LiveCodeBench v5.
Analyse du mécanisme : Une analyse a posteriori a montré que la résidualisation réduisait considérablement l'écart du signal d'entraînement par rapport à un signal de référence diagnostique (représentant le signal idéal cohérent avec l'enseignant). Par exemple, dans la configuration Qwen3-4B, le taux de jetons présentant de grands écarts (>1 nat) est passé de 8,14 % à 3,85 % après correction.
Ablation : Le retrait de la recherche de jetons, de la recherche de contexte ou du cross-fitting a entraîné des performances moindres, confirmant la nécessité de combiner les estimations lexicales et contextuelles avec le fractionnement d'échantillons pour éviter l'auto-ajustement (self-fitting).

Signification et Revendications

Le papier affirme que Lightning OPD 2.0 établit une approche pratique de la distillation on-policy cross-teacher. En assouplissant l'exigence stricte de cohérence de l'enseignant, il permet aux praticiens de :

Sélectionner le modèle le plus approprié pour générer les démonstrations SFT (pour maximiser la qualité de la politique de référence) indépendamment du modèle sélectionné pour la distillation ultérieure (pour maximiser le résultat du post-entraînement final).
Utiliser des ensembles de données SFT existants sans le coût substantiel de la régénération des démonstrations pour chaque candidat enseignant.

Les auteurs positionnent ce travail comme une solution à un goulot d'étranglement pratique dans le passage à l'échelle des modèles de raisonnement, permettant des pipelines de post-entraînement plus flexibles et efficaces où le générateur SFT et l'enseignant OPD sont découplés. La méthode est présentée comme un cadre robuste qui atteint des performances de pointe sur les benchmarks de raisonnement tout en maintenant la stabilité et l'efficacité de coût de l'OPD hors ligne.