🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

Cet article introduit $\beta$ -OPSD, un cadre fondé sur des principes qui généralise l'auto-distillation on-policy en traitant le poids de la pénalité KL $\beta$ comme un paramètre ajustable, permettant un entraînement efficace via le mélange de logits pour approximer l'interpolation de politique optimale entre un modèle de référence et un enseignant tout en améliorant significativement la stabilité et les performances de raisonnement par rapport à l'OPSD classique.

Auteurs originaux : Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Publié 2026-07-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment résoudre un problème de mathématiques complexe. Vous avez deux manières de l'aider à apprendre. La première consiste à laisser le robot essayer, échouer, puis lui montrer la solution parfaite, en lui demandant de mémoriser chaque étape. C'est comme un élève qui recopie les devoirs de son professeur. La seconde consiste à laisser le robot essayer, puis à utiliser un « super-professeur » capable de voir la clé de correction pour donner un feedback instantané sur chaque mot écrit par le robot. C'est ce qu'on appelle la « auto-distillation on-policy ». C'est une méthode puissante car le professeur réagit aux erreurs spécifiques du robot en temps réel. Mais attention : cette méthode est souvent fragile. Si vous poussez trop le robot à copier le super-professeur, il peut s'embrouiller, oublier ce qu'il sait déjà et commencer à faire des suppositions délirantes. C'est comme un élève qui essaie d'imiter un génie si parfaitement qu'il perd sa propre voix et cesse de réfléchir par lui-même. Les scientifiques cherchent à savoir : comment obtenir les bénéfices du super-professeur sans briser la confiance de l'élève ?

Une nouvelle publication présente une solution ingénieuse appelée β-OPSD. Les chercheurs ont réalisé que la manière standard d'utiliser le super-professeur n'est en fait qu'un réglage extrême d'une famille de méthodes beaucoup plus vaste. Ils ont découvert un « curseur » (appelé β) qui contrôle à quel point le robot doit écouter le super-professeur par rapport à son propre style actuel. Au lieu de forcer le robot à passer directement au niveau du professeur, ils ont trouvé un moyen de créer un chemin fluide entre le « moi » actuel du robot et le super-professeur. En combinant un chemin d'apprentissage fluide et un système de crédit avec « anticipation », le robot apprend de manière plus régulière et résout mieux les problèmes mathématiques qu'auparavant.

Le Problème : Le Professeur « Trop Difficile »

Dans le monde de l'IA, rendre un modèle plus intelligent implique souvent un processus appelé auto-distillation on-policy. Imaginez un étudiant (le modèle d'IA) écrivant une histoire ou résolvant un problème de mathématiques. Pendant qu'il écrit, un « professeur privilégié » (une version plus intelligente du modèle ou une version ayant accès à la clé de correction) l'observe et dit : « Non, ce mot devrait être celui-ci ». L'étudiant tente alors de copier les choix du professeur.

Le problème est que ce professeur est trop bon. Si l'étudiant essaie de copier immédiatement les réponses parfaites du professeur, cela peut revenir à essayer de courir un marathon avant même de savoir marcher. L'étudiant est submergé, l'apprentissage devient instable, et le robot peut commencer à faire des erreurs étranges et aléatoires. Les chercheurs ont découvert que la méthode standard consistait essentiellement à forcer l'étudiant à correspondre parfaitement au professeur dès le départ, ce qui est une façon d'apprendre très fragile.

La Solution : Une Courbe d'Apprentissage Fluide

Les auteurs de l'article, Jiawei Xu, Minghui Liu et leur équipe de l'Université du Maryland, ont proposé une nouvelle façon de concevoir cela. Ils ont réalisé que la méthode standard n'est qu'un réglage spécifique d'une famille plus large de stratégies d'apprentissage. Ils ont introduit une variable appelée β (beta) qui agit comme un bouton de volume pour le guidage du professeur.

Quand β est bas (ou égal à 1) : L'étudiant essaie de copier exactement le professeur. C'est l'ancienne méthode fragile.
Quand β est élevé : L'étudiant est autorisé à rester plus proche de son propre style actuel, en dérivant lentement vers le style du professeur.

L'article montre que la meilleure façon d'apprendre n'est pas de sauter directement chez le professeur. Au lieu de cela, le meilleur chemin est une interpolation géométrique. Pensez à un itinéraire GPS. L'ancienne méthode tentait de téléporter l'étudiant directement à l'emplacement du professeur. La nouvelle méthode, β-OPSD, trace une route fluide entre l'emplacement actuel de l'étudiant et celui du professeur.

Au fur et à mesure de la progression de l'entraînement, les chercheurs « planifient » la valeur de β. Ils commencent par une cible très proche de l'étudiant (sûre et facile) et déplacent progressivement la cible pour qu'elle ressemble davantage au professeur (difficile et intelligente). C'est comme un jeu vidéo qui commence en mode « Facile » et augmente progressivement vers le mode « Difficile », plutôt que de plonger le joueur dans le niveau le plus dur dès le premier jour.

La Recette Secrète : L'Anticipation

Il y avait un autre élément du puzzle. Dans les anciennes méthodes, lorsqu'un étudiant faisait une erreur sur le premier mot d'une phrase, le système ne blâmait que ce mot spécifique. Mais dans le langage, le premier mot modifie le contexte de tous les mots qui suivent. Si vous commencez une phrase par « Le chat », le mot suivant sera probablement « s'est assis » ou « a couru », et non « pizza ».

Les chercheurs ont réalisé que l'ancienne méthode était « myope » (à courte vue). Elle ne réalisait pas qu'une erreur précoce pouvait ruiner toute la phrase. Pour corriger cela, ils ont ajouté une attribution de crédit par retour de gain (return-to-go).

Imaginez que vous jouez aux échecs. Si vous faites un mauvais coup au tour 3, vous pourriez ne perdre la partie qu'au tour 20. L'ancienne méthode ne blâmerait que le tour 20. La nouvelle méthode regarde en arrière et dit : « Hé, le tour 3 était le vrai problème car il a mené à ce désastre ». En attribuant du crédit (ou du blâme) aux premiers jetons (tokens) en fonction de la manière dont ils ont affecté le résultat final, le modèle apprend à être plus prudent dès le premier mot.

Ce Qu'Ils Ont Trouvé

L'équipe a testé cette nouvelle méthode β-OPSD sur des benchmarks de raisonnement mathématique, qui sont comme les Jeux Olympiques des problèmes de mathématiques pour l'IA. Ils ont utilisé des modèles allant de petits (1,7 milliard de paramètres) à grands (8 milliards de paramètres).

Les résultats sont prometteurs. Sur le modèle Qwen3-1.7B, la nouvelle méthode a amélioré le score moyen de 9,16 points de pourcentage sur la compétition mathématique AIME 2024, comparé à l'ancienne méthode. Elle a également montré des améliorations sur d'autres tests difficiles comme AIME 2025 et HMMT 2025. Même sur les modèles plus grands, la nouvelle méthode a systématiquement surpassé l'ancienne façon de faire, prouvant que le chemin d'apprentissage fluide et le système de crédit par anticipation fonctionnent bien, quelle que soit la taille du modèle.

Les chercheurs suggèrent que cette approche fournit une « route principielle » allant de la simple copie à l'optimisation complexe. Elle ne nécessite pas de techniques d'apprentissage par renforcement coûteuses et lentes ; elle utilise plutôt la mathématique intelligente de l'optimisation de politique pour créer une façon de mieux enseigner aux modèles d'IA, de manière plus efficace et plus stable. En transformant un processus rigide et fragile en un voyage guidé et fluide, ils ont fait du robot un meilleur élève.

Résumé Technique : $\beta$ -OPSD

1. Énoncé du Problème

L'auto-distillation on-policy (OPSD) est apparue comme une technique prometteuse pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Dans l'OPSD standard, un modèle étudiant apprend à partir de ses propres trajectoires échantillonnées tout en recevant une supervision d'un « enseignant privilégié » (la même architecture de modèle ayant accès aux solutions de vérité terrain ou à des traces vérifiées) disponible uniquement pendant l'entraînement.

Cependant, les auteurs identifient que l'OPSD classique est souvent fragile en pratique, nécessitant un effort d'ingénierie substantiel pour fonctionner de manière fiable. Le problème central est que l'OPSD standard traite l'enseignant comme l'unique cible d'optimisation, fixant implicitement la force de régularisation qui ancre l'étudiant à sa politique initiale ou de référence. Cette formulation rigide manque d'un mécanisme pour contrôler l'agressivité avec laquelle l'étudiant s'éloigne de sa politique de référence vers l'enseignant, ce qui conduit souvent à l'instabilité ou à une convergence sous-optimale.

2. Méthodologie

Le papier propose $\beta$ -OPSD, un cadre qui reformule l'auto-distillation on-policy comme une famille plus large de problèmes d'optimisation de politique régularisés par la divergence KL. La méthodologie procède en trois étapes : la dérivation de la cible théorique, la conversion en un objectif de distillation pratique, et le raffinement de l'attribution de crédit.

2.1. Dérivation Théorique : $\beta$ -OPSD comme Optimisation de Politique

Les auteurs démontrent que l'OPSD classique est précisément le membre $\beta = 1$ d'une famille d'optimisation de politique régularisée par KL. Ils définissent la fonction d'objectif $J_\beta(\theta)$ comme :
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
Où :

$\pi_\theta$ : La politique de l'étudiant.
$p_T$ : La politique de l'enseignant privilégié (conditionnée sur le problème $x$ et l'information privilégiée $c$ ).
$\pi_{\text{ref}}$ : Une politique de référence (par exemple, l'étudiant initial).
$\beta$ : Un paramètre de régularisation contrôlable.

Insight Clé : Lorsque $\beta=1$ , les termes de référence s'annulent, récupérant la minimisation de la KL inverse standard vers l'enseignant. Pour $\beta > 1$ , l'objectif devient plus conservateur, pénalisant plus lourdement les écarts par rapport à la politique de référence.

2.2. Politique Optimale et Interpolation Géométrique

Les auteurs dérivent la politique optimale en forme fermée $\pi^\star_\beta$ pour cet objectif :
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
Cette solution représente une interpolation géométrique entre la politique de référence et l'enseignant privilégié. Le paramètre $\beta$ (spécifiquement son inverse $1/\beta$ ) agit comme un poids déterminant la position le long de ce chemin.

$\beta = 1 \implies$ La cible est l'enseignant.
$\beta \to \infty \implies$ La cible approche la politique de référence.

2.3. Entraînement Pratique : Interpolation de Logits Programmée

L'optimisation directe de l'objectif RL est coûteuse en calcul en raison du normalisateur intraçable $Z_\beta$ et des gradients à haute variance. Au lieu de cela, $\beta$ -OPSD convertit la solution théorique en un objectif de distillation efficace.

Approximation Locale : Puisque le normalisateur au niveau de la séquence est intraçable, la méthode approxime la politique optimale à chaque préfixe de décodage $h_t$ en interpolant linéairement les logits de la référence et de l'enseignant :
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
Programmation de Curriculum (Curriculum Scheduling) : Plutôt que de fixer $\beta$ , la méthode emploie un programme où le poids de l'enseignant $w_k = 1/\beta_k$ augmente linéairement de $w_{\text{start}}$ à $w_{\text{end}}$ sur les étapes d'entraînement. Cela crée un curriculum fluide, commençant avec des cibles proches de l'étudiant et incorporant progressivement une guidance plus forte de l'enseignant.

2.4. Attribution de Crédit par Retour à Venir (Return-to-Go)

Les mises à jour standard de l'OPSD au niveau du token sont « myopes », traitant la perte de chaque token indépendamment. Cela ignore comment le choix d'un premier token affecte les préfixes futurs et l'écart consécutif avec la cible.
Pour remédier à cela, $\beta$ -OPSD introduit l'attribution de crédit par retour à venir (RTG). La perte pour un token $t$ est pondérée par l'écart cumulé futur (rendement actualisé) le long de la trajectoire :
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
où $\rho_s$ est l'écart du log-ratio à l'étape $s$ . Cela garantit que les premiers tokens reçoivent le crédit (ou le blâme) pour l'écart de distribution qu'ils induisent plus tard dans la séquence, alignant ainsi les mises à jour au niveau du token avec l'objectif au niveau de la séquence.

3. Contributions Clés

Unification Théorique : Le papier établit que l'OPSD classique est le cas $\beta=1$ d'une famille plus large d'optimisation de politique régularisée par KL, rendant le choix de la régularisation implicite explicite et contrôlable.
Cadre $\beta$ -OPSD : Il introduit un objectif généralisé où la politique optimale est une interpolation géométrique entre la référence et l'enseignant, réalisée pratiquement via une interpolation de logits programmée.
Algorithme d'Entraînement Efficace : Les auteurs proposent une méthode pour approximer la solution coûteuse dérivée du RL en utilisant une distillation peu coûteuse au niveau du token, évitant ainsi le besoin de mécanismes RL complexes comme l'estimation de l'avantage.
Alignement au Niveau de la Séquence : L'intégration de l'attribution de crédit par retour à venir corrige la nature myope des mises à jour de token-KL standard, fournissant un estimateur non biaisé de l'objectif au niveau de la séquence.

4. Résultats Expérimentaux

La méthode a été évaluée sur des benchmarks de raisonnement mathématique (AIME 2024, AIME 2025, HMMT 2025) en utilisant des modèles Qwen3 allant de 1,7B à 8B de paramètres.

Gains de Performance : $\beta$ $β$ -OPSD a systématiquement surpassé l'OPSD classique, le SFT et les bases GRPO.
- Sur Qwen3-1.7B, $\beta$ -OPSD a amélioré la performance moyenne (avg@12) de 5,74 points de pourcentage par rapport à l'OPSD classique, avec des gains spécifiques de 9,16 points sur AIME 2024.
- Sur les modèles plus grands (4B et 8B), il a maintenu des performances compétitives ou supérieures, améliorant la moyenne globale de 1,76 et 1,66 points respectivement.
Études d'Ablation :
- Distribution Cible : Remplacer la cible de l'enseignant fixe par la cible interpolée de logits programmée a produit des gains significatifs (ex: +6,03 points sur AIME 2024), confirmant le bénéfice d'une transition fluide.
- Attribution de Crédit : L'utilisation de poids de retour à venir (RTG) au lieu de gradients de tokens locaux a amélioré la performance (ex: +5,55 points sur AIME 2025), validant l'importance des mises à jour tenant compte du futur.
- Construction de la Référence : La meilleure performance a été obtenue en utilisant un étudiant dynamique (le modèle actuel) et un enseignant fixe (l'enseignant privilégié), suggérant que suivre la distribution évolutive de l'étudiant tout en maintenant une ancre de supervision stable est optimal.

5. Signification et Revendications

Le papier prétend fournir une « voie principielle de l'auto-distillation vers l'optimisation de politique et inversement ». Sa principale signification réside dans :

Stabilité : En traitant $\beta$ comme un paramètre contrôlable, la méthode résout la fragilité de l'OPSD classique, permettant une optimisation plus fluide qui arbitre entre la proximité de la politique de référence et la guidance de l'enseignant.
Efficacité : Elle obtient les bénéfices de l'optimisation de politique (objectifs au niveau de la séquence, régularisation KL) sans le coût de calcul du RL complet, conservant l'efficacité de la distillation standard.
Généralisabilité : L'approche offre un mécanisme pour réduire l'écart de distribution entre l'étudiant et l'enseignant, ce qui est particulièrement bénéfique pour les petits modèles où cet écart est plus important.

Les auteurs concluent que les chemins de cible fluides et l'attribution de crédit au niveau de la trajectoire sont des principes efficaces pour l'auto-distillation on-policy, offrant une alternative robuste à l'imitation directe de l'enseignant.