Résumé Technique : Auto-Distillation sur la Politique avec Échelle de Température (TS-OPSD)

1. Énoncé du Problème

L'Apprentissage par Renforcement à partir de Récompenses Vérifiables (RLVR) a considérablement amélioré les capacités de raisonnement des Grands Modèles de Langage (LLM), particulièrement dans les domaines mathématiques et logiques. Cependant, ce progrès se heurte à un goulot d'étranglement critique connu sous le nom d'effondrement de l'entropie (entropy collapse). À mesure que l'optimisation de la politique progresse, la distribution de sortie du modèle devient de plus en plus concentrée (aiguë), ce qui entraîne :

• Réduction de la Diversité des Rollouts : Le modèle génère des trajectoires répétitives, limitant l'exploration de l'espace de solution.
• Diminution des Signaux d'Apprentissage : Les informations de gradient efficaces se concentrent sur une petite fraction de tokens à haute entropie aux points de branchement critiques du raisonnement. Une fois que la politique s'effondre, ces signaux disparaissent, stoppant toute amélioration ultérieure.

Les remèdes existants tentent d'atténuer cela soit en :

1. Modifiant l'Objectif de RL : En utilisant une régularisation de l'entropie ou un écrêtage adaptatif. Ces méthodes imposent des contraintes externes qui peuvent se faire au détriment de la maximisation de la récompense.
2. Ajustant la Température d'Échantillonnage : En augmentant la température lors de la collecte des rollouts. Bien que cela modifie la politique de comportement, cela ne change pas la distribution paramétrée sous-jacente du modèle, créant un décalage entre la politique de comportement et la politique optimisée.

Ces approches restent externes aux paramètres du modèle. L'article postule que l'effet exploratoire de la température devrait être internalisé directement dans les poids du modèle afin de fournir une meilleure initialisation pour la poursuite du RL.

## 2. Méthodologie : TS-OPSD

Les auteurs proposent l'Auto-Distillation sur la Politique avec Échelle de Température (TS-OPSD), une méthode légère de « réchauffement de politique » (policy reheating) conçue pour restaurer l'entropie sans enseignant externe, sans données privilégiées, ni coûts d'inférence supplémentaires.

Mécanisme Central

TS-OPSD opère comme une intervention entre les étapes de RL. En partant d'un checkpoint ayant subi un effondrement d'entropie ($\theta_{RL-collapse}$), la méthode construit un auto-enseignant et distille une distribution plus lisse vers le modèle étudiant ($\theta_{reheat}$).

1. Construction de l'Auto-Enseignant : Étant donné les logits actuels de l'étudiant $z_\theta$, une distribution d'auto-enseignant $p_T$ est générée en appliquant une transformation softmax à haute température ($T > 1$) aux logits. Crucialement, les logits de l'enseignant sont en stop-gradient, et aucun modèle externe n'est utilisé.
   $$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$$
2. Distillation On-Policy : L'étudiant est entraîné pour minimiser la divergence de Kullback-Leibler (KL) entre sa distribution actuelle $q_\theta$ et l'auto-enseignant à haute température $p_T$, en utilisant des rollouts on-policy échantillonnés de sa propre distribution $q_\theta$.
   $$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(KL Direct / Forward KL)}$$
   $$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(KL Inverse / Reverse KL)}$$

Propriétés Structurelles

• Préservation du Rang : Puisque $p_T$ est une transformation de puissance monotone de $q_\theta$ ($p_T(v) \propto q_\theta(v)^{1/T}$), le classement des tokens est préservé. L'enseignant et l'étudiant partagent le même support local et la même préférence sémantique ; seule la netteté de la distribution diffère.
• Internalisation : Contrairement aux ajustements de température de décodage standard, TS-OPSD met à jour les poids du modèle pour encoder de manière permanente le comportement plus lisse et à plus haute entropie. Cela élimine le décalage entre l'entraînement et l'inférence.
• Dynamique de Gradient :
  • Forward KL (FKL) : Le gradient prend la forme $q_\theta(v) - p_T(v)$. Cela réalise un « lissage structuré », repondérant les alternatives supprimées sur la base des propres jugements préalirs du modèle.
  • Reverse KL (RKL) : Sous le couplage d'auto-température, la minimisation de la RKL est localement équivalente à la maximisation de l'entropie de l'étudiant, la température agissant uniquement comme un multiplicateur scalaire sur la magnitude du gradient.

3. Contributions Clés

1. Cadre de Réchauffement de Politique : Introduit TS-OPSD, une méthode pour internaliser l'effet exploratoire de la température dans les paramètres du modèle, servant d'intervention post-effondrement.
2. Aperçu Théorique : Démontre que sous le couplage d'auto-température, le décalage enseignant-étudiant est minimisé (préservation du rang), et que la RKL se réduit à une mise à jour directe de maximisation de l'entropie.
3. Validation Empirique : Montre que le réchauffement d'un checkpoint ayant subi un effondrement d'entropie fournit une initialisation supérieure pour la poursuite du RL par rapport à un entraînement continu standard ou à des ajustements de température au niveau du rollout.
4. Analyse des Dynamiques : Caractérise le phénomène de « saut d'entropie », où la récupération de l'entropie se produit en deux phases (lissage lent suivi d'un saut discontinu brusque), et analyse la réversibilité de ces mises à jour de paramètres.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3-4B-Base et Qwen3-8B-Base en utilisant le jeu de données DAPO-Math-17K et évaluées sur MATH-500, AIME24/25/26, et OlymMATH.

• Gains de Performance : TS-OPSD (spécifiquement avec la Forward KL, PR-FKL) a systématiquement surpassé la ligne de base standard DAPO et le Rollout Reheating (DAPO w/ RR).
  • Sur Qwen3-8B-Base, la PR-FKL a atteint un Avg pass@8 de 54.74, contre 51.60 pour le DAPO standard et 52.66 pour le Rollout Reheating.
  • Les gains étaient plus prononcés sur les benchmarks les plus difficiles (AIME, OlymMATH).
• Récupération de l'Entropie : Après le réchauffement, les modèles ont repris le RL à partir d'une initialisation à plus haute entropie et ont atteint des récompenses finales plus élevées que le DAPO standard, qui restait supprimé.
• Comparaison avec le Rollout Reheating : Bien qu'augmenter la température d'échantillonnage pendant les rollouts (RR) apporte des gains non négligeables, le Policy Reheating (PR) a donné des résultats supérieurs. Cela suggère que le bénéfice provient de la distribution de politique plus lisse elle-même agissant comme une meilleure fondation pour l'optimisation, plutôt que simplement d'un échantillonnage plus bruité.
• Préservation des Capacités : Les analyses ont montré que TS-OPSD effectue une redistribution de probabilité préservant le support :
  • Représentations Intermédiaires : Les scores CKA linéaires entre les couches de base et réchauffées sont restés proches de 1.0, indiquant que les représentations internes sont restées largement inchangées.
  • Capacité de Raisonnement : La précision des tâches sur MATH-500 et GPQA est restée stable tout au long du processus de distillation, confirmant que la récupération de l'entropie n'a pas dégradé les compétences de raisonnement.
  • Ensembles de Candidats : Le chevauchement des Top-10 tokens et la rétention de la masse de probabilité étaient proches de 1.0, indiquant que les préférences sémantiques du modèle ont été préservées tandis que les marges ont été adoucies.

5. Signification et Revendications

L'article affirme que la restauration de l'entropie peut être découplée de l'objectif de RL et insérée comme une opération modulaire entre les étapes lorsqu'une politique devient trop déterministe.

• Intervention Modulaire : TS-OPSD offre un mécanisme simple et léger pour étendre le RL orienté vers le raisonnement au-delà du goulot d'étranglement de l'effondrement de l'entropie sans modifier l'algorithme de RL central.
• Stabilité dans les Contextes de Données Rares : Dans les expériences avec des données réduites (2048 prompts), l'entraînement RL standard est devenu instable (pics de gradient, dégradation de la récompense) en raison d'un effondrement sévère de l'entropie. TS-OPSD a agi comme un mécanisme de stabilisation, permettant un entraînement plus long et plus stable.
• Efficacité Computationnelle : L'intervention de réchauffement ajoute environ 15 à 17 % au temps total d'entraînement du RL. Lorsqu'elle est normalisée par taille de lot, le coût par échantillon est comparable ou inférieur aux étapes de RL standard.
• Limites : Les auteurs notent que les expériences sont limitées à des échelles de modèles spécifiques (4B/8B) et que le critère d'arrêt pour le réchauffement (seuil d'entropie) est actuellement empirique plutôt que fondé sur des principes. Ils suggèrent que les travaux futurs pourraient explorer des programmes de cascades alternant OPSD et RL.

En résumé, TS-OPSD démontre que l'« internalisation » de la température via l'auto-distillation restaure efficacement la capacité d'exploration des politiques effondrées, permettant au RL de continuer à atteindre des plafonds de performance plus élevés tout en préservant les structures de raisonnement acquises durant l'entraînement.