Résumé Technique : RLCSD – Apprentissage par Renforcement avec Auto-Distillation Contrastive On-Policy

1. Problématique : Dérive de Style Induite par le Privilège

L'article identifie une pathologie critique dans l'Auto-Distillation On-Policy (OPSD), un paradigme où un modèle unique agit à la fois comme enseignant et comme étudiant, l'enseignant bénéficiant d'un accès à un « contexte privilégié » (par exemple, une solution vérifiée) indisponible pour l'étudiant.

Alors que les méthodes OPSD existantes (telles qu'OPSD, SDPO, SRPO, RLSD) visent à fournir une supervision dense au niveau du jeton (token) en minimisant l'écart de distribution entre l'étudiant et l'enseignant privilégié, les auteurs démontrent que ce signal d'apprentissage est fondamentalement défectueux. Ils nomment ce défaut la dérive de style induite par le privilège.

• Le Mécanisme : Conditionner l'enseignant sur une solution vérifiée (le contexte privilégié) permet certes d'accentuer sa confiance sur les jetons porteurs de la tâche (ex: opérateurs mathématiques). Cependant, cela induit simultanément un décalage systématique, orthogonal à la justesse, dans le comportement génératif. L'enseignant privilégié tend à produire des sorties plus courtes, plus assertives, supprime les hésitations exploratoires et réalloue la masse de probabilité vers les jetons de formatage et de discours (ex: « Attendez », « Par conséquent », « \n\n »).
• La Conséquence : Le signal résultant ($e_{c,t}$) est dominé par ces jetons de style plutôt que par les jetons porteurs de la tâche qui déterminent la réponse.
• Pathologies Observées : Ce biais de signal entraîne deux modes de défaillance distincts lors de l'entraînement :
  1. Explosion de l'Entropie et Instabilité : Les méthodes comme OPSD et SDPO souffrent d'une croissance non bornée de l'entropie, menant à des explosions de la longueur des réponses et à l'effondrement de l'entraînement.
  2. Réduction Prématurée de la Longueur : Les méthodes comme RLSD présentent une réduction drastique de la longueur des réponses, limitant la capacité du modèle à effectuer un raisonnement à long horizon.

2. Méthodologie : RLCSD

Pour remédier à la dérive de style induite par le privilège, les auteurs proposent le RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation). L'idée centrale est que les changements stylistiques induits par le contexte privilégié sont partagés entre les indices corrects et incorrects lorsqu'ils sont présentés sous des modèles de prompts identiques. En contrastant un indice correct avec un indice incorrect, la composante stylistique partagée peut être annulée, laissant un signal concentré sur la justesse de la tâche.

Le pipeline RLCSD se compose de trois étapes :

Étape 1 : Échantillonnage des Rollouts et Partitionnement

Pour une requête $x$ donnée, la politique étudiante $\pi_S$ échantillonne un groupe de $G$ rollouts. Un vérificateur basé sur des règles partitionne ceux-ci en un sous-ensemble correct ($\mathcal{G}^+$) et un sous-ensemble incorrect ($\mathcal{G}^-$). Les groupes ayant des résultats uniformes (tous corrects ou tous incorrects) sont écartés car ils ne produisent aucun avantage sous la normalisation standard de GRPO.

Étape 2 : Construction du Signal Contrastif au Niveau du Jeton

Au lieu d'utiliser un seul indice privilégié, RLCSD construit un signal contrastif $e_{ctr,t}$ :

1. Indice Positif ($y_c^*$) : Échantillonné de $\mathcal{G}^+$.
2. Indices Négatifs ($y_{w,k}^*$) : $K$ indices échantillonnés de $\mathcal{G}^-$.
3. Prompting Symétrique : Les deux indices sont enveloppés dans un modèle de prompt identique (Problème + Solution de Référence + Réponse). Cela garantit que l'enseignant traite les deux comme des références de vérité terrain, rendant les décalages stylistiques induits identiques.
4. Le Signal : Le signal contrastif est calculé comme la différence entre l'écart de log-probabilité sous l'indice correct et la moyenne des écarts de log-probabilité sous les $K$ indices négatifs :
   $$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$$
   Affinements : La méthode utilise une K-marginalisation sur les indices négatifs pour stabiliser le signal contre l'hétérogénéité des types d'erreurs et exclut le rollout cible du pool d'indices pour empêcher l'enseignant de devenir trop confiant dans sa propre génération.

Étape 3 : Modulation Ancrée au Vérificateur et Perte

Le signal contrastif $e_{ctr,t}$ n'est pas utilisé comme une récompense autonome, mais comme une modulation de l'avantage au niveau du résultat ($A_{ORM}$) dérivé de GRPO.

• Modulation : $e_{ctr,t}$ est lissé (via $\tanh$) et mis à l'échelle pour produire un terme de modulation au niveau du jeton $r_t$.
• Écrêtage Conservateur de Signe : La modulation est ajoutée à $A_{ORM}$, mais le résultat est écrêté pour garantir que la direction de la mise à jour ne contredise jamais le signal de résultat du vérificateur.
• Perte à Deux Voies : L'objectif final agrège une perte de type PPO avec clipping à deux voies :
  1. Une voie non modulée pour les jetons où le signal contrastif est faible (bruit).
  2. Une voie modulée pour les jetons où le signal est fort.
     Crucialement, ces voies sont normalisées indépendamment au sein de chaque rollout pour éviter que le signal modulé ne soit dilué par la majorité des jetons non modulés.

3. Contributions Clés

1. Caractérisation de la Dérive de Style Induite par le Privilège : L'article identifie et quantifie un biais systématique dans l'OPSD où le conditionnement privilégié déplace le signal d'apprentissage vers les jetons stylistiques, provoquant l'instabilité de l'entraînement ou une réduction prématurée de la longueur des réponses.
2. Algorithme RLCSD : Une nouvelle méthode qui atténue cette dérive grâce à l'annulation contrastive symétrique entre les indices privilégiés corrects et incorrects. Elle intègre ce signal nettoyé dans l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) en tant que modulation au niveau du jeton ancrée au vérificateur.
3. Généralisabilité du Principe Contrastif : Les auteurs démontrent que la construction contrastive est un composant indépendant de la méthode. Elle peut être injectée dans les bases de référence OPSD existantes (comme OPSD et RLSD) pour améliorer leur stabilité et leurs performances, suggérant que le principe s'applique largement à l'auto-distillation on-policy.
4. Extension à la Distillation Cross-Model : L'article étend l'intuition à la distillation On-Policy Cross-Model (OPD), montrant qu'une décomposition similaire entre jetons de tâche et jetons de style de surface explique pourquoi des enseignants stylistiquement alignés mais moins puissants peuvent parfois surpasser des enseignants plus forts mais stylistiquement distants.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3 (1.7B, 4B, 8B) et Olmo-3-7B-Think à travers le raisonnement mathématique (AMC23, AIME24, AIME25) et le raisonnement logique (Knights & Knaves).

• Performance : RLCSD surpasse systématiquement GRPO et les méthodes OPSD antérieures (OPSD, SDPO, SRPO, RLSD) sur tous les benchmarks.
  • Sur Qwen3-8B, RLCSD a atteint un mean@12 de 90.8 sur AMC23 (contre 90.1 pour GRPO) et 77.5 sur AIME24.
  • Sur le Raisonnement Logique (OOD), RLCSD montre des gains significatifs, atteignant 81.8 pass@1 sur Knights & Knaves (4-8 rôles) et 79.0 sur le split OOD à 9 rôles, surpassant GRPO de loin.
• Stabilité de l'Entraînement : Contrairement aux méthodes OPSD concurrentes qui présentaient une explosion de l'entropie ou une réduction de la longueur des réponses, RLCSD a maintenu une entropie et des longueurs de réponse stables tout au long de l'entraînement, comparables à GRPO.
• Études d'Ablation :
  • Supprimer le mécanisme contrastif (en utilisant uniquement des indices unidirectionnels) a provoqué des baisses de performance de 3.0 à 5.4 points, confirmant la nécessité du contraste.
  • Supprimer la K-marginalisation ou autoriser les auto-rollouts dans le pool d'indices a dégradé les performances, validant les raffinements de conception.
  • Supprimer l'agrégation de perte à deux voies (en utilisant une moyenne globale unique) a considérablement réduit les performances, prouvant la nécessité d'isoler les jetons modulés.

5. Signification et Revendications

L'article affirme que RLCSD offre une solution robuste à l'instabilité qui frappe l'auto-distillation on-policy. En isolant le signal « porteur de tâche » du bruit de « style » inhérent au conditionnement privilégié, RLCSD permet un entraînement stable et performant de modèles de raisonnement sans la surcharge mémoire de la maintenance d'un modèle enseignant séparé.

Les auteurs affirment modestement que le principe contrastif est une intuition générale pour la distillation on-policy. Il améliore non seulement l'algorithme spécifique RLCSD, mais sert également d'outil de diagnostic pour la sélection d'enseignants dans les contextes de distillation cross-model, où l'alignement des styles de raisonnement peut être plus critique que la capacité brute. Le travail suggère que les futures méthodes de distillation devront tenir compte de et atténuer les dérives stylistiques parasitaires induites par le contexte privilégié.