🤖 AI

Reinforcement-aware Knowledge Distillation for LLM Reasoning

Ce document propose la distillation sensible à l'apprentissage par renforcement (RLAD), une méthode qui intègre l'imitation sélective dans l'apprentissage par renforcement via un objectif de distillation de ratio de région de confiance (TRRD) afin de surmonter le décalage de distribution et l'interférence d'objectif, permettant ainsi à des modèles de langage plus petits d'hériter efficacement de capacités de raisonnement par chaîne de pensée de modèles enseignants plus grands tout en équilibrant l'exploration et l'exploitation.

Auteurs originaux : Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un maître chef brillant, mais incroyablement coûteux (l'Enseignant) capable de cuisiner des repas complexes à plusieurs services avec un raisonnement parfait. Vous voulez apprendre à un apprenti chef plus petit, plus rapide et moins cher (l'Apprenti) à cuisiner comme le maître, afin de pouvoir servir de la nourriture de qualité à plus de personnes sans vous ruiner.

Pendant longtemps, la façon d'enseigner à l'apprenti était simple : copier le livre de recettes du Maître. L'apprenti se contentait de mémoriser les étapes exactes suivies par le maître dans le passé. Cela fonctionne assez bien, mais c'est rigide. Si l'apprenti essaie de cuisiner quelque chose d'un peu différent ou rencontre un nouvel ingrédient, il reste bloqué car il ne fait que suivre aveuglément de vieilles notes, sans apprendre à réfléchir à la cuisine.

Récemment, les chefs ont commencé à utiliser une nouvelle méthode : l'Essai et l'Erreur avec Feedback. L'apprenti essaie de cuisiner, reçoit un score basé sur la saveur du plat (la Récompense), et ajuste sa technique pour obtenir un meilleur score la fois suivante. C'est excellent pour l'apprentissage, mais c'est lent et coûteux.

Le problème survient lorsque vous essayez de combiner ces deux méthodes. Si vous dites à l'apprenti : « Tu dois copier les étapes du Maître et essayer d'obtenir un score de goût élevé », il peut souvent être confus.

Parfois, les anciennes étapes du Maître ne mènent pas au meilleur score de goût pour la situation actuelle.
L'instruction « Copier » entre en conflit avec l'instruction « Obtenir un score élevé », ce qui fait osciller l'apprenti et nuit à son apprentissage.

La Nouvelle Solution : « L'Imitation Intelligente » (RLAD)

Les auteurs de cet article proposent une nouvelle façon d'enseigner, appelée RLAD (Reinforcement-Aware Distillation - Distillation sensible au renforcement). Au lieu de forcer l'apprenti à copier le Maître 100 % du temps, ils introduisent une règle d'« Imitation Intelligente ».

Voici l'idée centrale en utilisant une analogie de GPS :

L'Objectif : L'apprenti veut conduire vers une destination qui offre la plus haute « Récompense » (comme la meilleure vue).
L'Ancienne Méthode (Distillation Standard) : Le GPS (l'Enseignant) crie constamment : « Tournez à gauche ! Tournez à gauche ! », même si la route est bloquée ou qu'un meilleur itinère existe. L'apprenti suit aveuglément, même si cela le mène dans une impasse.
La Nouvelle Méthode (RLAD) : Le GPS ne donne des instructions que lorsqu'il est d'accord avec le plan actuel de l'apprenti pour obtenir une meilleure vue.
- Si l'apprenti conduit vers une vue magnifique (Récompense élevée) et que le GPS dit : « Oui, c'est un bon virage », l'apprenti suit de près le GPS.
- Si l'apprenti conduit vers une vue magnifique mais que le GPS dit : « Non, tournez à droite », l'apprenti ignore le GPS car le « score de goût » (Récompense) indique que le chemin actuel est meilleur.
- Si l'apprenti est perdu (Récompense faible), le GPS intervient pour le guider vers un chemin sûr et connu.

La Recette Secrète : La « Zone de Confiance » (TRRD)

Pour que cela fonctionne sans que l'apprenti ne devienne fou, l'article utilise une technique appelée Trust Region Ratio Distillation (TRRD).

Considérez cela comme une laisse de sécurité attachée à l'apprenti.

La laisse est ancrée à un mélange de l'endroit où l'apprenti était un instant auparavant et de l'endroit où le Maître irait.
L'apprenti est autorisé à courir librement pour explorer de nouveaux chemins (Exploration) ou s'en tenir à ce qu'il connaît (Exploitation).
Cependant, si l'apprenti tente de s'éloigner trop loin de la « Zone de Sécurité » définie par la sagesse du Maître, la laisse le ramène doucement.
Crucialement, la laisse ne se tend que si les conseils du Maître aident réellement l'apprenti à obtenir un meilleur score. Si le Maître se trompe pour la situation actuelle, la laisse reste lâche, laissant l'apprenti trouver une meilleure voie.

Qu'ont-ils découvert ?

Les chercheurs ont testé cela sur deux types de « défis culinaires » :

Énigmes Logiques : Comme résoudre un mystère complexe ou un problème de logistique.
Problèmes Mathématiques : Comme résoudre des équations difficiles ou des mathématiques de compétition.

Les Résultats :

Meilleurs Scores : Les apprentis formés avec cette nouvelle méthode d'« Imitation Intelligente » ont obtenu des scores nettement plus élevés que ceux qui se contentaient de copier le Maître ou de ceux qui essayaient simplement de deviner.
Problèmes plus Difficiles : L'amélioration est la plus marquée sur les problèmes les plus difficiles. Sur les problèmes faciles, tout le monde s'en sortait bien, mais sur les problèmes « impossibles », la nouvelle méthode a brillé.
Stabilité : L'entraînement était beaucoup plus fluide. Les anciennes méthodes faisaient souvent osciller l'apprenti et lui faisaient perdre ses progrès (instabilité), mais la nouvelle méthode le maintenait sur une trajectoire stable vers le sommet.
Vrai Apprentissage vs Copie : Les anciennes méthodes faisaient principalement mémoriser à l'apprenti les réponses spécifiques du Maître (bien pour deviner souvent, mais mal pour trouver la meilleure réponse unique), tandis que la nouvelle méthode a réellement amélioré la capacité de l'apprenti à trouver la meilleure réponse dès le premier essai.

En Résumé

Cet article introduit une façon plus intelligente d'enseigner le raisonnement aux petits modèles d'IA. Au lieu de forcer un grand et intelligent enseignant à être copié aveuglément, il apprend à l'élève à écouter l'enseignant uniquement quand les conseils de celui-ci l'aident à gagner. Cela crée un étudiant qui est à la fois intelligent (comme l'enseignant) et adaptable (capable de trouver de nouvelles et meilleures solutions), tout en s'entraînant de manière plus rapide et plus stable.

Résumé Technique : Distillation de Connaissances Sensible au RL pour le Raisonnement des LLM (RLAD)

1. Énoncé du Problème

Les grands modèles de langage (LLM) ont atteint des capacités de raisonnement significatives grâce à l'apprentissage par renforcement (RL) en post-entraînement, particulièrement dans les tâches de chaîne de pensée (CoT) longue. Cependant, les coûts d'inférence élevés de ces grands modèles nécessitent leur distillation vers des modèles étudiants plus petits. Les méthodes existantes de distillation de connaissances (KD) font face à des limitations critiques lorsqu'elles sont appliquées au post-entraînement par RL :

Décalage de Distribution : Les méthodes de KD standard (hors ligne, off-policy ou on-policy) reposent souvent sur des traces de l'enseignant fixes ou sur une régularisation de divergence KL statique. En RL, la politique de l'étudiant évolue continuellement, provoquant un décalage de la distribution de déploiement (rollout). Les cibles de distillation statiques deviennent sous-optimales ou instables à mesure que l'étudiant s'éloigne de la distribution initiale de l'enseignant.
Interférence d'Objectifs : Les méthodes qui intègrent la KD dans la boucle de RL (par exemple, KDRL) ajoutent typiquement un terme de divergence KL entre l'étudiant et l'enseignant comme pénalité de régularisation. Cela crée un problème d'optimisation multi-objectif où l'objectif de maximisation de la récompense entre en compétition avec l'objectif d'imitation. Cette compétition nécessite un réglage minutieux des hyperparamètres (équilibrage des pertes) et peut conduire à des dynamiques d'entraînement instables, car la supervision de l'enseignant peut ne pas s'aligner sur les estimations d'avantage actuelles de l'étudiant.

2. Méthodologie : Distillation Sensible au RL (RLAD)

Les auteurs proposent RLAD, un cadre conçu pour effectuer une imitation sélective pendant le post-entraînement par RL. Le principe fondamental est que l'étudiant ne devrait être guidé par l'enseignant que lorsque ce guidage améliore la mise à jour de la politique actuelle sous l'objectif de RL.

Composant Clé : Distillation par Ratio de Région de Confiance (TRRD)
Au lieu d'utiliser un régularisateur KL autonome, RLAD introduit la TRRD, qui remplace le ratio d'échantillonnage d'importance standard dans l'optimisation de politique relative au groupe (GRPO) par un mélange enseignant-étudiant.

Mécanisme : La TRRD définit un nouveau ratio de vraisemblance $r^{TRRD}_{i,t}$ pour le $t$ -ième jeton de la $i$ -ème réponse :
$r^{TRRD}_{i,t}(\theta_S) = \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_S,old}(y_t | x, y_{<t})} \right)^\alpha \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_T}(y_t | x, y_{<t})} \right)^{1-\alpha}$
Ici, $\pi_{\theta_S}$ est la politique actuelle de l'étudiant, $\pi_{\theta_S,old}$ est la politique précédente de l'étudiant, et $\pi_{\theta_T}$ est la politique de l'enseignant. $\alpha \in [0, 1]$ est un coefficient de mélange.
Interprétation de la Région de Confiance : Ce ratio peut être vu comme une mise à jour de type PPO où la région de confiance est ancrée à un mélange de l'ancienne politique de l'étudiant et de celle de l'enseignant ( $r_{\pi_{mix}}$ ), plutôt qu'uniquement à l'ancienne politique de l'étudiant.
Sélection Sensible à l'Avantage : La mise à jour est pondérée par l'avantage relatif au groupe $\hat{A}_{i,t}$ $\hat{A}_{i, t}$ .
- Avantage Positif : Si l'avantage est positif, l'étudiant est encouragé à augmenter la probabilité du jeton. Si l'enseignant assigne également une probabilité élevée, le mélange d'ancrage est plus élevé, permettant à l'étudiant d'augmenter sa probabilité avant d'atteindre la limite de troncature (permettant des mises à jour plus importantes). Si l'enseignant assigne une faible probabilité, l'ancrage est plus bas, restreignant l'ampleur de la mise à jour.
- Avantage Négatif : Si l'avantage est négatif, l'étudiant est encouragé à diminuer la probabilité. Si l'enseignant assigne une probabilité élevée, la limite de troncature empêche l'étudiant de supprimer trop agressivement le jeton, préservant ainsi les comportements alignés sur l'enseignant.
- Avantage Proche de Zéro : L'influence de l'enseignant devient négligeable, évitant toute interférence lorsque le signal de récompense n'est pas informatif.

Cette conception équilibre implicitement l'exploration, l'exploitation et l'imitation en garantissant que le guidage de l'enseignant est modulé par le signal de récompense (avantage) et contraint dans une région de confiance.

3. Contributions Clés

Cadre RLAD : Un nouveau cadre de distillation pour le post-entraînement par RL qui intègre le guidage de l'enseignant via la Distillation par Ratio de Région de Confiance (TRRD), remplaçant la régularisation KL statique par un objectif de ratio de vraisemblance pondéré par l'avantage et tronqué.
Analyse Théorique : Une analyse démontrant que la TRRD permet une imitation sélective conditionnée par la récompense. Elle préserve les mises à jour limitées par la région de confiance et équilibre naturellement le compromis entre suivre l'enseignant et optimiser les récompenses sans nécessiter un équilibrage délicat des pertes.
Validation Empirique : Expériences approfondies sur le raisonnement logique (K&K Logistics) et le raisonnement mathématique à contexte long (AIME, AMC, MATH) montrant des améliorations constantes par rapport aux bases de référence.

4. Résultats Expérimentaux

Les auteurs ont évalué RLAD sur des tâches de raisonnement logique et de raisonnement mathématique complexe en utilisant des modèles étudiants allant de 0,6B à 8B de paramètres et des enseignants allant jusqu'à 32B.

Raisonnement Logique (K&K Logistics) :
- En utilisant un enseignant Qwen3-8B, RLAD a considérablement amélioré la précision moyenne pour Qwen3-0.6B (de 0,76 à 0,94 à 8K de contexte) et Qwen3-1.7B (de 0,95 à 0,99 à 8K de contexte) par rapport au GRPO standard.
- Les gains ont été plus prononcés sur les sous-ensembles les plus difficiles (PPL7 et PPL8), où RLAD maintient un écart clair sur KDRL.
- La dynamique d'entraînement a montré une convergence plus rapide et des récompenses finales plus élevées par rapport à GRPO et KDRL.
Raisonnement Mathématique :
- Modèles de Base (style R1-Zero) : Sur Qwen3-8B-Base, RLAD a amélioré la performance moyenne de +5,5 points par rapport à GRPO sur les tâches à contexte long (30K).
- Modèles Post-entraînés : RLAD a surpassé la distillation par KL explicite (KDRL) et la distillation hors ligne.
- Spécificités des Métriques : RLAD a montré des gains plus importants sur Pass@1 (Mean@32) par rapport à KDRL, qui tendait à montrer des gains relatifs plus importants sur Pass@32. Les auteurs interprètent cela comme le fait que RLAD réussit à piloter l'amélioration de la politique alignée sur la récompense (exploitation), tandis que les gains de KDRL étaient davantage tirés par une pure imitation de solutions diversifiées de l'enseignant.
- Stabilité : RL est devenu plus stable avec moins d'oscillations par rapport à KDRL, qui souffrait de problèmes de couplage d'objectifs.
Robustesse et Efficacité :
- Enseignant Faible : Lorsque l'enseignant était plus faible que l'étudiant, RLAD est resté proche des performances de GRPO, alors que KDRL se dégradait plus significativement.
- Hyperparamètres : RLAD s'est avéré largement insensible au coefficient de mélange $\alpha$ (fixé à 0,5), contrairement à KDRL qui est sensible au poids de la KL $\lambda$ .
- Efficacité : L'intégration de RLAD n'ajoute qu'environ 12 % de latence d'entraînement par rapport au GRPO standard, car l'enseignant n'est utilisé que pour le calcul des log-probabilités, et non pour la génération de trajectoires.

5. Signification et Revendications

L'article affirme que RLAD traite le désalignement fondamental entre la supervision statique de l'enseignant et les mises à jour dynamiques de la politique de RL. En intégrant le guidage de l'enseignant dans le mécanisme de mise à jour de la région de confiance, RLAD évite le « réglage fragile » requis par la régularisation KL multi-objectif.

Les auteurs soutiennent que RLAD permet à l'étudiant de se déplacer vers des comportements à haut avantage au sein d'une distribution d'ancrage tout en exploitant opportunément le guidage de l'enseignant. Cela se traduit par :

Performance Supérieure : Surpasse systématiquement GRPO, KDRL et la distillation hors ligne, particulièrement sur les benchmarks exigeants.
Stabilité : Dynamiques d'entraînement plus stables et meilleure convergence.
Véritable Optimisation RL : Contra matter aux méthodes qui reposent fortement sur l'imitation (ce qui peut booster le Pass@32 mais pas le Pass@1), RLAD donne la priorité au comportement aligné sur la récompense, menant à des gains plus forts dans les réponses correctes les plus probables du modèle (Pass@1).

L'article conclut que bien que l'approche dépende de modèles enseignants en open-weights bien calibrés pour l'accès aux logits, elle représente une étape significative pour rendre la distillation compatible avec la nature dynamique du post-entraînement par RL.