🤖 machine learning

Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy

Cet article traite de l'écart entre l'entraînement et l'inférence dans l'apprentissage par renforcement des LLM en le formulant comme un processus de décision markovien sous contrainte de divergence (DCMDP) avec un mécanisme de relaxation lagrangienne dynamique, ce qui stabilise l'entraînement et améliore les performances en équilibrant de manière adaptative la maximisation de la récompense et le contrôle de la divergence afin de permettre une exploration libre à l'intérieur d'une région de tolérance tout en corrigeant les écarts excessifs.

Auteurs originaux : Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant brillant (l'IA) comment résoudre des problèmes mathématiques complexes. Vous disposez de deux salles différentes pour cet entraînement :

La Salle d'Entraînement : C'est un laboratoire de haute technologie, extrêmement précis, doté des meilleurs équipements. Ici, l'étudiant apprend en utilisant des outils parfaits et de haute fidélité.
La Salle d'Examen : C'est une salle de classe exiguë et à petit budget où l'étudiant passera réellement son test. Les outils ici sont moins chers et légèrement moins précis.

Le Problème : Le « Fantôme » dans la Machine
Par le passé, les chercheurs ont remarqué un bug étrange. L'étudiant étudiait dur dans la salle d'entraînement sophistiquée, mais en entrant dans la salle d'examen, il oubliait soudainement tout ou commençait à faire des erreurs stupides. Cela se produisait parce que le « moteur » qui faisait fonctionner le cerveau de l'étudiant dans la salle d'entraînement était légèrement différent de celui de la salle d'examen. Même si le « savoir » de l'étudiant (les poids du modèle) était le même, la façon dont il traitait l'information changeait juste assez pour provoquer un effondrement total des performances.

Essayer de corriger cela en rendant la salle d'entraînement exactement identique à la salle d'examen (en dégradant les outils de luxe en outils bas de gamme) n'a pas bien fonctionné ; cela rendait le processus d'apprentissage instable et sujet à des explosions.

La Solution : Un Coach de la « Zone de Sécurité »
Les auteurs de ce papier ont imaginé une nouvelle façon de coacher l'étudiant. Ils ont réalisé que l'étudiant n'a pas besoin d'être parfaitement identique dans les deux salles pour réussir. En fait, le forcer à être identique trop tôt empêche en réalité l'apprentissage de nouvelles solutions créatives.

Ils ont introduit un concept appelé DCMDP (Processus de décision markovien à contrainte de divergence). Voici comment cela fonctionne en utilisant une analogie simple :

1. La « Zone de Tolérance » (Le Tampon de Sécurité)

Imaginez l'étudiant en train de marcher sur une corde raide.

L'ancienne méthode : Le coach criait « STOP ! » dès que l'étudiant oscillait d'un millimètre. Cela rendait l'étudiant trop effrayé pour bouger, de sorte qu'il n'apprenait jamais à s'équilibrer ou à marcher vite.
La nouvelle méthode (DCMDP) : Le coach dessine une large « Zone de Sécurité » invisible autour de la corde raide. Tant que l'étudiant reste à l'intérieur de cette zone, le coach dit : « Très bien ! Continue d'explorer ! Tu peux osciller un peu à gauche ou à droite. » Cela permet à l'étudiant d'apprendre et d'améliorer ses compétences mathématiques librement.

2. La « Pénalité Magique » (La Correction)

Cependant, si l'étudiant oscille trop loin en dehors de cette Zone de Sécurité (ce qui signifie que le comportement dans la salle d'entraînement devient trop différent du comportement dans la salle d'examen), le coach le ramène doucement mais fermement.

Le papier a découvert que la meilleure façon de mesurer cette « oscillation » est d'observer la différence de probabilité de chaque mot (token) prononcé par l'étudiant.
Si l'étudiant dit un mot qui est très probable dans la salle d'entraînement mais très peu probable dans la salle d'examen, c'est un « signal d'alarme ».

3. Le Coach Intelligent (Le Multiplicateur de Lagrange)

Le papier introduit un « Coach Intelligent » (un outil mathématique appelé multiplicateur de Lagrange) qui ajuste automatiquement la force de la traction.

Si l'étudiant oscille sauvagement, le coach tire plus fort.
Si l'étudiant reste principalement dans la zone, le coach se détend et le laisse se concentrer sur la résolution des problèmes mathématiques.
Cela garantit que l'étudiant apprend à être à la fois intelligent et fiable.

Le Résultat : Le Superpouvoir « Hétérogène »

La partie la plus excitante de ce papier est qu'elle permet un Entraînement Hétérogène.

Vous pouvez entraîner l'étudiant dans un Laboratoire de Haut Niveau (en utilisant des ordinateurs coûteux et précis) pour obtenir la meilleure vitesse et qualité d'apprentissage possibles.
Mais, vous lui apprenez à être prêt pour la Salle d'Examen à Petit Budget (en utilisant des ordinateurs moins chers et aux ressources limitées) en vérifiant constamment s'il reste dans la « Zone de Sécurité ».

En Résumé :
Au lieu d'essayer de rendre les environnements d'entraînement et de test identiques (ce qui est difficile et coûteux), cette méthode apprend à l'IA à être consciente d'elle-même. Elle lui permet d'explorer et d'apprendre librement tant qu'elle ne s'éloigne pas trop de la façon dont elle se comportera réellement dans le monde réel. Si elle commence à trop dériver, une correction intelligente et automatique la ramène sur le bon chemin.

Le papier a testé cette méthode sur de grands modèles d'IA (comme Qwen-8B et Qwen-30B) résolvant des problèmes mathématiques. Ils ont constaté que cette méthode empêchait l'IA de « planter » et améliorait même ses performances, même lorsque la configuration d'entraînement était beaucoup plus puissante que la configuration de déploiement.

Résumé Technique : Reformulation de l'Apprentissage par Renforcement des LLM pour un Entraînement Efficace sous Discrépance de Boîte Noire

1. Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu un paradigme de post-entraînement critique pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, le post-entraînement par RL souffre fréquemment de performances sous-optimales imprévisibles ou d'effondrements complets de l'entraînement. Des investigations récentes attribuent ces échecs à une discrépance entraînement-inférence (ou décalage) omniprésente.

Cette discrépance survient car les exigences industrielles forcent souvent les praticiens à utiliser des moteurs et des formats de précision disparates (par exemple, des noyaux différents, des stratégies de parallélisation ou des précisions numériques comme BF16 vs FP8) pour les mêmes poids de modèle lors de l'entraînement par rapport à l'inférence. Cela crée un écart caché entre les distributions de probabilité d'action de la politique d'entraînement ( $\pi_{Train}$ ) et de la politique d'inférence ( $\pi_{Inf}$ ).

Les stratégies d'atténuation existantes présentent des limitations significatives :

Alignement de Précision Uniforme : Le simple fait de rétrograder la précision de l'entraînement pour correspondre à celle de l'inférence (par exemple, vers FP16) réduit la plage de valeurs représentables et exacerbe les risques d'explosion de gradient.
Interventions Heuristiques : Les méthodes telles que le masquage des gradients des jetons à haute discrépance ne font que supprimer l'impact des données bruitées. Elles ne traitent pas la cause profonde et négligent l'objectif ultime : optimiser la politique pour le déploiement en inférence, et non seulement pour le processus d'entraînement.
Alignement de l'Infrastructure : Tenter d'aligner les opérateurs de bas niveau et les piles matérielles est laborieux et souvent irréalisable en raison de la myriade de cas particuliers.

Le défi central est de permettre à la politique d'entraînement de percevoir dynamiquement et d'annuler activement sa discrépance avec la politique d'inférence sans sacrifier l'objectif primaire de maximisation de la récompense.

2. Méthodologie : MDP à Discrépance Contrainte (DCMDP)

Les auteurs proposent un changement de paradigme, passant des processus de décision de Markov (MDP) standards à un MDP à Discrépance Contrainte (DCMDP). Ce cadre traite la discrépance entraînement-inférence comme un problème d'optimisation de boîte noire, permettant au système de gérer de manière transparente des configurations d'entraînement et d'inférence hétérogènes.

Composants Clés :

Métrique de Discrépance :
Les auteurs évaluent empiriquement trois signaux de discrépance au niveau du jeton : la Différence de Probabilité ( $\delta_{diff}$ ), le Ratio de Probabilité ( $\delta_{ratio}$ ) et la Différence de Log-Probabilité ( $\delta_{log}$ ). Ils identent que la différence de probabilité absolue ( $\delta_{diff} = |p_{Train} - p_{Inf}|$ ) est la pénalité la plus efficace. Elle offre une régularisation « plastique » qui corrige la dérive pertinente au déploiement sans trop contraindre l'exploration pilotée par la récompense, contrairement aux pénalités basées sur le ratio qui peuvent être trop conservatrices pour les jetons de faible probabilité.
La Région de Tolérance de Discrépance :
Une découverte empirique critique est l'existence d'une région de tolérance de discrépance. Pénaliser agressivement les discrépances mineures et négligeables tôt dans l'entraînement supprime l'exploration de la politique et réduit l'efficacité de l'apprentissage. Inversement, réduire une discrépance excessive en dehors de cette région améliore la cohérence de l'optimisation.
- Mécanisme : La formulation DCMDP n'applique des pénalités que lorsque la discrépance dépasse un seuil $c$ prédéfini. À l'intérieur de cette région de tolérance, la politique est autorisée à explorer librement pour maximiser les récompenses.
Optimisation à Double Objectif via la Relaxation Lagrangienne :
Le problème est formulé comme la maximisation de la récompense attendue sous une contrainte sur la discrépance moyenne au niveau du jeton :
$\max_{\theta} J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}} \left[ \sum r(o_t) \right]$
$\text{sous réserve de } \frac{1}{|\tau|} \sum |\pi_{Train}(o_t) - \pi_{Inf}(o_t)| \leq c$

Pour résoudre cela, les auteurs emploient la Relaxation Lagrangienne. Un multiplicateur apprenable $\lambda$ ajuste dynamiquement le poids de la pénalité de discrépance :
* Si la discrépance viole la limite de tolérance ( $>c$ ), $\lambda$ augmente, renforçant la pénalité pour ramener la politique vers la zone de sécurité.
* Si la discrépance est à l'intérieur de la limite, $\lambda$ s'amenuise vers zéro, permettant à la politique de se concentrer sur la maximisation de la récompense.

L'objectif final (Dual-GRPO) injecte cette pénalité adaptative directement dans l'avantage normalisé par groupe :
$\hat{A}^{DCMDP}_{i,t} = \hat{A}_{i,t} - \lambda_k \cdot \delta_{i,t}$

3. Contributions Clés

Compensation Autonome de la Discrépance : L'article démontre que l'incorporation d'une pénalité de boîte noire robuste (différence de probabilité absolue au niveau du jeton) confère à la politique d'entraînement la capacité d'éradiquer de manière autonome le risque d'effondrement de l'entraînement induit par la discrépance.
Changement de Paradigme vers le DCMDP : Les auteurs reformulent l'apprentissage par renforcement des LLM en tant que MDP à Discrépance Contrainte. Cette approche équilibre de manière optimale les doubles objectifs de maximisation de la récompense de la tâche et de minimisation de la discrépance entraînement-inférence, allant au-delà de la simple scalarisation des objectifs.
Paradigme d'Entraînement Hétérogène : La méthode permet une configuration d'entraînement où les modèles sont optimisés dans des environnements de haute fidélité et gourmands en ressources (ex: précision BF16) tout en étant explicitement alignés pour des déploiements d'inférence à faible coût et à ressources limitées (ex: FP8). Cela transforme l'hétérogénéité de l'infrastructure d'un handicap en un levier d'optimisation contrôlable.

4. Résultats Expérimentaux

La méthode a été évaluée sur les modèles Qwen3-8B (dense) et Qwen3-30B-A3B (Mixture-of-Experts) à travers six benchmarks de raisonnement mathématique (AIME24/25, AMC23, MATH-500, Minerva, OlympiadBench).

Entraînement/Inférence BF16 : Le DC-GRPO a systématiquement surpassé la ligne de base vanilla GRPO sur tous les benchmarks pour les deux modèles, atteignant des scores moyens plus élevés (par exemple, Qwen3-8B est passé de 67,3 à 71,0). Cela confirme que l'imposition de contraintes de discrépance améliore, plutôt qu'elle n'entrave, l'optimisation de la récompense primaire.
Entraînement Hétérogène (BF16) + Déploiement (FP8) : Dans ce cadre, le vanilla GRPO a subi une dégradation significative des performances ou un effondrement dû à l'écart amplifié entre l'entraînement et l'inférence. Le DC-GRPO a réussi à atténuer cela, préservant et dépassant souvent les performances de la ligne de base BF16 uniquement.
Études d'Ablation : La méthode s'est révélée robuste aux variations du multiplicateur de Lagrange initial ( $\lambda_0$ ) et du taux d'apprentissage dual ( $\eta_\lambda$ ). Le budget de tolérance ( $c$ ) s'est avéré critique ; le fixer trop bas causait une sur-régularisation, tandis qu'un réglage trop élevé faisait dégénérer la méthode en vanilla GRPO.

5. Signification et Revendications

L'article affirme que le DCMDP fournit un cadre algorithmique unifié pour atténuer l'instabilité entraînement-inférence sans nécessiter d'optimisations exhaustives et sur mesure des couches logicielles ou matérielles sous-jacentes. En traitant la discrépance comme un signal de rétroaction de boîte noire, la méthode permet :

Un Entraînement Stable : Prévenir les effondrements brusques fréquents dans le post-entraînement par RL.
Une Exploration Efficace : Permettre à la politique d'explorer librement au sein d'une zone de discrépance sécurisée.
L'Efficacité des Ressources : Permettre l'utilisation de configurations d'entraînement de haute fidélité pour simuler et s'adapter à des environnements de déploiement contraints, facilitant ainsi des déploiements de modèles réels plus efficaces.

Les auteurs reconnaissent des limites, notant que leur portée empirique est actuellement limitée aux précisions BF16 et FP8 ainsi qu'à des familles de modèles spécifiques, et que des travaux futurs seront nécessaires pour étendre la méthode à d'autres combinaisons de backends et architectures de modèles.