🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

Ce document propose la Divergence Regularized Policy Optimization (DRPO), une nouvelle méthode d'apprentissage par renforcement pour les LLM qui remplace le masquage de gradient strict utilisé dans les approches précédentes basées sur la divergence par un régularisateur quadratique lissé et pondéré par l'avantage afin de fournir des signaux correctifs continus et d'améliorer la stabilité de l'entraînement.

Auteurs originaux : Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant très talentueux mais légèrement chaotique (l'IA) comment passer un examen difficile. L'étudiant a déjà appris les bases, mais vous voulez maintenant lui apprendre à résoudre des problèmes spécifiques et délicats. Pour ce faire, vous lui donnez des questions d'entraînement, vous le laissez répondre, puis vous lui dites « Bon travail ! » ou « Réessaie ! » en fonction de sa performance. Ce processus est appelé Apprentissage par Renforcement (RL).

Cependant, il y a un piège : l'étudiant s'entraîne dans une bibliothèque calme (entraînement), mais passe l'examen réel dans une salle d'examen bruyante et chaotique (inférence). Comme les environnements sont légèrement différents, l'étudiant pourrait être confus ou changer ses habitudes de manière trop drastique, ce qui pourrait mener à une crise où il oublie tout ce qu'il savait.

Pour éviter cela, les enseignants utilisent une « zone de sécurité » (Trust Region). Cette zone stipule : « Tu peux changer tes réponses pour t'améliorer, mais ne les change pas trop radicalement, sinon tu perdras l'équilibre. »

Le Problème : Les anciennes règles étaient trop rigides

Pendant longtemps, les enseignants ont utilisé une méthode appelée PPO (Proximal Policy Optimization). Voyez le PPO comme un livre de règles strict : « Si votre réponse change de plus de 20 %, arrêtez ! Coupez tout crédit pour cette réponse. »

L'article souligne deux défauts majeurs de cette approche :

Le piège du « Ratio » : Le PPO mesure le changement en regardant de combien les probabilités d'une réponse ont changé. Dans un monde avec des millions de mots possibles (comme un dictionnaire de plus de 50 000 mots), un mot très rare (comme « xylophone ») pourrait passer d'une probabilité de 0,0001 % à 0,001 %. C'est un énorme changement de ratio (10 fois !), mais cela n'a presque aucune importance dans l'ensemble. Par contre, un mot courant (comme « le ») pourrait passer de 90 % à 80 %. C'est un faible changement de ratio, mais c'est un changement de sens massif. Le PPO s'y perd : il punit trop sévèrement les mots rares et laisse les mots communs s'emballer.
Le problème du « Coup net » : Des méthodes plus récentes (comme DPPO) ont tenté de corriger cela en mesurant la quantité réelle de changement de probabilité (comme mesurer la distance parcourue plutôt que le pourcentage). Mais elles utilisaient un « Masque Dur » (Hard Mask). Imaginez un mur. Si l'étudiant fait un pas de plus d'un pouce au-delà du mur, l'enseignant lui donne instantanément une claque et dit : « Stop ! Plus d'apprentissage pour cette étape. » C'est un interrupteur binaire : soit vous recevez tout le crédit, soit vous n'en recevez aucun. Cela crée un processus d'apprentissage saccadé et instable. Si l'étudiant est juste légèrement au-delà du mur, il ne reçoit aucune aide pour revenir sur le bon chemin ; il est simplement ignoré.

La Solution : DRPO (Le Guide Fluide)

Les auteurs proposent une nouvelle méthode appelée DRPO (Divergence Regularized Policy Optimization).

Au lieu d'un mur dur ou d'une règle de ratio stricte, imaginez un trampoline intelligent et rebondissant entourant la zone de sécurité.

À l'intérieur de la zone : Si l'étudiant effectue de bons changements à l'intérieur de la zone de sécurité, le trampoline le pousse doucement vers l'avant, l'encourageant à continuer de progresser.
Au bord de la zone : À mesure que l'étudiant s'approche du bord, le trampoline devient plus souple. Il ne l'arrête pas brutalement ; il le ralentit simplement avec douceur.
À l'extérieur de la zone : Si l'étudiant fait accidentellement un pas de trop (un « mauvais » mouvement), le trampoline ne se contente pas de le couper. Au lieu de cela, il le fait rebondir. Il applique une force corrective douce qui dit : « Oups, tu es allé trop loin. Revenons vers le centre. »

Pourquoi cela fonctionne mieux

L'article affirme que le DRPO est comme un guide fluide et continu plutôt qu'un interrupteur on/off fragile.

Il gère mieux la « Longue Traîne » : Dans le monde de l'IA, il existe des milliers de mots rares. Le DRPO mesure la « distance » réelle parcourue par un mot, et non son « ratio ». Cela signifie qu'il ne se laisse pas confondre par un mot rare passant de presque zéro à un chiffre minuscule. Il traite le changement de manière équitable, peu importe la fréquence du mot.
Il ne cesse jamais d'apprendre : Même lorsque l'étudiant commet une erreur et sort de la zone de sécurité, le DRPO ne jette pas la leçon. Il utilise l'erreur pour guider doucement l'étudiant pour revenir sur le bon chemin. Cela empêche l'entraînement de devenir instable ou de « planter ».
Il fonctionne partout : Les auteurs ont testé le DRPO sur différents types de modèles d'IA (des petits aux très grands), différents types de puces informatiques, et même lorsque l'ordinateur fonctionne avec une précision moindre (comme utiliser un objectif légèrement flou). Dans chaque cas, le DRPO était plus stable et aidait l'IA à apprendre plus vite et mieux que les anciennes méthodes.

Ce qu'il faut retenir

Considérez les anciennes méthodes comme un professeur qui vous crie « STOP ! » dès que vous faites une minuscule erreur, ou qui vous ignore complètement si vous déviez légèrement de la trajectoire.

DRPO est comme un coach sage qui dit : « Tu te débrouilles très bien, mais tu t'éloignes un peu trop. Ralentissons un peu. Si tu vas trop loin, je te ramènerai doucement pour que tu ne tombes pas. » Cette correction fluide et continue rend l'ensemble du processus d'apprentissage beaucoup plus sûr, rapide et fiable.

Résumé Technique : Repenser la Régularisation de la Divergence dans l'Apprentissage par Renforcement des LLM

1. Énoncé du Problème

L'apprentissage par renforcement (RL) est une pierre angulaire du post-entraînement des grands modèles de langage (LLM) pour les aligner sur les préférences humaines et améliorer leurs capacités de raisonnement. Cependant, l'entraînement par RL des LLM modernes est intrinsèquement hors politique (off-policy) en raison des décalages entre les moteurs d'entraînement et d'inférence (discrépances numériques) et de la pratique consistant à diviser les déroulements (rollouts) en plusieurs mini-lots. Cela nécessite l'utilisation de l'Optimisation de Politique de Région de Confiance (TRPO) pour garantir des mises à jour stables en contraignant la divergence entre la politique actuelle ( $\pi$ ) et la politique de comportement ( $\mu$ ).

Les méthodes dominantes actuelles font face à deux limitations principales dans ce contexte :

Contraintes Basées sur le Ratio (PPO, GRPO, SPO) : Ces méthodes utilisent le ratio d'importance $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ pour définir la région de confiance. Dans les LLM dotés de vocabulaires vastes et à longue traîne, le ratio est un mauvais indicateur du décalage de distribution. Une faible augmentation de probabilité sur un jeton (token) de faible probabilité peut engendrer un ratio énorme avec un décalage de masse négligeable, tandis qu'un changement de ratio modéré sur un jeton à haute probabilité peut induire des changements de politique significatifs. Cela conduit à une sur-contrainte des jetons rares et à une sous-contrainte des jetons communs.
Masquage Strict (DPPO) : Des travaux récents comme le Divergence Proximal Policy Optimization (DPPO) traitent le problème du ratio en utilisant un masque de divergence basé sur la divergence (spécifiquement la Binary-TV, mesurant le décalage de probabilité absolue $|\pi - \mu|$ ). Cependant, DPPO impose la région de confiance via un masque binaire strict. Lorsqu'un jeton franchit la limite dans une direction préjudiciable, son gradient est écarté (mis à zéro). Cela empêche une divergence supplémentaire mais ne fournit pas de signal correctif pour ramener la politique vers la région de confiance, ce qui entraîne une optimisation fragile à proximité du seuil.

2. Méthodologie : Optimisation de Politique Régularisée par la Divergence (DRPO)

Les auteurs proposent DRPO, une méthode qui remplace le masque strict de DPPO par un régularisateur quadratique lissé et pondéré par l'avantage sur le décalage de la politique, tout en préservant la même géométrie de région de confiance de la Binary-TV.

Formulation Fondamentale

DRPO dérive son objectif en réécrivant la contrainte Binary-TV $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ comme une borne de ratio adaptative au jeton. Au lieu du tronquage (clipping), elle applique un régularisateur lissé à l'objectif de substitution :

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

Où :

$r_t$ est le ratio d'importance.
$\hat{A}_t$ est l'estimation de l'avantage.
$\delta$ est le seuil de la région de confiance.
Le terme $\mu(y_t|s_t)$ met à l'échelle le régularisateur, convertissant la pénalité d'une forme $\chi^2$ basée sur le ratio (comme dans SPO) en une forme de décalage de probabilité absolue ( $\ell_2^2$ ).

Comportement du Gradient

Le gradient de l'objectif DRPO introduit un poids continu $w_t$ pour le gradient de politique de chaque jeton :
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

Ce poids présente trois comportements clés :

À l'intérieur de la Région de Confiance : Le poids est positif mais lissablement atténué à mesure que le décalage approche $\delta$ , permettant aux mises à jour de continuer mais avec une magnitude réduite.
À l'extérieur de la Région de Confiance (Divergence) : Lorsque la mise à jour s'éloigne davantage de la politique de comportement ( $|\pi - \mu| > \delta$ ), le poids devient négatif. Cela inverse le gradient, fournissant un signal correctif qui ramène la politique vers la limite, contrairement au gradient nul des masques stricts.
Mises à jour de Convergence : Lorsque la mise à jour revient vers la politique de comportement, le poids est amplifié ( $>1$ ), encourageant un retour fluide vers la région de confiance.

Distinctions Théoriques

vs. SPO : SPO utilise un régularisateur de type $\chi^2$ (en divisant par $\mu$ ), ce qui fait croître les poids de gradient de manière non bornée dans la longue traîne des jetons de faible probabilité. DRPO utilise un régularisateur de type $\ell_2^2$ (en multipliant par $\mu$ ), garantissant que les poids de gradient restent bornés quel que soit la probabilité du jeton.
vs. DPPO : DRPO préserve la géométrie Binary-TV de DPPO mais remplace le masque discontinu par un régularisateur lisse et dérivable.

3. Contributions Clés

Algorithme DRPO : Une nouvelle méthode d'optimisation de politique qui remplace les masques de divergence stricts par un régularisateur quadratique lisse basé sur le décalage de probabilité absolue (Binary-TV).
Poids de Gradient Bornés : Démonstration théorique et empirique que les poids de gradient de DRPO restent bornés dans les vocabulaires à longue traîne, évitant l'instabilité causée par les méthodes basées sur les ratios (PPO, SPO) où les poids peuvent exploser pour les jetons de faible probabilité.
Mécanisme Correctif : Introduction d'un signal correctif continu pour les mises à jour qui dépassent la région de confiance, évitant la "mort du gradient" observée dans les approches à masque strict comme DPPO.
Principes de Conception : Identification de trois critères pratiques pour des régularisateurs efficaces dans le RL des LLM :
- Induire une limite stable alignée sur le décalage de distribution (pas seulement sur les ratios).
- Maintenir des poids de gradient par jeton bornés dans les vocabulaires à longue traîne.
- Fournir des signaux correctifs fluides lorsque la politique diverge.

4. Résultats Expérimentaux

Les auteurs ont évalué DRPO à travers divers contextes, incluant :

Modèles : Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B, et DeepSeek-R1-Distill-Qwen-1.5B.
Architectures : Denses et Mixture-of-Experts (MoE).
Précision : BF16, FP8 (déroulement uniquement), et FP8 (bout en bout).
Benchmarks : AIME 2024 et AIME 2025 (tâches de raisonnement mathématique).

Résultats Clés :

Stabilité : DRPO permet de manière constante un entraînement stable dans tous les contextes. En revanche, les méthodes basées sur les ratios (GRPO, SPO) ont fréquemment souffert d'instabilité ou d'effondrement, particulièrement dans les contextes de faible précision (FP8).
Performance : DRPO a égalé ou dépassé la meilleure précision d'évaluation de tous les modèles de référence. Il a surpassé les méthodes à masque strict (DPPO) en termes de vitesse de convergence et de précision finale.
Ablations :
- Le retrait de la pondération par avantage absolu $|\hat{A}_t|$ du régularisateur a entraîné des baisses de performance et de l'instabilité, confirmant que la limite de la région de confiance doit être indépendante de l'échelle de la récompense.
- Les mesures de divergence alternatives (pénalités KL, TV) ont été moins performantes que DRPO, suggérant que la géométrie spécifique du régularisateur Binary-TV est cruciale.
- L'application du régularisateur uniquement en dehors de la région de confiance (Mask-DRPO) a donné des performances comparables à l'intégralité de DRPO, indiquant que le gain principal provient de la régularisation corrective en dehors de la limite.

5. Signification et Revendications

L'article affirme que la géométrie du gradient induite par un régularisateur est plus critique que la mesure de divergence nominale dans l'objectif de fonction. Alors que les travaux précédents se concentrent souvent sur les divergences standards (KL, JS), ce travail démontre que :

Les contraintes basées sur les ratios sont fondamentalement défectueuses pour les LLM en raison des vocabulaires à longue traîne.
Les masques stricts, bien que meilleurs que les ratios, introduisent de la fragilité en écartant les signaux correctifs.
DRPO offre une solution unifiée qui combine la correction géométrique des contraintes basées sur la divergence (Binary-TV) avec la stabilité d'optimisation des régularisateurs lissés.

Les auteurs positionnent DRPO non pas seulement comme un algorithme spécifique, mais comme un prisme empirique pour concevoir des objectifs d'optimisation de politique stables, soulignant que les régularisateurs efficaces doivent fournir des signaux de gradient bornés, continus et correctifs pour gérer les défis uniques du RL des LLM.