💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

Cet article propose le « Entropy Ratio Clipping » (ERC), un mécanisme de contrainte globale bidirectionnelle basé sur le ratio d'entropie entre les politiques actuelle et précédente, qui stabilise l'apprentissage par renforcement dans le post-entraînement des grands modèles de langage en corrigeant les instabilités liées au décalage de distribution que le PPO-Clip ne parvient pas à réguler.

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'élève qui apprend trop vite (et trop mal)

Imaginez que vous enseignez à un élève très intelligent (une Intelligence Artificielle ou un Grand Modèle de Langage) comment résoudre des problèmes de mathématiques complexes.

Pour qu'il s'améliore, vous lui donnez des exercices et vous le récompensez quand il trouve la bonne réponse. C'est ce qu'on appelle l'Apprentissage par Renforcement.

Le problème, c'est que l'élève a tendance à changer d'avis trop brutalement.

Hier, il pensait que la réponse était "A".
Aujourd'hui, après une récompense, il pense soudainement que "B", "C" et "D" sont aussi de bonnes réponses, même s'il n'a jamais essayé ces options.

En langage technique, cela s'appelle un "décalage de distribution". L'élève devient si confiant ou si confus qu'il sort de la "zone de confiance" (le trust region). Résultat ? Il devient instable, il fait des erreurs bêtes, et son apprentissage devient chaotique.

🛡️ La Solution Actuelle (PPO-Clip) : Le garde-fou local

Pour l'instant, les chercheurs utilisent une méthode appelée PPO-Clip.
Imaginez que c'est un gardien de but qui surveille uniquement les coups que l'élève vient de jouer.

Si l'élève essaie de changer radicalement la probabilité de jouer le coup qu'il vient de faire, le gardien dit : "Non, calme-toi, reste dans cette fourchette !"
Le problème : Ce gardien ne regarde que les coups joués. Il ignore totalement ce qui se passe sur les autres coups du plateau. L'élève peut donc changer complètement sa stratégie sur les coups qu'il n'a pas encore joués, et le gardien ne le voit pas venir. C'est comme si l'élève changeait de tactique pour les 90% du jeu qu'il ne joue pas encore, et que l'entraîneur ne s'en rendait compte qu'au moment de la défaite.

🚀 La Nouvelle Idée : ERC (Le Clip du Ratio d'Entropie)

Les auteurs de ce papier (de Kuaishou et Tsinghua) ont eu une idée brillante : au lieu de surveiller juste les coups joués, surveillons l'ambiance générale du jeu.

Ils introduisent une nouvelle règle appelée ERC (Entropy Ratio Clipping).

L'analogie du "Thermomètre de l'Exploration"

Imaginez que l'Entropie, c'est le thermomètre de la curiosité de l'élève.

Entropie basse : L'élève est très sûr de lui, il ne joue que le même coup (il est rigide).
Entropie haute : L'élève est très curieux, il essaie tout et n'importe quoi (il est chaotique).

La méthode ERC compare la "curiosité" d'hier avec celle d'aujourd'hui.

Si l'élève devient trop rigide (sa curiosité chute brutalement), ERC dit : "Stop ! Tu deviens trop confiant, tu vas oublier d'autres solutions."
Si l'élève devient trop chaotique (sa curiosité explose), ERC dit : "Stop ! Tu es trop dispersé, tu ne sais plus où tu vas."

Contrairement au gardien de but (PPO) qui ne regarde que le coup joué, ERC regarde tout le tableau. Il vérifie si l'attitude globale de l'élève a changé trop violemment, même sur les coups qu'il n'a pas encore joués.

🎯 Pourquoi ça marche si bien ?

Stabilité Globale : ERC empêche l'élève de faire des sauts de géant dans sa stratégie. Il garde un équilibre parfait entre "être sûr de soi" et "continuer à explorer".
Filtrage Intelligent : Le papier montre que ERC coupe (clipe) beaucoup plus d'informations que l'ancienne méthode (20% contre 0,02% !). Mais ce n'est pas grave !
- L'analogie : Imaginez que vous trie des pommes. L'ancienne méthode ne jetait que les pommes pourries qu'on voyait à l'œil nu. ERC, lui, jette les pommes qui ont l'air un peu flétries, même si on ne les a pas encore mangées. Résultat : le panier (la stratégie de l'IA) est beaucoup plus sain et robuste.
Meilleures Résultats : Dans les tests (surtout en mathématiques), les modèles utilisant ERC ont appris plus vite, sont restés stables plus longtemps et ont obtenu de meilleurs scores que les méthodes classiques.

🏁 En Résumé

Ce papier propose une nouvelle règle pour entraîner les IA :
Au lieu de simplement dire "Ne change pas trop ce que tu viens de faire", on dit aussi "Ne change pas trop ton attitude globale".

C'est comme passer d'un coach qui ne regarde que le dernier coup de l'athlète, à un coach qui surveille la forme physique globale de l'athlète. Cela évite les blessures (instabilité) et permet à l'athlète de performer au maximum de ses capacités sur la durée.

Le mot de la fin : ERC est un "frein à main" intelligent qui s'active automatiquement si l'IA commence à dériver trop loin de sa zone de confort, garantissant un apprentissage plus sûr et plus efficace.

1. Problématique : Instabilité de l'Apprentissage par Renforcement (RL) pour les LLM

L'apprentissage par renforcement (RL), en particulier avec des récompenses vérifiables (RLVR), est devenu crucial pour l'alignement et l'amélioration des capacités de raisonnement des grands modèles de langage (LLM). Cependant, l'entraînement RL souffre d'un problème persistant : la déviation de la région de confiance (trust-region deviation).

Cause racine : Les paradigmes modernes de RL pour les LLM sont souvent off-policy. Les données utilisées pour mettre à jour la politique actuelle sont générées par d'anciennes politiques. Cela crée un décalage distributionnel (distributional shift) entre l'ancienne et la nouvelle politique.
Limites des méthodes existantes (PPO-Clip) : La méthode standard, PPO-Clip, utilise un "clipping" (écrêtage) du rapport d'importance pour limiter les mises à jour locales des actions échantillonnées.
- Le point aveugle : PPO-Clip ne contraint que les actions échantillonnées. Les probabilités des actions non échantillonnées restent totalement incontrôlées.
- Conséquences : Au fil des itérations, la distribution globale des actions non échantillonnées peut dériver significativement, même si les actions échantillonnées semblent stables. Cela entraîne :
  1. Instabilité de l'entropie : Des fluctuations drastiques de l'entropie de la politique (exploration excessive ou effondrement).
  2. Instabilité des gradients : Des explosions ou des disparitions de gradients, nuisant à la convergence.

2. Méthodologie : Le Clipping du Ratio d'Entropie (ERC)

Pour combler cette lacune, les auteurs proposent une nouvelle métrique globale et un mécanisme de contrainte appelé Entropy Ratio Clipping (ERC).

A. Le Ratio d'Entropie (Entropy Ratio)

Au lieu de se focaliser uniquement sur les probabilités des tokens échantillonnés, les auteurs introduisent le ratio d'entropie ( $\rho$ ), défini comme le rapport entre l'entropie de la nouvelle politique ( $\pi_\theta$ ) et celle de l'ancienne politique ( $\pi_{old}$ ) évaluées sur les mêmes données :

$\rho_t = \frac{H(\pi_\theta, t)}{H(\pi_{old}, t)}$

Cette métrique capture les changements globaux de la distribution de la politique, y compris les actions non échantillonnées, offrant une vue d'ensemble du décalage distributionnel.

B. Le Mécanisme ERC

Inspired par le mécanisme de "hard clipping" de PPO-Clip, ERC applique une contrainte bidirectionnelle sur ce ratio d'entropie.

Fonctionnement : Si le ratio d'entropie $\rho$ d'un token sort d'une plage prédéfinie $(1 - \beta_{low}, 1 + \beta_{high})$ , le gradient correspondant est brutalement tronqué (mis à zéro).
Intégration : ERC s'ajoute aux objectifs existants (comme DAPO ou GPPO) sans les remplacer. Il agit comme une contrainte supplémentaire de niveau global.
Formulation (exemple avec DAPO) :
$J_{ERC}(\theta) = \mathbb{E} \left[ \sum I_{i,t} \cdot \min(\dots) \right]$
Où $I_{i,t}$ est une fonction indicatrice qui vaut 1 si le ratio d'entropie est dans la plage acceptable, et 0 sinon.

3. Contributions Clés

Nouvelle Métrique Globale : Introduction du ratio d'entropie pour quantifier les changements relatifs de l'exploration de la politique, comblant le vide laissé par les méthodes basées uniquement sur l'échantillonnage.
Mécanisme ERC : Proposition d'un mécanisme de clipping qui contraint la variation de l'exploration au niveau global, atténuant ainsi la déviation de la région de confiance et stabilisant l'entraînement.
Intégration et Validation : Intégration réussie de ERC dans plusieurs algorithmes RL (DAPO et GPPO) et validation sur de multiples benchmarks, démontrant une amélioration systématique de la stabilité et des performances.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de 1,5B et 7B paramètres (basés sur DeepSeek-R1-Distill-Qwen) utilisant des données de raisonnement mathématique (KlearReasoner-MathSub-30K).

Performance sur les Benchmarks :
- ERC améliore constamment les performances par rapport aux baselines (GRPO, DAPO, GPPO) sur des tâches de raisonnement mathématique complexe (AIME24/25, HMMT25, MATH500).
- Les gains sont particulièrement marqués sur les benchmarks les plus difficiles (ex: +2,5 points sur AIME25 pour le modèle 7B avec ERC-DAPO).
Stabilité de l'Entraînement :
- Entropie : Les courbes d'entropie sont beaucoup plus lisses avec ERC, évitant les oscillations violentes observées avec PPO-Clip seul.
- Norme du Gradient : La norme des gradients reste bien bornée, réduisant les risques d'explosion ou de vanishing.
- Région de Confiance : ERC rétrécit et stabilise la région de confiance effective, maintenant le rapport d'importance plus proche de 1 même dans des conditions off-policy importantes.
Analyse du Clipping :
- Le taux de clipping de ERC est beaucoup plus élevé (~~20%) que celui de PPO-Clip (~~0,02%).
- Interprétation : ERC filtre principalement les mises à jour "bruitées" et déterministes (symboles mathématiques, opérateurs) qui n'apportent pas d'information, tout en préservant les tokens à haute entropie liés au processus de raisonnement (ex: "wait", "therefore"). Cela permet un équilibre optimal entre stabilité et exploration.

5. Signification et Comparaisons

Vs. Régularisation KL (PPO-Penalty) : Contrairement à la régularisation KL qui impose une contrainte ponctuelle stricte sur chaque action (limitant souvent l'exploration), ERC impose une contrainte "douce" au niveau de la distribution. Cela permet une exploration plus efficace tout en maintenant la stabilité.
Vs. Régularisation Entropie : ERC utilise un clipping bidirectionnel (bornes inférieure et supérieure), contrairement à la régularisation entropique qui ne gère souvent qu'une direction (prévention de l'effondrement). ERC prévient à la fois l'effondrement de l'entropie et son explosion.
Orthogonalité : ERC est compatible avec d'autres méthodes de clipping (comme GSPO ou le clipping au niveau de la séquence) et peut être combiné avec elles pour des résultats encore meilleurs.

Conclusion

Le papier démontre que la stabilité de l'entraînement RL pour les LLM ne dépend pas seulement du contrôle des actions échantillonnées, mais aussi de la gestion de la dérive globale de la distribution des actions non échantillonnées. ERC offre une solution élégante et efficace en utilisant le ratio d'entropie comme indicateur global, permettant d'atteindre une convergence plus rapide, une stabilité accrue et de meilleures performances finales sur des tâches de raisonnement complexe.