🤖 machine learning

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

Ce papier présente CE-GPPO, un nouvel algorithme d'apprentissage par renforcement qui améliore la stabilité de l'entropie et les performances de raisonnement des grands modèles de langage en réintroduisant de manière contrôlée les gradients des tokens écartés par le mécanisme de clipping du PPO standard.

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève très brillant (une Intelligence Artificielle) comment résoudre des problèmes de mathématiques complexes. Vous lui donnez des exercices, et il essaie de trouver la solution.

Le problème, c'est que l'élève a deux comportements opposés qu'il faut équilibrer :

L'Exploration (Essayer de nouvelles choses) : Il essaie des méthodes folles et créatives. C'est risqué, mais c'est comme ça qu'il découvre de nouvelles façons de résoudre les problèmes.
L'Exploitation (Utiliser ce qu'il sait déjà) : Il répète les méthodes qui ont déjà fonctionné pour être sûr d'avoir la bonne réponse. C'est sûr, mais cela ne l'aide pas à apprendre de nouvelles choses.

Dans le monde de l'apprentissage automatique, cet équilibre s'appelle l'entropie.

Une entropie élevée = l'élève est très curieux, il essaie tout (bon pour apprendre, mais il peut faire beaucoup d'erreurs).
Une entropie faible = l'élève est très confiant, il ne fait que ce qu'il connaît (il fait moins d'erreurs, mais il ne progresse plus).

Le problème avec les méthodes actuelles (PPO)

Les méthodes actuelles (comme PPO) utilisent une sorte de "règle de sécurité" pour empêcher l'élève de trop changer d'avis d'un coup. Si l'élève propose une réponse très différente de ce qu'il pensait avant, la méthode dit : "Stop ! On ne prend pas en compte cette idée, c'est trop risqué."

C'est comme si un professeur disait à l'élève : "Si tu proposes une idée trop bizarre, je l'ignore complètement."

Le hic ? En ignorant ces idées "bizarres" (les tokens à faible probabilité), le professeur perd des informations précieuses.

Parfois, ces idées "bizarres" sont en fait des idées géniales qui permettent de sortir d'une impasse (exploration). En les coupant, l'élève devient trop confiant et s'arrête d'apprendre (c'est ce qu'on appelle l'effondrement de l'entropie).
Parfois, l'élève a besoin de se concentrer sur ce qu'il sait, mais la méthode le force à continuer à explorer frénétiquement, ce qui l'empêche de se stabiliser (c'est l'explosion de l'entropie).

La solution : CE-GPPO (Le nouveau professeur)

Les auteurs de ce papier ont créé une nouvelle méthode appelée CE-GPPO. Voici comment elle fonctionne avec une analogie simple :

Au lieu de jeter complètement les idées "bizarres" de l'élève, le nouveau professeur (CE-GPPO) dit :

"Attends, je ne vais pas ignorer ton idée folle, ni la laisser dominer tout le cours. Je vais l'écouter doucement et avec prudence."

Concrètement, CE-GPPO fait deux choses intelligentes :

Il garde le signal : Même si une idée est "hors des limites" de la règle de sécurité, il ne l'efface pas. Il la garde dans le calcul.
Il règle le volume : Il utilise un bouton de volume (les coefficients $\beta_1$ $β_{1}$ et $\beta_2$ $β_{2}$ ) pour décider à quel point il écoute ces idées.
- Si l'élève a besoin d'explorer, on tourne le volume vers les idées "bizarres" (exploration).
- Si l'élève a besoin de se concentrer, on baisse le volume sur ces idées pour qu'il se stabilise (exploitation).

Pourquoi c'est génial ?

Imaginez un coureur de marathon :

Les anciennes méthodes : Le coach dit "Ne dépasse jamais 10 km/h". Si le coureur veut accélérer à 12 km/h pour rattraper un concurrent, le coach lui crie "STOP !". Le coureur finit par courir trop lentement et perd le rythme.
CE-GPPO : Le coach dit "Tu peux aller à 12 km/h, mais je vais te guider pour que tu ne te blesses pas". Il permet au coureur d'aller vite quand c'est nécessaire, mais de ralentir quand il faut se reposer.

Les résultats :
Grâce à cette méthode, l'IA (l'élève) :

Ne perd pas sa curiosité (elle continue d'explorer).
Ne devient pas folle et instable (elle sait quand se concentrer).
Résout beaucoup mieux les problèmes de mathématiques et de code que les méthodes précédentes.

En résumé, CE-GPPO est comme un chef d'orchestre qui ne coupe pas les musiciens qui jouent une note un peu différente, mais qui ajuste le volume pour que l'ensemble reste harmonieux. Cela permet à l'IA de trouver l'équilibre parfait entre "oser essayer" et "savoir ce qu'elle fait".

1. Problématique : L'Instabilité de l'Entropie dans le RL pour les LLM

L'apprentissage par renforcement (RL), et notamment le Reinforcement Learning with Verifiable Rewards (RLVR), est devenu une méthode clé pour optimiser les grands modèles de langage (LLM) sur des tâches de raisonnement complexes. Cependant, un défi majeur persiste : la gestion de l'entropie de la politique.

Le Dilemme Exploration/Exploitation : L'entropie mesure l'incertitude de la politique. Une entropie élevée favorise l'exploration (diversité des réponses), tandis qu'une entropie faible favorise l'exploitation (convergence vers des solutions connues).
Le Problème du "Clipping" dans PPO/GRPO : Les algorithmes standards comme PPO (Proximal Policy Optimization) et GRPO utilisent un mécanisme de clipping (écrêtage) pour stabiliser l'entraînement en limitant la taille des mises à jour. Ce mécanisme rejette les gradients des tokens dont le rapport d'échantillonnage d'importance ( $r_t$ ) sort de l'intervalle $[1-\epsilon, 1+\epsilon]$ .
Conséquences Négatives :
- Effondrement de l'entropie (Entropy Collapse) : Les tokens à faible probabilité mais à avantage positif (PA&LP), qui sont cruciaux pour l'exploration, sont souvent tronqués. Leur absence accélère la convergence prématurée et réduit la diversité.
- Explosion de l'entropie (Entropy Explosion) : À l'inverse, les tokens à faible probabilité et à avantage négatif (NA&LP), qui devraient guider le modèle vers l'exploitation, sont également ignorés, forçant le modèle à explorer excessivement et retardant la convergence.

L'article identifie que l'ignorance systématique de ces gradients "hors de la zone de confiance" (clipped tokens) est la cause racine de l'instabilité dynamique de l'entropie.

2. Méthodologie : CE-GPPO

Les auteurs proposent CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization), un nouvel algorithme qui réintroduit de manière contrôlée les gradients des tokens tronqués pour réguler l'entropie.

Principes Clés

Préservation des Gradients : Au lieu de rejeter purement et simplement les gradients des tokens hors de l'intervalle de clipping, CE-GPPO les conserve mais ajuste leur magnitude.
Opération Stop-Gradient : L'algorithme utilise une opération stop-gradient pour découpler le calcul du rapport d'importance ( $\delta$ ) de la mise à jour de la politique, permettant d'inclure ces signaux sans violer les contraintes de stabilité de PPO.
Fonction Objectif Modifiée :
La fonction de perte $J_{CE-GPPO}$ $J_{C E - GP P O}$ est définie comme suit pour chaque token $t$ $t$ :
$\ell^{(i)} = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{si } \delta < 1-\epsilon \text{ et } \hat{A}_{i,t} < 0 \quad (\text{NA\&LP}) \\ \beta_2 \cdot \frac{1+\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{si } \delta > 1+\epsilon \text{ et } \hat{A}_{i,t} > 0 \quad (\text{PA\&LP}) \\ \delta \cdot \hat{A}_{i,t} & \text{sinon (dans l'intervalle)} \end{cases}$
- $\beta_1$ et $\beta_2$ sont des hyperparamètres de mise à l'échelle.
- Rôle de $\beta_2$ (PA&LP) : Amplifier les gradients des tokens exploratoires (faible probabilité, avantage positif) pour ralentir la chute de l'entropie et maintenir l'exploration.
- Rôle de $\beta_1$ (NA&LP) : Amplifier les gradients des tokens exploitables (faible probabilité, avantage négatif) pour accélérer la convergence et réduire l'entropie.

Stabilité Théorique

L'article démontre que, bien que CE-GPPO intègre des gradients hors de la région de confiance, la magnitude des mises à jour reste bornée par les facteurs $\beta_1(1-\epsilon)$ et $\beta_2(1+\epsilon)$ . Tant que $\beta_1$ et $\beta_2$ sont proches de 1, la stabilité de l'optimisation est préservée, évitant la dérive excessive par rapport à l'ancienne politique.

3. Contributions Clés

Analyse Mécanistique : Identification du rôle critique des tokens tronqués (PA&LP et NA&LP) dans la dynamique de l'entropie, démontrant que leur exclusion directe est la cause des instabilités observées.
Algorithme Novel (CE-GPPO) : Proposition d'une méthode qui permet un contrôle fin de l'entropie en réintroduisant les gradients tronqués avec des coefficients de pondération ajustables, sans ajouter de complexité computationnelle (même complexité que PPO).
Preuves Théoriques et Empiriques : Démonstration que cette approche préserve la stabilité de l'entraînement tout en permettant un équilibre dynamique entre exploration et exploitation.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles DeepSeek-R1-Distill-Qwen (1.5B et 7B) et évaluées sur des benchmarks de raisonnement mathématique (AIME 2024/25, HMMT 2025, MATH 500), de code (HumanEval, LCB) et de suivi d'instructions.

Performance Supérieure : CE-GPPO surpasse systématiquement les méthodes de base (GRPO, DAPO, CISPO, GSPO).
- Sur le modèle 7B, CE-GPPO améliore les scores de 3 points par rapport au meilleur baseline (DAPO) sur les tâches les plus difficiles (ex: AIME 2025).
- Sur le modèle 1.5B, l'amélioration est de 2.5 points.
Stabilité de l'Entropie :
- Contrairement au GRPO natif qui subit un effondrement rapide de l'entropie, et à DAPO qui peut souffrir d'une sur-exploration (entropie trop élevée), CE-GPPO maintient une entropie stable et élevée durant la phase initiale, puis converge progressivement.
- Cette dynamique permet d'éviter la convergence prématurée tout en assurant une exploitation efficace en fin d'entraînement.
Robustesse aux Hyperparamètres : La configuration $\beta_1 = 0.5$ et $\beta_2 = 1$ s'est révélée particulièrement efficace et robuste à travers différentes tailles de modèles, favorisant l'exploration initiale tout en permettant l'exploitation ultérieure.

5. Signification et Impact

Ce travail apporte une contribution significative à l'optimisation des LLM par RL :

Changement de Paradigme : Il remet en question la pratique standard de l'écrêtage (clipping) total des gradients, suggérant que les signaux "rejetés" contiennent des informations vitales pour la régulation de l'entropie.
Efficacité et Simplicité : Contrairement à d'autres méthodes qui ajoutent des termes de régularisation complexes ou des étapes supplémentaires, CE-GPPO modifie uniquement la fonction de perte existante avec une opération de pondération élémentaire, ce qui le rend facile à déployer.
Équilibre Dynamique : Il offre un mécanisme explicite pour contrôler le compromis exploration/exploitation à travers les étapes d'entraînement, résolvant le problème de l'effondrement de l'entropie qui limite souvent les performances des modèles de raisonnement.

En résumé, CE-GPPO démontre que la préservation contrôlée des gradients des tokens à faible probabilité est la clé pour stabiliser l'entraînement par RL et débloquer des performances supérieures sur des tâches de raisonnement complexes.