CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) wordt steeds vaker gebruikt om Large Language Models (LLMs) te optimaliseren voor complexe redeneertaken. Een fundamentele uitdaging bij dit proces is het beheersen van de policy-entropie, die de balans tussen exploratie (het verkennen van nieuwe oplossingen) en exploitatie (het benutten van bekende, goede oplossingen) weerspiegelt.

Bestaande methoden, zoals Proximal Policy Optimization (PPO) en zijn varianten (bijv. GRPO, DAPO), gebruiken een clipping-mechanisme om de grootte van policy-updates te beperken en trainingstabiliteit te garanderen. Het paper identificeert echter dat dit mechanisme waardevolle gradiëntsignalen van laag-kans tokens (tokens met een lage waarschijnlijkheid) verwijdert. De auteurs analyseren vier typen tokens en hun impact op entropie:

1. PA&HP (Positief voordeel, Hoge kans) & NA&LP (Negatief voordeel, Lage kans): Deze dragen bij aan snellere convergentie en entropie-instorting (entropy collapse), wat leidt tot een gebrek aan diversiteit.
2. PA&LP (Positief voordeel, Lage kans) & NA&HP (Negatief voordeel, Hoge kans): Deze moedigen exploratie aan en helpen entropie-instorting te voorkomen.

Het probleem is dat het clipping-mechanisme van PPO vaak de PA&LP tokens (die exploratie stimuleren) en NA&LP tokens (die exploitatie stimuleren) buiten de clip-grenzen verwijdert. Dit resulteert in:

• Entropie-instorting: Door het verlies van PA&LP tokens, stopt de exploratie te vroeg.
• Entropie-explosie: Door het verlies van NA&LP tokens, blijft het model te lang in een staat van overmatige exploratie, wat convergentie vertraagt.

Methodologie: CE-GPPO

De auteurs stellen CE-GPPO (Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization) voor. Dit is een nieuw algoritme dat de controle over de entropiedynamiek herformuleert als het beheren van gradiënten van tokens die buiten het clipping-interval vallen.

Kernprincipes:

1. Behoud van Gradiënten: In plaats van gradiënten van geknipte tokens volledig te verwijderen, introduceert CE-GPPO een stop-gradient operatie. Hierdoor worden de gradiënten van tokens buiten het interval (zowel links als rechts) behouden, maar worden ze op een zachte en begrenste manier teruggevoerd.
2. Aanpasbare Schaling: Het algoritme introduceert twee hyperparameters, $\beta_1$ en $\beta_2$, om de magnitude van deze buiten-interval gradiënten te schalen:
   • $\beta_1$: Controleert de schaling van gradiënten voor tokens links van het interval (voornamelijk NA&LP). Een hogere waarde versnelt exploitatie en verlaagt de entropie.
   • $\beta_2$: Controleert de schaling van gradiënten voor tokens rechts van het interval (voornamelijk PA&LP). Een hogere waarde versterkt exploratie en vertraagt de daling van de entropie.
3. Doelfunctie: De nieuwe doelfunctie decoupeert de forward- en backward-passes. Gradiënten binnen het interval blijven ongewijzigd, terwijl gradiënten buiten het interval worden gewogen met $\beta_1$ of $\beta_2$ en een stop-gradient operatie om te voorkomen dat de policy te ver afwijkt van de oude policy.

Theoretische Stabiliteit:
De auteurs bewijzen dat CE-GPPO de trainingstabiliteit behoudt. Hoewel gradiënten buiten het "trust region" worden gebruikt, wordt de updategrootte beperkt door de factoren $\beta_1(1-\epsilon)$ en $\beta_2(1+\epsilon)$. Omdat $\beta$-waarden dicht bij 1 liggen, blijft de gradiëntgrootte redelijk, wat voorkomt dat het model instabiel wordt of te ver afwijkt van de oorspronkelijke policy.

Belangrijkste Bijdragen

1. Inzicht in Entropiedynamiek: Het paper onthult het intrinsieke mechanisme van entropie-evolutie in RL voor LLMs en identificeert geknipte laag-kans tokens als cruciale factoren voor het balanceren van exploratie en exploitatie.
2. Nieuw Algoritme (CE-GPPO): Een algoritme dat gradiënten van tokens buiten het clip-interval reguleert, waardoor fijne controle over policy-entropie en update-stabiliteit mogelijk is.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat CE-GPPO entropie-instorting effectief mitigeert, een stabiele balans bereikt en superieure prestaties levert ten opzichte van sterke baselines.

Resultaten

De auteurs hebben CE-GPPO getest op wiskundige redeneerbenchmarks (zoals AIME 2024/25, HMMT25, MATH500) en code-reasoning taken, met modellen van 1.5B en 7B parameters (DeepSeek-R1-Distill-Qwen).

• Prestatieverbetering: CE-GPPO presteert consistent beter dan baselines zoals GRPO, DAPO, CISPO en GSPO.
  • Op het 1.5B model werd een verbetering van 2,5 punten behaald ten opzichte van de beste baseline.
  • Op het 7B model werd een verbetering van 3 punten behaald.
  • De voordelen nemen toe met de modelgrootte.
• Entropie-beheer: In tegenstelling tot native GRPO (dat instort) en DAPO (dat soms over-exploratie vertoont met een entropie-rebound), behoudt CE-GPPO een stabiele en hoge entropie in de vroege trainingsfase en laat deze geleidelijk en gecontroleerd dalen.
• Robuustheid: Het algoritme toont zich robuust voor hyperparameters. De configuratie $\beta_1 = 0.5$ en $\beta_2 = 1$ (of $\beta_1 = 0.75, \beta_2 = 1$) bleek over het algemeen effectief voor verschillende modelgroottes.
• Stabiliteit: Analyse van KL-divergentie en gradiëntnormen toont aan dat CE-GPPO geen abrupte fluctuaties veroorzaakt en de policy binnen een veilig bereik houdt.

Significantie

CE-GPPO biedt een fundamentele verbetering in de RL-trainingsparadigma voor LLMs door het probleem van entropie-instorting en -explosie op te lossen zonder de stabiliteit van PPO te compromitteren.

• Efficiëntie: Het maximaliseert het gebruik van token-gradiënten, in tegenstelling tot methoden die geknipte tokens volledig verwerpen.
• Balans: Het biedt een elegante oplossing voor de klassieke "exploration-exploitation dilemma" door de entropiedynamiek actief te sturen via gradiënt-schaling in plaats van alleen via straffe regularisatie of ruwe clipping.
• Toepasbaarheid: De methode is model-onafhankelijk en kan worden toegepast op diverse RL-taken, wat leidt tot betere prestaties in complexe redeneertaken waar diversiteit en diepgang essentieel zijn.

Samenvattend stelt CE-GPPO dat het niet alleen om het beperken van updates gaat, maar om het intelligente behoud en wegen van informatie uit de "moeilijke" tokens (die buiten het clip-interval vallen) om een gezonde en productieve trainingsdynamiek te garanderen.