Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

Probleemstelling

Bij het post-trainen van grote taalmodellen (LLM's) met behulp van versterking leren (RL), is er een aanhoudend probleem met instabiliteit tijdens het trainen. Dit wordt voornamelijk veroorzaakt door een afwijking van het vertrouwensgebied (trust-region deviation) in off-policy trainingsparadigma's.

Hoewel bestaande methoden zoals PPO-Clip (Proximal Policy Optimization met clipping) de instabiliteit proberen te mitigeren door de belangverhouding (importance sampling ratio) van gesamplede acties te beperken, hebben ze een fundamenteel blind punt:

1. Onbeperkte verdelingsschifting: PPO-Clip controleert alleen de waarschijnlijkheid van acties die daadwerkelijk zijn gesampled. De waarschijnlijkheidsverdeling van niet-gesamplede acties blijft onbeperkt en kan sterk verschuiven.
2. Entropie-instabiliteit: Deze ongecontroleerde verschuivingen leiden tot extreme fluctuaties in de entropie van het beleid (policy), wat resulteert in ofwel te agressieve exploratie of een degeneratie van het gedrag.
3. Gradienten-instabiliteit: De fluctuaties in entropie veroorzaken explosies of verdwijning van gradienten, wat de convergentie en optimalisatieprestaties schaadt.

Methodologie: Entropy Ratio Clipping (ERC)

De auteurs stellen Entropy Ratio Clipping (ERC) voor als een nieuwe, globale soft-constraint om deze problemen op te lossen.

1. De Entropy Ratio ($\rho$):
In plaats van alleen te kijken naar de verhouding van de waarschijnlijkheid van een specifieke token, definiëren de auteurs de entropy ratio als de verhouding tussen de entropie van het nieuwe beleid ($\pi_\theta$) en het oude beleid ($\pi_{old}$) op dezelfde data:
$$\rho_t = \frac{H(\pi_\theta, t)}{H(\pi_{old}, t)}$$
Deze metriek kwantificeert de relatieve verandering in de exploratie van het beleid over de hele actie-ruimte (inclusief niet-gesamplede tokens), en niet alleen lokaal.

2. Het ERC-mechanisme:
ERC introduceert een tweezijdige (bidirectionele) clipper op deze entropie-ratio. Als de ratio buiten een vooraf gedefinieerd bereik valt $(1 - \beta_{low}, 1 + \beta_{high})$, worden de gradienten voor die tokens hard afgesneden (hard truncation).

• Complementair aan PPO-Clip: ERC vervangt PPO-Clip niet, maar werkt er samen mee. Waar PPO-Clip lokale updates beperkt, beperkt ERC de globale verdelingsschifting.
• Formulering: In de objectieve functie (bijvoorbeeld bij DAPO of GPPO) wordt een indicator $I_{i,t}$ toegevoegd die de bijdrage van een token tot nul zet als de entropie-ratio buiten de grenzen valt.

Belangrijkste Bijdragen

1. Nieuwe Metriek: Introductie van de entropy ratio als een nieuwe maatstaf om de globale drift van beleidsverdelingen tijdens RL-training te kwantificeren.
2. ERC-mechanisme: Ontwikkeling van een clipping-mechanisme dat de variatie in exploratie globaal beperkt, waardoor trust-region afwijkingen worden verminderd en trainingsstabiliteit wordt verhoogd.
3. Integratie en Validatie: Succesvolle integratie van ERC in bestaande RL-algoritmen (DAPO en GPPO) en demonstratie van consistente prestatieverbeteringen over meerdere benchmarks en modelgroottes.

Resultaten

De auteurs hebben ERC geëvalueerd op diverse wiskundige redeneringsbenchmarks (zoals AIME24/25, HMMT25, MATH500) en code-reasoning taken, met modellen van 1.5B en 7B parameters.

• Prestatieverbetering: ERC-DAPO en ERC-GPPO overtreffen consequent de baselines (GRPO, DAPO, GPPO) op bijna alle benchmarks. De verbeteringen zijn het meest opvallend op complexe taken (bijv. +2.5 punten op AIME25 voor het 7B-model).
• Trainingsstabiliteit:
  • Entropie: De curve van de entropie is veel stabieler met ERC, zonder de extreme pieken en dalen die bij standaard PPO-Clip voorkomen.
  • Gradienten: De norm van de gradienten blijft binnen gezonde grenzen, wat convergentie versnelt.
• Krimp van het Vertrouwensgebied: ERC verkleint het effectieve vertrouwensgebied en zorgt ervoor dat de belangverhouding dichter bij 1 blijft, zelfs onder off-policy omstandigheden.
• Clipping Ratio: Hoewel ERC een veel hoger percentage tokens "clipt" (ongeveer 20% versus 0.02% bij PPO-clip), verbetert dit de prestaties. Dit komt doordat ERC voornamelijk "ruis" (overbepaalde, deterministische tokens) verwijdert die de training destabiliseren, terwijl het de exploratie van hoog-entropie tokens (zoals redeneerwoorden) behoudt.

Betekenis en Conclusie

De paper toont aan dat het beperken van lokale acties (zoals bij PPO-Clip) onvoldoende is voor stabiel RL bij LLM's. De globale verdelingsschifting van niet-gesamplede acties is een kritieke oorzaak van instabiliteit.

ERC biedt een elegante oplossing door de entropie-ratio als globale regulator te gebruiken. Dit mechanisme:

• Voorkomt zowel "entropie-explosie" als "entropie-collaps".
• Behoudt de nodige exploratiecapaciteit voor het model.
• Werkt orthogonaal met bestaande methoden en kan worden toegepast op verschillende RL-varianten (zoals DAPO en GPPO).

De bevindingen suggereren dat selectief filteren van token-updates op basis van globale verdelingsmetrieken essentieel is voor het bereiken van robuuste en hoogpresterende taalmodellen via versterking leren.