Technische Samenvatting: Het Temmen van Extreme Tokens met Covariantie-bewuste GRPO

Probleemstelling

Group Relative Policy Optimization (GRPO) is een standaardbenadering geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), met name in wiskundige en programmeertaken. GRPO staat echter voor een kritieke beperking in het balanceren van de afweging tussen exploratie (het zoeken naar nieuwe redeneerstrategieën) en exploitatie (het verfijnen van bekende goede oplossingen).

Het artikel identificeert dat deze onbalans fundamenteel verbonden is met de entropiedynamiek van het beleid tijdens het trainen. Gebaseerd op theoretische inzichten van Cui et al. (2025a) merken de auteurs op dat veranderingen in beleid-entropie worden bepaald door de covariantie tussen token-log-kansen en hun overeenkomstige voordeel-schattingen. Empirische analyse toont aan dat een klein percentage tokens met extreme covariantiewaarden de beleidsupdates disproportioneel domineert. Deze outliers veroorzaken entropie-instabiliteit, wat leidt tot ofwel oververtrouwen in suboptimale oplossingen (excessieve exploitatie) ofwel instabiele trainingsdynamiek (excessieve exploratie), wat uiteindelijk resulteert in suboptimale prestaties in downstream taken.

Methodologie

De voorgestelde oplossing is Covariantie-bewuste GRPO (CW-GRPO), een hyperparameter-vrije optimalisatiemethode die voordeel-signalen dynamisch herschikt op basis van token-niveau covariantie.

1. Theoretische Grondslag

De methode steunt op de observatie dat de verandering in beleid-entropie ($\Delta H$) onder natuurlijke beleidsgradiënt-updates ongeveer evenredig is met de negatieve covariantie tussen token-log-kansen en voordelen:
$$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$$
Extreme waarden in deze covariantie drijven de entropie weg van een stabiele, gebalanceerde staat.

2. Gaussische-Kern Voordeel-Herschikking

Om het destabiliserende effect van extreme tokens te mitigeren, introduceren de auteurs een herschikkingsmechanisme:

• Covariantieberekening: Voor elke token $t$ in antwoord $i$ berekent de methode de covariantie tussen de gecentreerde log-kans en de gecentreerde voordeelwaarde:
  $$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$$
• Gaussische Weging: Een Gaussische kern wordt toegepast om tokens met covarianties met hoge magnitude te onderdrukken. De bandbreedte wordt ingesteld op de empirische standaardafwijking ($\sigma$) van de covariantieverdeling:
  $$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$$
  Deze functie filtert "outlier"-tokens zachtjes weg die anders zouden leiden tot entropie-inzakking of -explosie, terwijl de leersignalen van tokens met gematigde covarianties behouden blijven.
• Normalisatie: De gewichten worden genormaliseerd om de verwachte verliesgrootte over de batch te handhaven.
• Gewijzigde Doelfunctie: De token-niveau verliesfunctie wordt bijgewerkt door het voordeel $\hat{A}_i$ te vermenigvuldigen met de herschikkingsfactor $\tilde{w}_{i,t}$ voordat de standaard GRPO-doelfunctie wordt toegepast.

Belangrijkste Bijdragen

1. Identificatie van Extreme Tokens: Het artikel toont empirisch aan dat een klein percentage tokens met extreme covariantiewaarden de beleidsupdates en entropie-instabiliteit in standaard GRPO disproportioneel aandrijven.
2. Hyperparameter-vrije Optimalisatie: De voorgestelde CW-GRPO-methode drukt extreme updates automatisch af met een Gaussische kern zonder extra aanpasbare hyperparameters te vereisen.
3. Gestabiliseerde Entropiedynamiek: Door extreme covariantie-updates te onderdrukken, handhaaft de methode de beleid-entropie op een redelijk niveau, waardoor exploratie en exploitatie effectief in evenwicht worden gebracht gedurende de training.

Experimentele Resultaten

De auteurs evalueerden CW-GRPO op twee modelgroottes (1,5B en 7B) met behulp van de Open-RS-trainingsdataset en vijf wiskundige redeneer-benchmarks (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Prestatiewinst:
  • 1,5B Model (DeepSeek-R1-Distill-Qwen): CW-GRPO behaalde een gemiddelde verbetering van +6,4% ten opzichte van het basismodel en +2,7% ten opzichte van standaard GRPO. Opmerkelijke winsten werden waargenomen op AMC23 en Minerva.
  • 7B Model (Qwen2.5-Math): CW-GRPO behaalde een gemiddelde verbetering van +4,3% ten opzichte van het basismodel en +2,4% ten opzichte van standaard GRPO, met significante winsten op AMC23 en OlympiadBench.
• Entropiestabiliteit:
  • Standaard GRPO vertoonde aanzienlijke entropie-instabiliteit, waarbij de prestaties verslechterden naarmate de training vorderde (bijvoorbeeld, MATH-500-scores daalden van 85,0% naar 79,8% naarmate de entropie fluctueerde).
  • CW-GRPO behaalde consistente prestaties over trainingscheckpoints heen (86,2%–87,0% op MATH-500), wat bevestigt dat het beheersen van extreme covariantiewaarden correleert met stabiele en superieure redeneerprestaties.

Betekenis en Aanspraken

Het artikel beweert dat hun aanpak een geprincipeerd mechanisme biedt voor het balanceren van exploratie en exploitatie in GRPO zonder de noodzaak van handmatige hyperparameter-tuning. Door direct de oorzaak van entropie-instabiliteit aan te pakken—extreme token-niveau covariantie-updates—maakt de methode robuustere beleidsoptimalisatie mogelijk.

De auteurs positioneren dit werk als een stap naar meer stabiele versterkende leer voor redeneren, en tonen aan dat het matigen van extreme updates leidt tot consistente downstream verbeteringen over verschillende modelarchitecturen en wiskundige benchmarks. Ze erkennen beperkingen, met name dat experimenten zijn uitgevoerd op modellen tot 7B parameters en voornamelijk gericht waren op wiskundig redeneren, wat suggereert dat verdere validatie op grootschaligere modellen en diverse taken noodzakelijk is om de brede toepasbaarheid te bevestigen.