Technische Samenvatting: GTPO en GRPO-S

1. Probleemstelling

Huidige Reinforcement Learning (RL) algoritmen voor Large Language Models (LLMs), met name Group Relative Policy Optimization (GRPO) en varianten zoals DAPO, lijden aan grove credit assignment (coarse-grained credit assignment). In deze frameworks wordt een uniforme beloning (bijv. +1 voor een correct antwoord, 0 of -1 voor een incorrect antwoord) toegewezen aan elk token binnen een gegenereerde sequentie. Dit paradigma creëert twee kritieke beperkingen:

1. Bestraffing van Correct Redeneren: Een sequentie die tientallen correcte logische stappen bevat, ontvangt nul beloning als het uiteindelijke antwoord incorrect is, waardoor waardevolle tussenliggende redeneringen effectief worden weggegooid.
2. Beloning van Gebrekkige Paden: Omgekeerd krijgt een sequentie die een correct antwoord bereikt via geraden of gebrekkige tussenliggende stappen de volledige eer, wat incorrecte redeneerpatronen versterkt.
3. Lengtebias: Standaard GRPO-ontwerpen bevoordelen impliciet langere sequenties voor correcte antwoorden vanwege de aggregatie van uniforme voordelen, wat statistisch suboptimaal is.

Hoewel recente werken gebruik hebben gemaakt van beleidsentropie als een regularisatiebeperking of een binaire masker om tokens te filteren, falen zij er niet in om het beloningssignaal actief vorm te geven om onderscheid te maken tussen waardevolle exploratie in correcte oplossingen en zelfverzekerde fouten in incorrecte oplossingen.

2. Methodologie

De auteurs stellen Dynamic Entropy Weighting voor, een framework dat beleidsentropie hergebruikt als een intrinsieke anker voor fijne credit assignment. De kernhypothese is dat een hoge beleidsentropie binnen een redeneersequentie correleert met cruciale beslismomenten (cognitieve inspanning). Het framework herverdeelt beloningen op basis van deze entropie, opererend via twee complementaire algoritmen:

A. Group Token Policy Optimization (GTPO)

GTPO opereert op tokenniveau, waarbij een unieke, entropie-gewogen beloning wordt toegewezen aan elk token.

• Succesvolle Sequenties ($O^+$): Tokens met een hoge entropie (die duiden op waardevolle exploratie of onzekerheid) ontvangen een beloningsbonus. De beloning wordt gevormd als:
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  waarbij $H_{i,t}$ de generatie-entropie van het token is, en $d_t$ het aantal actieve succesvolle sequenties is op stap $t$. Dit versterkt onzekere maar correcte stappen.
• Onsuccesvolle Sequenties ($O^-$): Tokens met een lage entropie (die duiden op hoge mate van zelfvertrouwen) ontvangen zwaardere straffen. De beloning wordt gevormd met behulp van inverse entropie:
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  Dit straft zelfverzekerde fouten af, wat het model aanmoedigt om uit incorrecte redeneermodi te breken.
• Advantage Berekening: Afzonderlijke advantage-functies worden berekend voor positieve en negatieve sets, genormaliseerd over alle tokens in de batch om consistente schaling te garanderen.

B. Sequence-Level GRPO (GRPO-S)

GRPO-S is een lichtgewicht, sequentieniveau-variant ontworpen voor stabiliteit in lange Chain-of-Thought (CoT) taken.

• In plaats van token-niveau beloningen, moduleert het de globale beloning voor een volledige sequentie op basis van de gemiddelde entropie ($\hat{H}_k$).
• Succesvolle sequenties met een hogere gemiddelde exploratie ontvangen bonussen, terwijl incorrecte sequenties met een hoge mate van zelfvertrouwen (lage gemiddelde entropie) straffen ontvangen.
• Deze aanpak biedt een afweging tussen de micro-niveau precisie van GTPO en de macro-niveau stabiliteit van sequenties.

Theoretische Garanties

Het paper biedt een theoretische analyse die bewijst:

1. Bewaring van Beloningsmassa (Reward Mass Conservation): Onder specifieke hyperparameterbeperkingen ($\alpha_1 + \alpha_2 = 1$), is de som van gevormde positieve beloningen gelijk aan de som van de originele binaire beloningen, wat garandeert dat het totale leersignaal onbevooroordeeld blijft ten opzichte van de grondwaarheid.
2. Asymptotische Consistentie: Naarmate de training vordert en de variantie van de entropie onder succesvolle sequenties afneemt, verdwijnt de gradiëntbias geïntroduceerd door entropie-weging, wat zorgt voor convergentie naar hetzelfde globale optimum als standaard GRPO/DAPO.
3. Variatiereductie: De token-niveau normalisatie gebruikt in GTPO is statistisch superieur aan de twee-fasen averaging in standaard GRPO, wat de gradiëntvariantie vermindert.

3. Belangrijkste Bijdragen

1. Identificatie van Grove Beperkingen: Het paper optimaliseert fundamenteel het GRPO-framework door de onmogelijkheid aan te pakken om krediet toe te wijzen aan specifieke redeneerstappen.
2. GTPO Algoritme: Introduceert de eerste echte, fijnmazige, per-token credit assignment binnen het efficiënte GRPO-framework met behulp van dynamische entropie-weging.
3. GRPO-S Algoritme: Stelt een variant op sequienteniveau voor die de exploratieve waarde van volledige sequenties vastlegt, wat superieure stabiliteit biedt voor lange CoT-redeneringen.
4. Theoretische Analyse: Levert bewijzen voor de onbevooroordeeldheid en convergentie van de voorgestelde objectieve functies.
5. Empirische Validatie: Demonstreert significante prestatiewinsten op uitdagende wiskundige redeneerbenchmarks.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-7B en Qwen2.5-32B modellen over de AIME 2024, AIME 2025, en MATH 500 benchmarks.

• Prestaties: Zowel GTPO als GRPO-S vestigden nieuwe state-of-the-art resultaten en presteerden consequent beter dan GRPO, DAPO, en de geavanceerde "DAPO w/ Forking Tokens" baseline.
  • Op AIME 2024 (Qwen2.5-7B) bereikte GTPO een Pass@32 van 64,89%, een enorme verbetering ten opzichte van de 35,51% van DAPO.
  • Op AIME 2025 bereikte GRPO-S een Pass@32 van 23,33% (7B) en 34,33% (32B), waarmee het alle baselines versloeg.
• Exploratie vs. Stabiliteit: In tegen tegenstelling tot DAPO, dat vaak plateau bereikt door voortijdige beleidscollaps (entropie-collaps), vertoonden GTPO en GRPO-S een "entropie-rebound" fenomeen. De modellen behielden een hogere exploratie, wat leidde tot langere, diversere redeneerketens en hogere uiteindelijke beloningsplafonds.
• Sample Efficiëntie: De methoden convergeerden binnen ongeveer 210 trainingsstappen, wat aangeeft dat de prestatiewinsten niet te danken waren aan langere training, maar aan efficiëntere leersignalen.

5. Betekenis en Claims

Het paper claimt dat het benutten en sturen van modelonzekerheid een veelbelovende grens is voor het ontwikkelen van betrouwbare AI-systemen. Door beleidsentropie niet louter als een regularisatieterm te behandelen, maar als een dynamisch signaal voor actieve beloningsvormgeving, maken de voorgestelde methoden het volgende mogelijk:

• Precieze Credit Assignment: Het onderscheiden van waardevolle exploratie in correcte paden versus zelfverzekerde fouten in incorrecte paden zonder een expliciete value network nodig te hebben.
• Robuust Redeneren: Het bewegen van LLM's van patroonimitatie naar verifieerbaar, stap-voor-stap redeneren.
• Schaalbaarheid: Het bieden van een principieel compromis tussen granulaire precisie (GTPO) en sequentiestabiliteit (GRPO-S) dat effectief schaalt over verschillende modelgroottes en taakcomplexiteiten.

De auteurs concluderen dat hun framework het stabiliteit-exploratie dilemma oplost dat inherent is aan huidige RLHF-methoden, waardoor modellen effectiever complexe redeneerruimtes kunnen verkennen terwijl ze de valkuilen van overmoedige, incorrecte redenering vermijden.