Technische Samenvatting: EP-GRPO

Probleemstelling

Het artikel identificeert drie fundamentele fouten in de toewijzing van krediet die inherent zijn aan Group Relative Policy Optimization (GRPO), een toonaangevend algoritme voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) in Large Language Models (LLM's). Deze beperkingen belemmeren de efficiëntie en effectiviteit van redeneertaken:

1. Uniforme Token-niveau Granulariteit: Standaard GRPO kent een uniforme voordeelwaarde toe aan alle tokens binnen een gegenereerde sequentie. Deze grove granulariteit negeert de heterogene informatieve waarde van tokens. Empirische analyse toont aan dat tokens met hoge entropie (die beslissingspivots vertegenwoordigen) cruciaal zijn voor redenering, terwijl tokens met lage entropie vaak deterministische, redundante afleidingen vertegenwoordigen. Het gelijkstellen van deze tokens verdunt het gradiëntsignaal op cruciale beslissingsmomenten.
2. Uniforme Polairiteit: GRPO kent hetzelfde teken van voordeel (positief of negatief) toe aan elk token in een sequentie, uitsluitend gebaseerd op het uiteindelijke resultaat. Dit leidt tot "polariteitsmisalignering", waarbij correcte tussenstappen in een mislukte traject worden bestraft en onjuiste stappen in een succesvol traject onbedoeld worden beloond. Bestaande oplossingen zoals Process Reward Models (PRM's) lossen dit op, maar vereisen kostbare externe annotaties en worstelen met generalisatie.
3. Zero-Variatie Collapse: Wanneer alle bemonsterde antwoorden in een groep identieke beloningen ontvangen (vaak in het vroege stadium van training of bij moeilijke taken), wordt de genormaliseerde voordeelwaarde voor alle tokens nul. Dit zorgt ervoor dat het door het resultaat gedreven gradiëntsignaal volledig verdwijnt, waardoor het leren stopt. Hoewel het vergroten van de groepsgrootte dit verzacht, is dit computatierijk. Bestaande oplossingen vertrouwen vaak op extra bemonstering of heuristische herschikking die niet overeenkomt met logische vooruitgang.

Methodologie: EP-GRPO

De auteurs stellen Entropy-Progress Aligned GRPO (EP-GRPO) voor, een raamwerk dat schaarse, uitsluitend op resultaten gebaseerde feedback omzet in dichte, zelftoezichtende, token-niveau leersignalen zonder externe beloningsmodellen. De methode bestaat uit drie kerndelen:

1. Entropy-Gated Outcome Advantage

Om de granulariteit aan te pakken, moduleert EP-GRPO de oorspronkelijke voordeelwaarde op sequentieniveau ($\hat{A}_i$) met behulp van een token-niveau gewicht afgeleid van voorspellende entropie ($H_{i,t}$).

• Mechanisme: De methode berekent de voorspellende entropie voor elk token. Een sigmoid-gate mapt gestandaardiseerde entropiewaarden naar gewichten ($W_{i,t}$).
• Effect: Tokens met hoge entropie (beslissingspivots) krijgen versterkte gewichten, terwijl tokens met lage entropie (deterministische afleidingen) worden onderdrukt. De gemoduleerde voordeelwaarde is $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$. Dit behoudt de oorspronkelijke richting maar past de grootte aan op basis van informatieve inhoud.

2. Implicit Progress Advantage

Om polariteit en zero-variatie collapse aan te pakken, introduceert EP-GRPO een directioneel signaal afgeleid van beleidsdivergentie.

• Signaalgeneratie: Het berekent de log-probabiliteitsdivergentie tussen het huidige beleid ($\pi_\theta$) en een bevroren referentiebeleid ($\pi_{ref}$): $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$. Dit dient als een zelftoezichtend processignaal.
• Directionele Ankering: Omdat divergentie geen intrinsieke directionaliteit heeft (vertrouwen kan verkeerd geplaatst zijn), wordt deze verankerd aan de uitkomst-voordeelwaarde.
  • Als de variatie in groepsbeloning niet nul is, is het anker $\text{sign}(\hat{A}_i)$.
  • Als de variatie nul is (collapse), degradeert het anker naar het ruwe beloningsteken ($\text{sign}(r_i - \theta_{reward})$).
• Progress Alignment: Om deze signalen te normaliseren over asynchrone redeneertrajecten, worden tokens gemapt naar "logische vooruitgangsbuckets" op basis van cumulatieve entropie ($\tau_{i,t}$). Normalisatie (Z-score) wordt uitgevoerd binnen deze buckets in plaats van op fysieke positie, zodat tokens in vergelijkbare redeneerstadia met elkaar worden vergeleken.
• Resultaat: Dit levert een directionele, dichte beloning op ($\hat{A}^{progress}_{i,t}$) die actief blijft, zelfs wanneer uitkomst-voordelen verdwijnen.

3. Final Token-Level Advantage

De uiteindelijke voordeelwaarde combineert beide signalen:
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
Theoretische analyse bewijst dat deze gradiënt equivalent is aan een geregulariseerd GRPO-doel met een met entropie gewogen term voor het kwadraat van de log-ratio, wat effectief werkt als een precisie-gestuurde regularisatie die exploratie stabiliseert op cruciale beslissingsmomenten.

Belangrijkste Bijdragen

1. Entropy-Gated Modulation: Een mechanisme om grove voordeelwaarden op sequentieniveau om te zetten in token-niveau gewichten, met prioriteit voor gradiëntupdates op beslissingspivots met hoge entropie.
2. Anchored Implicit Process Signals: Een methode om beleidsdivergentie om te zetten in directionele procesbeloningen door deze te verankeren aan uitkomst-voordelen. Dit biedt fijnmazige feedback zonder externe PRM's en handhaaft de gradiëntstroom tijdens zero-variatie collapse.
3. Logical Progress Alignment: Een strategie voor mapping van cumulatieve entropie die asynchrone trajecten projecteert in een unificeerd coördinatenstelsel, waardoor normalisatie op basis van vooruitgang mogelijk wordt en betekenisvolle signalen worden gegarandeerd, zelfs wanneer op uitkomsten gebaseerde gradiënten verdwijnen.

Experimentele Resultaten

De auteurs evalueerden EP-GRPO op de Qwen2.5-3B en Qwen2.5-7B modellen over vijf wiskundige redeneerbenchmarks: MATH500, AMC23, Minerva, AIME24 en AIME25.

• Prestatiewinst: EP-GRPO presteerde consequent beter dan standaard GRPO en zijn varianten (bijvoorbeeld hogere temperatuur, meer rollouts).
  • Op Qwen2.5-3B verbeterde de gemiddelde nauwkeurigheid van 18,14% (GRPO) naar 22,93% (+26,4%).
  • Op Qwen2.5-7B verbeterde de gemiddelde nauwkeurigheid van 27,11% (GRPO) naar 30,34% (+11,9%).
  • Opmerkelijk is dat het 3B EP-GRPO-model de commerciële DeepSeek-R1-671B versloeg op de AMC23-benchmark.
• Pass@k Prestaties: EP-GRPO toonde aanzienlijke voordelen op datasets met hoge moeilijkheidsgraad (AIME24/25) naarmate het aantal steekproeven ($k$) toenam, wat wijst op een superieur vermogen om correcte redeneerpaden te ontdekken in complexe scenario's.
• Ablatiestudies: Het verwijderen van een enkel onderdeel (Entropy Gating, Implicit Progress Signals of Zero-Variance Degradation) resulteerde in prestatiedalingen, wat bevestigt dat de drie mechanismen niet-redundant zijn en collectief noodzakelijk.
• Efficiëntie: De trainingsduur op de klok was vergelijkbaar met standaard GRPO, aangezien de extra berekeningen (entropie, divergentie) lichtgewicht zijn. EP-GRPO produceerde echter redeneerketens die ongeveer 20% langer waren, wat wijst op diepere redenering zonder tijdkost.

Betekenis

Het artikel beweert dat EP-GRPO de fundamentele beperkingen van GRPO in RLVR aanpakt door een zelftoezichtend, dicht mechanisme voor krediettoewijzing in te voeren. Door gebruik te maken van de intrinsieke informatiestroom (entropie) en beleidsdynamiek (divergentie) van het model, elimineert het de behoefte aan kostbare externe Process Reward Models, terwijl het tegelijkertijd de zero-variatie collapse oplost die standaard groepsgebaseerde optimalisatie parten speelt. De resultaten suggereren dat verbeterde krediettoewijzing, in plaats van louter het vergroten van de modelgrootte of het bemonsteringsbudget, een cruciale hefboom is voor het verbeteren van de redeneercapaciteiten van LLM's.