Technische Samenvatting: GRPO is in het geheim een Procesbeloningsmodel

Probleemstelling

Versterkende Leerling (RL) voor Large Language Models (LLM's) vertrouwt vaak op Outcome Reward Models (ORM's), die een enkele scalare beloning toekennen aan een volledige traject. Hoewel Procesbeloningsmodellen (PRM's) fijnmazigere krediettoewijzing bieden door tussenstappen te belonen, vereist het trainen van expliciete neurale PRM's kostbare menselijke annotatie op stapniveau en zijn ze vatbaar voor beloningshacking. Bijgevolg maken veel succesvolle RL-toepassingen, met name in wiskundig redeneren, gebruik van Group Relative Policy Optimization (GRPO), wat het criticamodel en de Generalized Advantage Estimation (GAE) die in traditionele PPO worden gebruikt, elimineert.

Er bestaat echter een kritieke kloof in het begrijpen hoe GRPO omgaat met signalen op stapniveau. Hoewel GRPO doorgaans wordt beschouwd als een algoritme op uitkomstniveau, is het onduidelijk of het impliciet proceskrediettoewijzing uitvoert. Bovendien, als een dergelijke impliciete toewijzing bestaat, is onbekend of de standaard GRPO-doelwitfunctie inherente gebreken bevat die exploratie en exploitatie negatief beïnvloeden wanneer processtappen onbalans in frequentie of beloningen vertonen.

Methodologie

Theoretische Equivalentie

De auteurs leveren een theoretisch bewijs dat standaard GRPO, wanneer uitgerust met een ORM, wiskundig equivalent is aan een PRM-bewust RL-doelwit dat is uitgerust met een niet-triviale, Monte-Carlo-gebaseerde PRM.

• Impliciete Processtappen: De auteurs definiëren "processets" ($\lambda$) als subsets van trajecten binnen een trainingsgroep $G$ die identieke voorvoegsels delen. Deze gedeelde voorvoegsels definiëren op natuurlijke wijze processtappen (sub-trajecten).
• Impliciete PRM-constructie: Ze construeren een functie $f$ die elk traject afbeeldt op een reeks processtappen. De beloning die aan een specifieke processtap wordt toegekend, is de gemiddelde uitkomstbeloning van alle trajecten in de groep die dat specifieke voorvoegsel delen (een Monte-Carlo-schatting).
• Equivalentiebewijs: Onder milde aannames (specifiek het gebruik van het token-level beleidsgradiëntdoelwit en één update-iteratie per batch) bewijzen de auteurs dat de standaard GRPO-verliesfunctie ($L_{GRPO}$) identiek is aan een PRM-bewuste verliesfunctie ($L_{PRM}$) waarbij voordelen worden berekend ten opzichte van deze impliciete stapniveau-beloningen.

Identificatie van een Gebrek

De analyse onthult een defect in de standaard GRPO-doelwitfunctie gerelateerd aan onbalans in de frequentie van processtappen.

• In de standaardformulering wordt de bijdrage van een processtap aan het totale verlies geschaald met het aantal trajecten ($|\lambda|$) dat die stap deelt.
• Als een processtap een negatief voordeel heeft (d.w.z. zijn gemiddelde beloning ligt onder het groepsgemiddelde) maar wordt gedeeld door veel trajecten, wordt de straf vermenigvuldigd met $|\lambda|$. Dit onderdrukt de kans op het genereren van die stap disproportioneel, wat mogelijk de exploratie van hoogbelonende trajecten die toevallig een laagbelonend voorvoegsel delen met andere trajecten, belemmert.
• Omgekeerd, als een stap een positief voordeel heeft, wordt het beloningssignaal versterkt, wat mogelijk de exploratie van alternatieve paden belemmert.

Voorgestelde Oplossing: $\lambda$-GRPO

Om dit gebrek te mitigeren, stellen de auteurs $\lambda$-GRPO voor, een eenvoudige modificatie van de GRPO-verliesfunctie.

• Mechanisme: De token-level loss voor een token $y^{(i)}_t$ wordt geschaald met het omgekeerde van de grootte van zijn processet, $|\lambda(i,t)|^{-1}$.
• Effect: Deze normalisatie heft de frequentieschaalfactor $|\lambda|$ die in de standaarddoelwitfunctie voorkomt, op. Bijgevolg draagt elke processet op een gegeven index evenveel bij aan het verlies, ongeacht hoeveel trajecten dat voorvoegsel delen. Dit voorkomt dat het algoritme stappen simpelweg vanwege hun frequentie binnen de groep te zwaar straft of te zwaar belooft.

Belangrijkste Resultaten

Empirische Validatie van Impliciete PRM

De auteurs verifieerden empirisch dat de "verborgen" PRM-structuur in real-world situaties niet-triviaal is.

• Met behulp van de OpenRS wiskunde-redeneringsdataset analyseerden ze de boomstructuren ($B(G)$) die door trajectvoorvoegsels tijdens het trainen worden gevormd.
• De resultaten toonden aan dat voor groepsgroottes van 6 en 36 meer dan 99% van de gegenereerde groepen niet-triviale procesbeloningen induceerde (d.w.z. voorvoegsels overlappen significant).
• Naarmate het trainen vorderde en de modellen convergeerden, namen de complexiteit van deze voorvoegselstructuren (paddiepte) en het aandeel tokens dat betrokken is bij tussenstappen drastisch toe.

Prestaties op Synthetische Taken

Op een synthetische binaire boom-omgeving ontworpen om de "anti-exploratie"-hypothese te testen:

• Standaard GRPO had moeite om te convergeren naar het pad met de maximale beloning wanneer dat pad een voorvoegsel deelde met paden met lagere beloningen (door het vermenigvuldigde negatieve voordeel).
• $\lambda$-GRPO convergeerde consequent vaker naar het doelpad over verschillende configuraties van voorvoegsellengte en negatieve beloningswaarden.

Downstream Redeneringsbenchmarks

De auteurs fine-tuneden de DeepSeek-R1-Distill-Qwen-1.5B en Llama-3.2-1B-Instruct modellen op de OpenRS dataset en evalueerden ze op vijf redeneringsbenchmarks (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Nauwkeurigheid: $\lambda$-GRPO-modellen presteerden beter dan standaard GRPO-modellen op 15 van de 20 specifieke taak/modelconfiguraties.
• Efficiëntie: $\lambda$-GRPO-modellen bereikten hun piekvalidatienauwkeurigheid in minder dan de helft van het aantal trainingsstappen dat nodig was voor standaard GRPO.
• Snelheidswinst: De auteurs melden een ongeveer 2x trainingsversnelling in termen van stappen tot piekprestaties, met verwaarloosbare rekenkosten voor de normalisatieberekening.

Betekenis en Beweringen

Het artikel beweert dat het standaard GRPO-algoritme al een rijke, ingebouwde PRM-structuur bezit die is afgeleid van uitkomstniveau-beloningen en trajectoverlappingen. De betekenis van dit werk ligt in drie hoofdgebieden:

1. Theoretisch Inzicht: Het onthult de mysteries van GRPO, en bewijst dat het niet zomaar een uitkomstniveau-algoritme is, maar een dat impliciet optimaliseert voor gestructureerde, stapniveau-beloningen via Monte-Carlo-schatting.
2. Algoritmische Verbetering: Het identificeert een specifiek wiskundig gebrek in de standaarddoelwitfunctie met betrekking tot frequentieonbalans en biedt een rekenkundig goedkope oplossing ($\lambda$-GRPO) die de prestaties aanzienlijk verbetert.
3. Praktische Impact: Het toont aan dat hoogwaardige krediettoewijzing op stapniveau kan worden bereikt zonder de kosten van het trainen van expliciete neurale PRM's of het verzamelen van menselijke annotaties op stapniveau. Door de impliciete structuur te benutten, kunnen practitioners de redeneercapaciteiten en trainings-efficiëntie verbeteren met verwaarloosbare extra kosten.

De auteurs concluderen dat toekomstig werk deze impliciete signalen op stapniveau moet benutten in plaats van uitsluitend te vertrouwen op dure, expliciete PRM's.