🤖 machine learning

SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation

Het artikel introduceert SoftmaxGRPO, een reinforcement learning-methode die z-score normalisatie vervangt door temperatuur-geschaalde softmax-voordelen om divergente weging op eenvoudige prompts te voorkomen, waardoor het gradiëntbudget effectiever wordt geheralloceerd en de redeneerprestaties op taken zoals DeepMath en Poetry aanzienlijk worden verbeterd vergeleken met standaard GRPO.

Oorspronkelijke auteurs: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Gepubliceerd 2026-08-11

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij puzzels moet oplossen. Je geeft hem een stapel problemen, en elke keer als hij een poging doet om een probleem op te lossen, krijgt hij een simpel "Ja" of "Nee" cijfer. Als hij het goed doet, krijgt hij een high-five; als hij het fout doet, krijgt hij een zachte "probeer het nog eens". Dit is de wereld van Reinforcement Learning, waar een AI leert door middel van vallen en opstaan. Maar hier komt het lastige gedeelte: hoe vertel je de robot welke specifieke pogingen het belangrijkst zijn om van te leren?

In het verleden gebruikten onderzoekers een methode genaamd GRPO (Group Relative Policy Optimization). Denk aan GRPO als een leraar die naar de antwoorden van tien leerlingen kijkt. Als negen leerlingen een vraag goed hebben en één leerling het fout heeft, focust de leraar zich zwaar op degene die het fout had. Maar als alle tien de leerlingen een vraag goed hebben (een "makkelijke" vraag), raakt de leraar in de war. Omdat de wiskunde die GRPO gebruikt probeert het "gemiddelde" verschil te vinden, schreeuwt het per ongeluk het hardst naar de vragen die de leerlingen al weten op te lossen, terwijl het fluistert bij de moeilijke vragen. Het is als een coach die tegen een sterspeler schreeuwt omdat hij een makkelijke layup mist, terwijl hij de beginner die moeite heeft met dribbelen negeert. Dit verspilt de hersencapaciteit van de robot aan dingen die hij al weet, waardoor hij vastloopt wanneer hij iets nieuws moet leren.

Deze paper introduceert een nieuwe methode genaamd SoftmaxGRPO. In plaats van die verwarrende "gemiddelde" wiskunde te gebruiken, stellen de auteurs een "temperature-scaled softmax"-benadering voor. Stel je een hittekaart voor waarbij de aandacht van de robot van nature wordt getrokken naar de meest interessante pogingen. Als een vraag makkelijk is en de robot het goed heeft, zegt de methode: "Goed gedaan, maar we hoeven dit niet te hard te bestuderen." Als een vraag moeilijk is en de robot worstelt, zegt de methode: "Dit is degene waar we ons op moeten concentreren!" Het werkt als een slim filter dat de aandacht van de robot automatisch wegstuurt van makkelijke problemen en naar de problemen waar hij daadwerkelijk iets van kan leren. De onderzoekers testten dit op wiskundeproblemen, creatief schrijven en het samenvatten van vergaderingen, en vonden dat hun nieuwe methode de robot consequent sneller en beter liet leren dan de oude manier, zelfs wanneer de "cijfers" die hij kreeg slechts ruwe schattingen waren in plaats van perfecte scores.

Het Probleem: De Leraar die tegen de Sterren Schreeuwt

Laten we duiken in het verhaal van de AI en zijn leraar. In de wereld van AI gebruiken we vaak een techniek genaamd Group-Based Reinforcement Learning. Stel je voor dat je een AI vraagt om een wiskundeprobleem op te lossen. In plaats van het slechts één keer te proberen, vraag je de AI om tien verschillende manieren te proberen (dit worden "rollouts" genoemd). Je bekijkt vervolgens al die tien antwoorden samen.

De oude methode, GRPO, werkt als een leraar die de "gemiddelde" prestatie van de groep berekent. Als de AI een vraag goed heeft, geeft GRPO een beloning. Als de AI het fout heeft, geeft het een lagere beloning. Het probleem ontstaat bij makkelijke vragen. Als de AI al heel goed is in een specifiek type wiskundeprobleem, zal hij bijna alle tien de pogingen goed hebben. In de oude GRPO-wiskunde creëert dit een vreemde situatie: omdat het "gemiddelde" zo hoog is, worden de kleine verschillen tussen de "perfecte" antwoorden en de "bijna perfecte" antwoorden uitvergroot. De wiskunde eindigt ermee te schreeuwen tegen de AI om zijn gedrag te veranderen bij vragen die hij al beheerst. Het is als een coach die een professionele basketballer erom uitscheldt dat hij een vrije worp net een paar centimeter naast de ring heeft, terwijl hij een beginner negeert die niet eens de bal kan vasthouden. De AI verspilt zijn energie aan het "repareren" van zaken die niet kapot zijn, waardoor hij geen energie meer overhoudt om het moeilijke werk te leren.

De Oplossing: Een Slimmere Hittekaart

De auteurs van deze paper, van Rice University, stelden een oplossing voor genaamd SoftmaxGRPO. Ze realiseerden zich dat ze, in plaats van een "z-score" te gebruiken (die meet hoe ver een getal van het gemiddelde afligt), een softmax-functie zouden moeten gebruiken.

Denk aan softmax als een "hittekaart" voor aandacht. Het neemt de beloningen (de cijfers) en zet ze om in gewichten met behulp van een speciale formule die een "temperatuur"-instelling bevat (genoemd $\tau$ ).

Hoge Temperatuur: De hittekaart is vlak. Elke poging krijgt ongeveer dezelfde aandacht. Dit is als de oude REINFORCE-methode, waarbij de AI traag en willekeurig leert.
Lage Temperatuur: De hittekaart wordt zeer scherp. De AI focust intensief op de beste pogingen en negeert de rest. Dit is als de MaxRL-methode, die geweldig is in het vinden van het enkel beste antwoord, maar onstabiel kan zijn.

SoftmaxGRPO zit precies in het midden. Het gebruikt een temperatuurinstelling om een vloeiende curve te creëren. Als de AI een makkelijke vraag goed heeft, blijft de hittekaart koel, wat de AI vertelt: "Goed gedaan, ga maar verder." Als de AI een moeilijke vraag fout heeft, blijft de hittekaart warm, wat de AI vertelt: "Dit is belangrijk, bestudeer dit!"

De magie is dat deze methode de gewichten begrensd houdt. Hoe makkelijk de vraag ook is, het "geschreeuw" wordt nooit oneindig. Het voorkomt dat de AI zijn hersencapaciteit verspilt aan makkelijke prompts.

Wat Ze Vonden: Het Bewijs in de Pudding

De auteurs hebben niet alleen gegokt; ze hebben de wiskunde uitgewerkt en de tests uitgevoerd.

1. De Wiskunde is Solide (voor Binaire Beloningen)
Voor vragen die een simpel "Goed" of "Fout" antwoord hebben (binaire beloningen), bewezen zij dat SoftmaxGRPO een perfect, vloeiend objectief creëert. Ze toonden aan dat naarmate de temperatuur lager wordt, de methode van nature verandert in MaxRL (een methode die zich richt op de best mogelijke uitkomst), en naarmate de groepsgrootte enorm wordt, het zich gedraagt als Maximum Likelihood (de gouden standaard van leren). Cruciaal is dat zij bewezen dat, in tegen tegenover GRPO, SoftmaxGRPO nooit ontploft bij makkelijke vragen.

2. De Limieten van de Magie
Ze vonden ook een limiet. Als de beloningen niet alleen "Goed" of "Fout" zijn, maar vele verschillende niveaus hebben (zoals een score van 1 tot 100 met veel stappen), wordt de wiskunde rommelig. Ze toonden aan dat voor groepen met drie of meer beloningsniveaus, je niet altijd een enkel, perfect "scalair objectief" (een eenvoudige formule) kunt vinden dat voor elke groepsgrootte werkt. Dit betekent dat de methode theoretisch het meest perfect is voor eenvoudige "Goed/Fout"-scenario's, maar in de praktijk nog steeds goed werkt voor complexere scores.

3. Resultaten in de Praktijk
Ze testten dit op een model met 1,5 miljard parameters (een middelgrote AI) over verschillende taken:

Wiskunde (GSM8K, Countdown, DeepMath): Bij het gebruik van perfecte "verifier" beloningen (waarbij een computer het antwoord exact controleert), bereikte SoftmaxGRPO een nauwkeurigheid van 51,8% op DeepMath, waarmee het de oude GRPO-methode versloeg. Op Countdown haalde het 58,1%.
Creatief Schrijven (Poëzie): Dit is waar het echt interessant werd. Voor poëzie is er geen "goed" antwoord. Je kunt alleen een "gelijkenis-score" gebruiken (hoeveel een gedicht lijkt op een goed voorbeeld). Dit zijn "zwakke" en ruisende beloningen. De oude GRPO had hier moeite mee. SoftmaxGRPO daarentegen nam een model dat begon op 35,0% en boostte het naar 68,0% op Poëzie. Dat is een enorme sprong, wat bewijst dat de methode werkt, zelfs wanneer de leraar niet perfect is.
Samenvatting (MeetingBank): Het verbeterde de samenvattingsscores van 35% naar 70%.

4. Waar de Aandacht Naartoe Gaat
Het meest veelzeggende bewijs kwam van kijken naar waar de AI zijn "gradient budget" (zijn leerenergie) besteedde.

Oude GRPO: Besteedde 36,4% van zijn energie aan "bijna opgeloste" prompts (vragen die de AI al voor meer dan 90% waarschijnlijk goed zou hebben). Het verspilde tijd aan de makkelijke zaken.
SoftmaxGRPO: Besteedde slechts 10,0% aan die makkelijke prompts. Het verschoof die energie naar de moeilijkere vragen waar de AI mee worstelde (het bereik van 20% tot 90%).

De Conclusie

De paper suggereert dat door simpelweg de manier waarop we "belangrijkheid" berekenen te vervangen van een standaard gemiddelde naar een temperature-scaled softmax, we een groot gebrek in hoe AI leert kunnen oplossen. Het stopt de AI met het obsessief volgen van dingen die hij al weet en dwingt hem om zich te concentreren op de uitdagingen die hem daadwerkelijk slimmer maken.

Hoewel de wiskunde het meest rigoureus is voor eenvoudige "Goed/Fout" beloningen, laten de experimenten zien dat het wonderen doet, zelfs met vage, zwakke beloningen zoals die gebruikt worden voor het schrijven van gedichten of het samenvatten van vergaderingen. Het is een "drop-in" vervanging, wat betekent dat het een kleine wijziging in de code is die leidt tot grote verbeteringen in hoe de AI leert redeneren. De auteurs concluderen dat deze methode een robuuste manier is om leersignalen te herverdelen, zodat de AI zijn tijd besteedt aan de plekken waar het er echt toe doet.

Technische Samenvatting: SoftmaxGRPO

Probleemstelling
Groepsgebaseerde reinforcement learning-doelstellingen, zoals Group Relative Policy Optimization (GRPO), zijn de standaard geworden voor het post-trainen van large language models op redeneertaken. Deze methoden extraheren $M$ rollouts per prompt, normaliseren beloningen binnen de groep en optimaliseren een PPO-achtige surrogate. Echter, het onderzoek identificeert een kritiek pathologisch probleem in de GRPO-normalisatiestrategie: onder binaire correctheidsbeloningen induceert de z-score normalisatie een wegingsfunctie die divergeert wanneer de pass-kans $p \to 1$ . Dit veroorzaakt dat het leersignaal overmatig geconcentreerd raakt op "makkelijke" prompts die het model al betrouwbaar oplost, waardoor het gradiëntbudget wordt verspild. Dit probleem is bijzonder schadelijk in settings met zwakke, ruisige of schaarse beloningen (bijv. string-overlap metrieken voor creatieve generatie), waar inefficiënte gradiëntallocatie onvoldoende signaal overlaat voor prompts waar leren het meest nodig is.

Methodologie: SoftmaxGRPO
De auteurs introduceren SoftmaxGRPO, een drop-in vervanging voor GRPO die z-score genormaliseerde advantages vervangt door temperatuur-geschaalde softmax advantages. Gegeven een groep van $M$ rollouts met beloningen $\{r_i\}$ , berekent de methode binnen-groep gewichten:
$w_i = \frac{\exp(r_i / \tau)}{\sum_{j=1}^M \exp(r_j / \tau)}$
en gecentreerde advantages $A_i = M w_i - 1$ . De kern van de update-regel blijft een PPO-stijl surrogate loss met deze advantages, maar de onderliggende geometrie van de doelstelling verandert fundamenteel.

Theoretische Bijdragen
Het paper biedt een rigoureuze theoretische analyse van SoftmaxGRPO over verschillende beloningsregimes:

Binaire Beloningen (Eindige Groep): Voor binaire beloningen in het unclipped on-policy regime, leiden de auteurs de exacte eindige- $M$ populatie-doelstelling af. Ze bewijzen dat SoftmaxGRPO een prompt-wegingsfunctie $\omega_{M,\tau}(p)$ induceert die begrensd blijft als $p \to 1$ . In tegenstelling tot GRPO, dat schaalt als $[p(1-p)]^{-1/2}$ , vermijdt SoftmaxGRPO de "easy-prompt blow-up".
- Limietgedrag: Naarmate de temperatuur $\tau \to 0$ voor een eindige $M$ , convergeert de methode exact naar MaxRL (Maximum Likelihood Reinforcement Learning) met een truncatieparameter $T = M-1$ . In de gezamenlijke limiet van lage temperatuur en grote groepsgrootte, nadert het Maximum Likelihood (ML) weging ( $1/p$ ).
- Interpolatie: De temperatuur $\tau$ controleert een vloeiende interpolatie tussen REINFORCE-achtig gedrag (hoge $\tau$ , uniforme weging) en MaxRL/ML-achtig gedrag (lage $\tau$ , nadruk op moeilijke prompts).
Begrensde Scalaire Beloningen (Grote Groep): Voor begrensde scalaire beloningen tonen de auteurs aan dat naarmate $M \to \infty$ , de SoftmaxGRPO-update exact de log moment-genererende functie van de beloning optimaliseert (equivalent aan een exponentiële-utiliteit doelstelling).
- Niet-bestaan van een Universele Eindige-Groep Scalaire Doelstelling: Het paper bewijst dat voor algemene scalaire beloningen met drie of meer niveaus, geen universele eindige- $M$ scalaire doelstelling bestaat. De eindige-groep update is over het algemeen niet-conservatief (d.w.z. niet de gradiënt van een scalaire potentiaal), tenzij de beloningsverdeling beperkt is (bijv. binair). Dit onderscheidt SoftmaxGRPO van gevestigde exponentiële-beloningsmethoden zoals RAML of MPO, die de eindige-groep geometrische obstructie niet adresseren.
Praktische Optimalisatie: In de praktijk wordt de methode geïmplementeerd met PPO clipping en een referentiemodel KL-penalty om stabiliteit te garanderen, waarbij de afgeleide doelstellingen worden behandeld als de populatie-niveau target voor de trust-region benadering.

Experimentele Resultaten
De auteurs evalueren SoftmaxGRPO over acht benchmarks, inclus\nuit verifieerbare taken (GSM8K, Countdown, DeepMath) en niet-verifieerbare taken (Poetry Writing, MeetingBank Summarization, AlpacaEval 2.0, MMLU, GPQA).

Verifieerbare Taken: Gebruikmakend van exacte verifiers, bereikt SoftmaxGRPO-Exact 75,8% op GSM8K, 58,1% op Countdown, en 51,8% op DeepMath, waarmee het GRPO-Exact op alle drie overtreft. Opvallend genoeg evenaart of overtreft het de prestaties van OPD (die gebruik maakt van dense per-token distillatie van een sterkere teacher) op GSM8K en Countdown.
Zwakke/Niet-Verifieerbare Beloningen: Onder identieke zwakke similarity rewards (zonder ground-truth verifiers), presteert SoftmaxGRPO-Sim consistent beter dan GRPO-Sim. De meest significante winsten treden op bij creatieve taken: op Poetry Writing bereikt SoftmaxGRPO een score van 68,0, wat een verbetering van +13,4 punten is ten opzien van de op één na beste baseline, GRPO-Sim (54,6). Dit is een substantiële stijging vanaf de Base model score van 35,0.
Gradiëntallocatie: Analyse van de gradiëntbudgetallocatie bevestigt de theoretische claims. Op GSM8K wijst GRPO 36,4% van zijn gradiëntbudget toe aan bijna opgeloste prompts ( $p \ge 0,9$ ), terwijl SoftmaxGRPO dit vermindert naar 10,0%, waardoor het signaal wordt geheralloceerd naar prompts met een matige moeilijkheidsgraad ( $p \in [0,2, 0,9)$ ) waar leren effectiever is.
Ablaties: De methode is robuust voor de rollout groepsgrootte ( $M$ ) bij lage temperaturen ( $\tau \le 0,5$ ). Prestaties verslechteren naarmate $\tau$ toeneemt, wat bevestigt dat de scherpte van de beloningsweging cruciaal is voor de effectiviteit van de methode.

Betekenis en Claims
Het paper claimt dat SoftmaxGRPO een principieel oplossing biedt voor de onbalans in de prompt-moeilijkheid-weging die inherent is aan groepgebaseerde RL. De betekenis ligt in drie gebieden:

Geometrische Correctie: Het vervangt de divergerende weging van GRPO door een begrensde, temperatuur-gecontroleerde familie van doelstellingen die het leersignaal natuurlijk wegstuurt van opgeloste problemen.
Theoretische Rigor: Het stelt de exacte eindige-groep doelstelling vast voor binaire beloningen en identificeert de precieze condities waaronder een scalaire doelstelling bestaat (binaire beloningen) versus wanneer dat niet het geval is (algemene multi-level beloningen).
Praktische Effectiviteit: Het demonstreert dat een eenvoudige one-line replacement voor de advantage-berekening van GRPO consistente verbeteringen oplevert over zowel verifieerbare als niet-verifieerbare domeinen, waarbij het vooral uitblinkt in scenario's met zwakke of ruisige beloningssignalen waar traditionele normalisatie faalt.

De auteurs blijven bescheiden over de reikwijdte, waarbij zij opmerken dat de eindige-groep stelling alleen exact is voor binaire beloningen onder unclipped optimalisatie, en dat de praktische implementatie steunt op PPO-benaderingen. Zij identificeren adaptieve temperatuurselectie en rijkere process-level rewards als toekomstige richtingen.

Het Probleem: De Leraar die tegen de Sterren Schreeuwt

De Oplossing: Een Slimmere Hittekaart

Wat Ze Vonden: Het Bewijs in de Pudding

De Conclusie

Meer zoals dit