💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

Dit artikel introduceert Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO), een reinforcement learning-algoritme dat asymmetrisch entropie-gebaseerde korting toepast op rollouts met een negatieve advantage, terwijl de volledige gradiëntsignalen voor succesvolle trajecten behouden blijven, waardoor de training aanzienlijk wordt gestabiliseerd en de prestaties op benchmarks voor wiskundige redenering worden verbeteral vergeleken met standaard GRPO.

Oorspronkelijke auteurs: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student (een AI-taalmodel) leert hoe hij wiskundige problemen moet oplossen. De student probeert te leren door te oefenen, feedback te krijgen en zijn studiegewoonten aan te passen. Dit artikel introduceert een slimmere manier om die feedback te geven, waardoor het leerproces sneller, stabieler en minder verwarrend wordt.

Hier is de uitsplitsing van de ideeën uit het artikel met behulp van eenvoudige analogieën:

Het Probleem: De "One-Size-Fits-All" Tutor

De huidige standaardmethode om deze AI-modellen te onderwijzen, wordt GRPO genoemd. Denk aan GRPO als een strenge tutor die elk woord dat de student schrijft op dezelfde manier behandelt.

Het Probleem: Als de student zelfverzekerd is en een duidelijke, correcte zin schrijft, geeft de tutor hem een high-five. Maar als de student in de war is, stampt of wild gokt (hoge "entropie" of onzekerheid), geeft de tutor hem precies evenveel aandacht — soms zelfs even hard gestraft als wanneer de student zelfverzekerd fout zat.
Het Resultaat: Dit ver verwart de student. Wanneer de student al aan het gokken is, kan het krijgen van een harde straf ervoor zorgen dat hij in paniek raakt en de verkeerde dingen leert. Omgekeerd, als de student een probleem goed oplost, maar onderweg een paar wankele gokjes maakte, kan de tutor per ongeluk die wankele gokjes bestraffen, waardoor de les "dit pad leidt naar het juiste antwoord" wordt verzwakt.

De Oplossing: Twee Nieuwe Onderwijsstrategieën

De auteurs stellen twee upgrades voor aan dit tutorensysteem, die ze AH-GRPO en SA-AH-GRPO noemen.

1. De "Onzekerheidskorting" (AH-GRPO)

Stel je voor dat de tutor een speciale regel heeft: "Als de student duidelijk in de war is, draaien we het volume van de feedback zachter."

Hoe het werkt: De tutor controleert bij elk woord hoe onzeker de student is. Als de student wild aan het gokken is (hoge entropie), zegt de tutor: "Oké, dit deel is rommelig, dus ik zal het niet zo zwaar tegen je rekenen."
Het Voordeel: Dit voorkomt dat de student overweldigd raakt door ruis wanneer hij moeite heeft. Het verkort de "leershorizon" en focust alleen op de delen van het antwoord die duidelijk zijn.

2. De "Selectieve Voorsprong" Regel (SA-AH-GRPO) — De Ster van de Show

Dit is de belangrijkste innovatie van het artikel. Het voegt een cruciale draai toe aan de bovenstaande regel: "Zet het volume alleen zachter als de student het hele antwoord fout had."

Scenario A: De Student Heeft het Goed (Positieve Voorsprong)
Zelfs als de student onderweg struikelde of een paar woorden gokte, als hij het probleem uiteindelijk correct oplost, zegt de tutor: "Goed gedaan! Elk woord dat je schreef, zelfs de wankele woorden, heeft je geholpen om daar te komen. We tellen ze allemaal mee!"
- Waarom? Omdat het eindresultaat een succes was. We willen het hele pad dat tot de overwinning leidde, versterken.
Scenario B: De Student Heeft het Fout (Negatieve Voorsprong)
Als de student er niet in slaagt het probleem op te lossen, zegt de tutor: "Je hebt het fout gedaan. Laten we nu kijken waar je in de war was. We negeren de delen waar je alleen maar wild aan het gokken was, zodat we je niet per ongeluk een verkeerde les leren door die gokjes. We focussen ons alleen op de duidelijke fouten."
- Waarom? Wanneer je fout zit én in de war bent, zijn je gokjes gewoon ruis. Het te hard straffen van de ruis creëert een chaotisch leersignaal.

De Resultaten: Een Soepeler Verloop

De auteurs hebben deze nieuwe methode getest op wiskundige problemen met behulp van twee verschillende groottes AI-modellen (een kleiner 1.5B model en een groter 3B model).

Voor het Grotere Model (3B): De nieuwe methode maakte het model niet noodzakelijkerwijs slimmer dan de oude methode (het was al vrij slim), maar het maakte de training veel stabieler. Stel je voor dat je een auto bestuurt: de oude methode was als rijden op een hobbelige weg waar de auto naar links en rechts zwiepte. De nieuwe methode maakte de weg gladder. Het "zwiepen" (variantie) werd met 3,6 keer verminderd. De auto bereikte dezelfde bestemming, maar met een veel soepeler ritje.
Voor het Kleinere Model (1.5B): De nieuwe methode hielp het model zelfs om beter te leren. Het verbeterde de uiteindelijke score met bijna 5 procentpunten vergeleken met wanneer men vanaf nul begint. Het lijkt erop dat het kleinere model die extra stabiliteit nodig had om effectief te leren.

Het "Geheime Ingrediënt": Waarom het Werkt

Het artikel betoogt dat deze aanpak het verschil tussen exploratie en exploitatie respecteert:

Wanneer een model aan het exploreren is (aan het gokken is), is het oké om onzeker te zijn.
Wanneer een model succesvol is, moeten we de hele reis belonen, zelfs de onzekere delen.
Wanneer een model faalt, moeten we voorzichtig zijn met het te hard straffen van de "ruis" van onzekerheid, of we verwarren het leersignaal.

Samenvatting

Beschouw SA-AH-GRPO als een wijze coach die weet wanneer hij streng en wanneer hij mild moet zijn.

Als je het spel wint, juicht de coach voor elke zet die je maakte, zelfs de riskante zetten.
Als je het spel verliest, negeert de coach de momenten waarop je gewoon aan het gokken was en focust hij alleen op de duidelijke fouten, zodat je niet ontmoedigd of in de war raakt.

Deze eenvoudige verandering in hoe feedback wordt gewogen, maakt het trainingsproces van de AI sneller, stabieler en effectiever, vooral voor kleinere modellen die extra hulp nodig hebben om hun draai te vinden.

Technische Samenvatting: Selective-Advantage Entropy-Adaptive Horizon GRPO

Probleemstelling

Group Relative Policy Optimisation (GRPO) is een dominante algoritme geworden voor Reinforcement Learning from Verifiable Rewards (RLVR) in taalmodellen, met name voor redeneertaken. De standaard GRPO lijdt echter aan twee primaire beperkingen met betrekking tot gradiëntweging:

Symmetrische Token-weging: Het behandelt elke tokenpositie gelijk, ongeacht de lokale onzekerheid (entropie) van het model. Op posities met een hoge entropie, waar het model meerdere plausibele voortzettingen verkent, is het gradiëntsignaal inherent ruisachtig. Het toepassen van uniforme gewichten op deze posities kan de training destabiliseren door deze ruisige updates met dezelfde magnitude te behandelen als zelfverzekerde, laag-entropie updates.
Symmetrische Rollout-behandeling: Het past identieke gradiëntweging toe op zowel succesvolle (positieve-voordeel) als mislukte (negatieve-voordeel) trajecten. Het bestraffen van onzekere tokenposities in een succesvol traject is contraproductief, aangezien die tokens hebben bijgedragen aan een correcte oplossing en daarom volledige krediet moeten krijgen. Omgekeerd kan agressieve bestraffing van onzekere posities in mislukte trajecten conflicterende gradiëntsignalen introduceren.

Bestaande benaderingen voor token-niveau weging vertrouwen vaak op hulp-beloningsmodellen of vaste heuristieken. Dit artikel stelt een methode voor die gewichten direct afleidt uit de eigen voorspellende onzekerheid van het model zonder extra supervisie.

Methodologie

De auteurs introduceren twee hiërarchische uitbreidingen op GRPO: Adaptive-Horizon GRPO (AH-GRPO) en Selective-Advantage AH-GRPO (SA-AH-GRPO).

1. Entropy-Adaptive Horizon Discount

Het kernmechanisme is een per-token gewicht afgeleid van de cumulatieve genormaliseerde entropie van het traject tot dat punt.

Genormaliseerde Entropie: Voor een token $t$ in rollout $i$ wordt de genormaliseerde entropie $\tilde{H}^{(i)}_t$ berekend als de Shannon-entropie van de distributie van het beleid gedeeld door $\log V$ (vocabulaire grootte), geschat met behulp van de top- $K$ logits ( $K=500$ ) voor efficiëntie.
Discount Factor: Een per-stap discount $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ wordt toegepast.
Cumulatief Gewicht: Het gewicht voor token $t$ is het product van alle voorafgaande discounts: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
Effect: Wanneer $\alpha > 0$ , resulteren hoge-entropie prefixen in sterkere discounting, wat effectief de "effectieve horizon" verkort waarover gradiënten door onzekere sequenties propageren.

2. AH-GRPO (Uniforme Toepassing)

In AH-GRPO wordt de entropie-gebaseerde gewicht $w^{(i)}_t$ uniform toegepast op alle tokens in alle rollouts, ongeacht of het traject succesvol of mislukt is. Dit vermindert de invloed van ruisige gradiënten op onzekere posities, maar brengt het risico met zich mee dat het signaal op correcte oplossingen wordt gedempt die toevallig onzekere stappen bevatten.

3. SA-AH-GRPO (Selectieve Toepassing)

SA-AH-GRPO introduceert een asymmetrie op basis van de groep-genormaliseerde advantage $\hat{A}_i$ :

Positieve Advantage ( $\hat{A}_i \geq 0$ ): Het traject wordt als succesvol beschouwd. Alle tokens, inclusief die op hoge-entropie posities, ontvangen een gewicht van $1$ (geen discount). Dit behoudt het volledige gradiëntsignaal voor correcte oplossingen.
Negatieve Advantage ( $\hat{A}_i < 0$ ): Het traject wordt als mislukt beschouwd. De entropie-adaptieve gewicht $w^{(i)}_t$ wordt toegepast. Dit onderdrukt gradiëntupdates op structureel ambigue (hoge-entropie) posities binnen mislukte trajecten, wat voorkomt dat het model overmatig corrigeert op basis van ruisige signalen.

De verliesfunctie wordt aangepast om te normaliseren door het effectieve (gewogen) tokenaantal in plaats van het ruwe tokenaantal.

Experimentele Opstelling

Modellen: Qwen 2.5-1.5B-Instruct en Qwen 2.5-3B-Instruct.
Dataset: GSM8K (mathematische redenering), gebruikmakend van 800 trainings- en 500 evaluatievoorbeelden.
Fine-tuning: Low-Rank Adaptation (LoRA) met rank $r=16$ .
Beloningsfunctie: Een samengestelde beloning ( $r_{max}=7.5$ ) die correctheid, format-naleving (specifieke XML-tags), aanwezigheid van oplossing-tags en redeneerstap-dichtheid combineert.
Baselines: Standaard GRPO ( $\alpha=0$ ) en AH-GRPO ( $\alpha=0.5$ ).
Ablatie: Een sweep van $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ op het 1.5B model.

Belangrijkste Resultaten

1. Nauwkeurigheid en Stabiliteit (3B Model)

Op het Qwen 2.5-3B-Instruct model is de zero-shot baseline sterk (Pass@1 $\approx$ 0.831).

Pieknauwkeurigheid: SA-AH-GRPO bereikte een piek Pass@1 van 0.858 (stap 30), wat overeenkomt met de piekprestatie van standaard GRPO (0.852) en AH-GRPO (0.862).
Trainingsvariantie: SA-AH-GRPO verminderde de trainingsvariantie aanzienlijk tot 0.0246, wat een 3.6 $\times$ reductie is vergeleken met standaard GRPO (0.0885) en een 2.6 $\times$ reductie vergeleken met AH-GRPO (0.0630).
Conclusie: Op de 3B schaal is het primaire voordeel de substantiële stabilisatie van de training zonder de pieknauwkeurigheid op te offeren.

2. Nauwkeurigheid en Stabiliteit (1.5B Model)

Op het Qwen 2.5-1.5B-Instruct model is de zero-shot baseline lager (Pass@1 $\approx$ 0.637).

Pieknauwkeurigheid: SA-AH-GRPO bereikte een piek en finale Pass@1 van 0.686, een verbetering van +4.9 procentpunt ten opzichte van de zero-shot baseline. Dit presteerde beter dan standaard GRPO (piek 0.668) en AH-GRPO (piek 0.676).
Variantie: Interessant genoeg vertoonde het 1.5B model een hogere trainingsvariantie (0.1718) met SA-AH-GRPO vergeleken met andere methoden. De auteurs schrijven dit toe aan het feit dat het model meer "ruimte voor verbetering" heeft, wat leidt tot grotere beloningsvariatie tijdens het leerproces, terwijl het nog steeds profiteert van het onbeperkte gradiëntsignaal op positieve rollouts.

3. Ablatie Studie ( $\alpha$ )

De sweep op het 1.5B model bevestigde dat positieve $\alpha$ -waarden (entropie discounting) consequent beter presteren dan negatieve $\alpha$ -waarden (entropie amplificatie).

$\alpha = -0.25$ degradeerde de prestaties onder de baseline.
Onder de positieve waarden leverde $\alpha=0.10$ de hoogste piek op, maar lagere finale stabiliteit, terwijl $\alpha=0.50$ een betere balans bood.
Cruciaal is dat SA-AH-GRPO bij $\alpha=0.50$ (0.686) significant beter presteerde dan symmetrische AH-GRPO bij dezelfde $\alpha$ (0.676), wat de selectieve toepassing strategie valideert.

4. Trainingsdynamiek

Impliciet Curriculum: Naarmate de training vordert, neemt de gemiddelde genormaliseerde entropie af (van ~0.029 naar ~0.009 op het 3B model). Bijgevolg nadert de discount factor natuurlijk de 1, wat fungeert als een impliciet annealing-schema waarbij het model minder afhankelijk wordt van de entropie-filter naarmate het zelfverzekerder wordt.
Respons Lengte: De gemiddelde generatielengte nam af tijdens de training (bijv. van 243 naar 171 tokens op 3B), wat suggereert dat de methode meer beknopte redeneerketens aanmoedigt.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat per-token, per-rollout entropie-adaptieve discounting introduceert in een RLVR-setting, en het eerste dat dit asymmetrisch toepast op basis van het teken van de advantage.

De auteurs stellen dat SA-AH-GRPO een geprincipeerde inductieve bias biedt voor RLVR op gestructureerde generatietaken door:

Gradiëntsignalen te Preserveren: Het zorgt ervoor dat correcte oplossingen, zelfs die met onzekere stappen, volledige krediet krijgen, waardoor het onderdrukken van geldige leersignalen wordt voorkomen.
Training te Stabiliseren: Door gradiënten alleen op mislukte trajecten bij onzekere posities selectief te dempen, vermindert het conflicterende gradiëntrichtingen en trainingsvariantie.
Auxiliaire Modellen te Elimineren: Het wegingmechanisme rust uitsluitend op de eigen voorspellende onzekerheid van het beleid, waardoor geen aanvullende beloningsmodellen of vaste heuristieken nodig zijn.

De resultaten suggereren dat asymmetrische entropie discounting een praktische verbetering is voor GRPO-gebaseerde fine-tuning, die superieure stabiliteit biedt op grotere modellen en consistente nauwkeurigheidswinsten op kleinere modellen. Toekomstig werk wordt voorgesteld om deze methoden op grotere schaal (7B, 70B) en over verschillende taakdomeinen te evalueren.