🤖 machine learning

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

Dit artikel onthult dat GRPO, Dr. GRPO en DAPO geen afzonderlijke methoden zijn, maar eerder drie specifieke configuraties van één onderliggend mechanisme: de groepsstandaarddeviatie van binaire beloningen, die de omvang van de trainingsupdates dicteert en bepaalt welke problemen effectief bijdragen aan het leerproces.

Oorspronkelijke auteurs: Yong Yi Bay, Kathleen A. Yearick

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yong Yi Bay, Kathleen A. Yearick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student probeert te leren hoe je een lastig wiskundig probleem oplost. In plaats van hem één keer te vragen, vraag je hem om hetzelfde probleem acht keer achter elkaar te proberen.

Als hij het acht keer fout heeft, kun je hem niet veel leren omdat je nog niet weet hoe een "goed" antwoord er voor hem uitziet.
Als hij het acht keer goed heeft, kun je hem ook niet veel leren omdat hij het al weet; er is geen strijd nodig om van te leren.
Maar als hij vier keer goed en vier keer fout heeft, dan is dat het ideale punt (the sweet spot). Je kunt naar de goede antwoorden wijzen en zeggen: "Doe dit," en naar de foute antwoorden wijzen en zeggen: "Doe dat niet." De onenigheid tussen zijn pogingen is wat het leersignaal creëert.

Dit artikel, getiteld "GRPO, Dr. GRPO, en DAPO Zijn Drie Operaties op Eén Getal," betoogt dat drie populaire methoden om AI te trainen om te redeneren, eigenlijk gewoon drie verschillende manieren zijn om dat specifieke moment van onenigheid te behandelen.

Hier is de onderverdeling met behulp van eenvoudige analogieën:

Het "Magische Getal": De Standaarddeviatie

Het artikel richt zich op één specifiek getal dat wordt berekend uit die acht pogingen: de Standaarddeviatie.

Beschouw dit getal als een "Verwarringsmeter."
Als de student 8/8 goed of 0/8 goed heeft, staat de meter op nul. Er is geen verwarring, en daarom is er ook geen leersignaal.
Als de student 4/8 goed heeft, staat de meter op maximaal. De student is verward, en die verwarring is precies waar het leren plaatsvindt.

Het artikel bewijst dat voor binaire beloningen (Goed/Fout), deze "Verwarringsmeter" niet alleen een hulpmiddel is; het is de werkelijke omvang van de les.

De Drie Methoden: Drie Manieren om aan de Draaiknop te Draaien

Het artikel laat zien dat drie beroemde AI-trainingsmethoden slechts drie verschillende instellingen zijn op deze zelfde draaiknop:

GRPO (De Versterker):
- Wat het doet: Het neemt de les en deelt deze door de "Verwarringsmeter."
- De Analogie: Stel je een leraar voor die zegt: "Als je verward bent (hoge meter), zal ik de les heel hard schreeuwen zodat je het wel hoort. Als je niet verward bent (lage meter), zal ik fluisteren."
- Het Resultaat: Deze methode geeft de voorkeur aan de moeilijkste en makkelijkste problemen (waar de meter hoog is) en negeert de "precies goed" problemen. Het creëert een "moeilijkheidsbias", waardoor de AI zich intensief op de extremen richt.
Dr. GRPO (De Vlakke Lijn):
- Wat het doet: Het verwijdert de deling. Het negeert de "Verwarringsmeter" volledig.
- De Analogie: Deze leraar zegt: "Ik zal de les met exact hetzelfde volume schreeuwen, ongeacht hoe verward je bent."
- Het Resultaat: De AI leert puur op basis van ruwe succespercentages. Het behandelt een 50/50 gok en een 90% succespercentage met evenveel gewicht per eenheid verbetering. Het verwijdert de "moeilijkheidsbias" van de eerste methode.
DAPO (Het Filter):
- Wat het doet: Het kijkt naar de "Verwarringsmeter." Als de meter op nul staat (iedereen had het goed of iedereen had het fout), gooit het die groep weg en vraagt het de student om het opnieuw te proberen.
- De Analogie: Deze leraar zegt: "Als je alle antwoorden goed of fout hebt, ga ik geen tijd verspillen aan het nakijken. Ik laat je gewoon een nieuwe reeks vragen proberen totdat je enige verwarring vertoont."
- Het Resultaat: Het bespaart rekenkracht door "stille" groepen te negeren die niets leren.

De Grote Ontdekking: Eén Draaiknop, Drie Instellingen

Het hoofdbestanddeel van het artikel is dat deze drie methoden geen verschillende uitvindingen zijn. Het zijn slechts drie operaties op hetzelfde enkelvoudige getal (de standaarddeviatie van de antwoorden van de groep):

GRPO deelt erdoorheen.
Dr. GRPO negeert het.
DAPO filtert de nullen eruit.

Waarom Dit Belangrijk Is (De "Groepsgrootte"-Wet)

Het artikel geeft ook een praktische regel voor hoe vaak je de student moet vragen om het probleem te proberen (de "Groepsgrootte").

De Regel: Hoe moeilijker het probleem, hoe vaker je moet vragen.
De Analogie: Als een probleem een "muntworp" is (50% kans om goed te zijn), is 8 keer vragen meestal genoeg om een goede les te krijgen. Maar als een probleem erg moeilijk is (slechts 5% kans om goed te zijn), kan 8 keer vragen resulteren in 8 keer een fout antwoord, waardoor je een "stille groep" krijgt. Je moet misschien wel 70 keer vragen om slechts één groep te krijgen waar de student zowel wel als niet goed is, zodat je hem daadwerkelijk kunt onderwijzen.

Samenvatting

Het artikel ontrafelt complexe AI-training door te laten zien dat:

Leren vindt plaats door onenigheid. Als een AI-groep het over alles eens is (alles goed of alles fout), leert het niets.
De "Verwarringsmeter" is de les. De mate van onenigheid bepaalt de kracht van het leersignaal.
De drie methoden zijn slechts verschillende manieren om met die meter om te gaan. De ene versterkt het, de andere negeert het, en de derde slaat de groepen over waar de meter defect is.

De auteurs hebben dit getest op een enorme dataset van wiskundige problemen en in gecontroleerde computer-simulaties, waarbij ze bewezen dat deze formules perfect voorspellen hoeveel de AI leert en hoeveel pogingen er nodig zijn om te slagen.

Technische Samenvatting: De Groepsstandaarddeviatie-identiteit in RLVR-training

Probleemstelling
In Reinforcement Learning met Verifieerbare Beloningen (RLVR) omvat het trainen van taalmodellen om te redeneren vaak het samplen van meerdere kandidaat-antwoorden ( $G$ ) voor een enkele prompt en het gebruik van een automatische verifieerder om binaire beloningen toe te wijzen (1 voor correct, 0 voor incorrect). Drie prominente methoden voor het verwerken van deze beloningen—Group Relative Policy Optimization (GRPO), GRPO Done Right (Dr. GRPO), en Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO)—lijken verschillende heuristieken toe te passen. GRPO normaliseert voordelen door de standaarddeviatie van de groep; Dr. GRPO verwijdert deze normalisatie; DAPO verwerpt groepen waar alle antwoorden het eens zijn (nul standaarddeviatie). Het artikel behandelt het gebrek aan een verenigd theoretisch begrip van deze methoden, waarbij de vraag wordt gesteld of het afzonderlijke fixes of variaties van één enkel onderliggend mechanisme zijn.

Methodologie en Kernidentiteit
Het artikel isoleert de trainingsupdate voor een enkele prompt met een eindige groepsgrootte $G$ en binaire beloningen. Het leidt een exacte wiskundige identiteit af voor de per-prompt beleidsgradiënt-update, onafhankelijk van de gebruikte baseline.

Laat $k$ het aantal correcte antwoorden zijn in een groep van grootte $G$ . De groepsbeloningsstandaarddeviatie is $\sigma = \sqrt{k(G-k)/G}$ . Het artikel bewijst de Groepsstandaarddeviatie-identiteit:
$g = \sigma (\bar{s}_+ - \bar{s}_-)$
waarbij $\bar{s}_+$ en $\bar{s}_-$ respectievelijk de gemiddelde scores zijn van de correcte en incorrecte rollouts.

Deze identiteit onthult dat de omvang van de trainingsupdate exact de standaarddeviatie van de groep is. De update verdwijnt wanneer de groep unaniem is ( $k=0$ of $k=G$ , dus $\sigma=0$ ) en piekt wanneer de groep gelijkmatig verdeeld is ( $k=G/2$ ).

Unificatie van Methoden
Het artikel toont aan dat GRPO, Dr. GRPO en DAPO geen verschillende algoritmen zijn, maar drie verschillende operaties die worden toegepast op deze enkele scalaire grootheid ( $\sigma$ ):

GRPO: Deelt het voordeel door $\sigma$ . Dit schaalt de update met $\sigma$ , wat effectief een variantie-gestabiliseerd objectief optimaliseert ( $2\arcsin\sqrt{p}$ ).
Dr. GRPO: Verwijdert de deling door $\sigma$ . Dit resulteert in een update die proportioneel is aan $\sigma^2$ , wat het ruwe succespercentage ( $p$ ) optimaliseert.
DAPO: Verwerpt groepen waar $\sigma = 0$ . Dit filtert "stille" groepen uit die geen contrast bieden tussen goed en fout.

Belangrijkste Bijdragen
Het artikel levert vijf specifieke theoretische en empirische bijdragen:

De Exacte Eindige-Groep Identiteit: Het artikel stelt dat de GRPO-update exact de contrastieve score-richting is, geschaald door $\sigma$ , geldig voor elke eindige $G$ en elke beleidsdimensie, zonder te vertrouwen op asymptotische limieten.
De Groepsgrootte-wet: Het leidt een gesloten relatie af die bepaalt hoeveel samples ( $G$ ) vereist zijn om een doelgetrouwheid ( $\phi$ ) van de grote-groep gradiënt te bereiken. De vereiste groepsgrootte schaalt met het kwadraat van de moeilijkheidsgraad-weging: $G \gtrsim 1/(8\epsilon p(1-p))$ . Dit impliceert dat moeilijke prompts (lage $p$ ) aanzienlijk grotere groepsgroottes vereisen om een stabiel leersignaal te produceren vergeleken met prompts van gemiddelde moeilijkheid.
De Stille-Groep Ratio: Het artikel kwantificeert de waarschijnlijkheid dat een groep "stil" is (geen gradiënt levert) als $P = p^G + (1-p)^G$ . Dit verklaart het mechanisme achter de dynamische sampling van DAPO, die deze specifieke groepen over-sampled en verwerpt.
Exacte Karakterisering van de Moeilijkheidsbias: Het artikel bewijst dat de "moeilijkheidsbias" die in GRPO wordt waargenomen (waarbij gemakkelijke en moeilijke prompts worden overgewogen) een direct gevolg is van de $1/\sigma$ deling. Deze deling komt overeen met de afgeleide van de arcsine-transformatie ( $\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$ ), die een hogere marginale weging toekent aan extreme moeilijkheidsgraden. Het verwijderen van de deling (Dr. GRPO) keert het objectief terug naar het ruwe succespercentage met een vlakke moeilijkheidsgraad-weging.
Empirische Validatie:
- Big-Math Dataset: Op een dataset van 215.608 problemen laat het artikel zien dat de standaardisatie van GRPO het gradiëntbudget verschuift, waarbij bijna het dubbele aandeel wordt toegewezen aan prompts met extreme moeilijkheid (13,9% $\to$ 24,7%) vergeleken met Dr. GRPO. Het bevestigt ook dat bij standaard groepsgroottes ( $G=8$ ), 44% van de prompts stille groepen oplevert, wat overeenkomt met de theoretische voorspelling.
- Gecontroleerde Trainingsrun: Een reproduceerbaar experiment met 6.000 Bernoulli-logit prompts bevestigt dat de gesloten vorm voorspellingen voor stille-groep ratio's en gradiëntmassa-distributie de werkelijke trainingsdynamiek met hoge precisie volgen ( $R^2 = 0,999$ voor stille groepen).

Betekenis en Claims
Het artikel claimt dat wat vaak wordt gezien als een cosmetische normalisatiestap, in feite de "draaiknop" is die bepaalt waar en hoe sterk er geleerd wordt.

Signaal vs. Ruis: De groepsstandaarddeviatie is niet louter een normalisator; het is de omvang van het leersignaal zelf. Een prompt leert alleen wanneer de gesamplede antwoorden van mening verschillen.
Verenigd Zicht: De drie methoden zijn verenigd als operaties op één getal. GRPO kiest ervoor om het signaal te versterken door het niveau van onenigheid; Dr. GRPO kiest ervoor om het niveau van onenigheid te negeren; DAPO kiest ervoor om de gevallen te negeren waarin er geen onenigheid is.
Praktische Implicaties: De bevindingen suggeren dat het gebruik van een uniforme groepsgrootte suboptimaal is, omdat het moeilijke prompts onderbedient (die een grotere $G$ nodig hebben om stilte te vermijden) en gemiddelde prompts overbedient. Het artikel betoogt dat het begrijpen van de exacte eindige-groep boekhouding practitioners in staat stelt om geïnformeerde keuzes te maken over groepsgrootte en objectiefformulering op basis van de specifieke moeilijkheidsgraad-distributie van hun data, in plaats van te vertrouwen op asymptotische benaderingen of heuristische afstemming.

Het artikel concludeert dat deze resultaten geen nieuwe algoritmen vereisen, maar voortvloeien uit de exacte boekhouding van een enkele gesamplede groep, en biedt een kader met gesloten vorm voor de analyse van beloningsvormgeving in RLVR.