Technische Samenvatting: Transformatie-Verrijkte GRPO (TA-GRPO)

Probleemstelling

Group Relative Policy Optimization (GRPO) is de dominante methode geworden voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) in Large Language Models (LLM's), met name voor complexe redeneertaken. De paper identificeert echter twee kritieke structurele beperkingen in standaard GRPO die effectieve exploratie belemmeren:

1. Gradiëntverdwijning: Wanneer een trainingsvraag wordt ervaren als te makkelijk (alle bemonsterde antwoorden zijn correct) of te moeilijk (allemaal incorrect), ontvangt de groep van $G$ antwoorden identieke beloningen. Bijgevolg is de standaardafwijking van de beloningen nul, wat leidt tot nul voordelen en geen gradiëntsignaal voor modelupdates. Hoewel Dynamic Sampling (DAPO) probeert dit te mitigeren door dergelijke vragen te verwijderen, resulteert dit in aanzienlijke dataverspilling.
2. Diversiteitsinstorting: Het model neigt om te convergeren naar één enkel redeneerpatroon over alle $G$ bemonsterde antwoorden heen. Klassieke entropieregulering faalt hierin om dit te voorkomen vanwege de enorme actieruimte van LLM's. Zodra het beleid zich concentreert op een smal scala aan redeneertrajecten, erft de bemonsteringsverdeling deze concentratie, en mist de doelfunctie een mechanisme om het uitbreiden van de steun te belonen, waardoor de verkennbare oplossingsruimte monotoon krimpt.

Bestaande GRPO-vooruitgang gaat deze problemen vaak stuksgewijs aan of vertrouwt op het verwijderen van data, in plaats van de onderliggende oorzaken binnen het optimalisatiekader gezamenlijk op te lossen.

Methodologie: Transformatie-Verrijkte GRPO (TA-GRPO)

De auteurs stellen TA-GRPO voor, een beleidsoptimalisatiemethode die zowel gradiëntverdwijning als diversiteitsinstorting aanpakt via vraagherformulering. Het kerninzicht is dat linguïstische perturbaties (wijzigingen in woordkeuze, formaat of volgorde van informatie) de door het model ervaren moeilijkheidsgraad kunnen veranderen en verschillende oplossingsstrategieën kunnen induceren, terwijl de onderliggende probleemsemantiek behouden blijft.

De TA-GRPO-pijplijn wijzigt het standaard GRPO-proces als volgt:

1. Vraagtransformatie: Voor elke oorspronkelijke trainingsvraag $q_0$ genereert het systeem automatisch $N$ probleem-equivalente herformuleringen $\{q_n\}_{n=1}^N$ (aangeduid als "buren") met behulp van GPT-4-Turbo. Deze herformuleringen behouden de onderliggende betekenis maar veranderen de oppervlaktevorm.
2. Uitgebreide Antwoordgroep: In plaats van slechts $G$ antwoorden te bemonsteren voor $q_0$, bemonstert het model $G$ antwoorden voor de oorspronkelijke vraag en $G$ antwoorden voor elk van de $N$ buren. Dit creëert een uitgebreide groep van $(N+1) \times G$ antwoorden.
3. Gecombineerde Voordelberekening: Voordelen worden berekend via groepsrelatieve normalisatie over de gehele uitgebreide set van $(N+1) \times G$ antwoorden, in plaats van afzonderlijk te normaliseren voor elke herformulering.
   • Mitigatie van Gradiëntverdwijning: Zelfs als de oorspronkelijke vraag uniforme beloningen oplevert, leveren de herformuleerde buren vaak gemengde beloningen op (sommige correct, sommige incorrect) door een verschuiving in de ervaren moeilijkheidsgraad. Gecombineerde normalisatie zorgt ervoor dat de standaardafwijking niet-nul is, waardoor het gradiëntsignaal behouden blijft.
   • Mitigatie van Diversiteitsinstorting: De diverse herformuleringen roepen binnen dezelfde groep verschillende redeneerpatronen op, waardoor het beleid wordt voorkomen dat het instort in één enkele modus.
4. Verankerde Belangverhoudingen: Om ervoor te zorgen dat het model leert de oorspronkelijke vraag op te lossen, worden alle belangverhoudingen geconditioneerd op de oorspronkelijke vraag $q_0$, ongeacht welke herformulering ($q_n$) het specifieke antwoord heeft gegenereerd. Dit behandelt de herformuleringen als een surrogaat bemonsteringsverdeling voor $q_0, gerechtvaardigd door de aanname dat probleem-equivalente herformuleringen vergelijkbare redeneertrajecten opleveren.

De doelfunctie maximaliseert de afgeknipte surrogaatverlies over deze uitgebreide groep, met voordelen die zijn afgeleid van de gecombineerde normalisatie en belangverhoudingen die zijn verankerd aan de oorspronkelijke prompt.

Belangrijkste Bijdragen

De paper schetst vier primaire bijdragen:

• Identificatie van Over het Hoofd Geziene Problemen: Het benadrukt dat gradiëntverdwijning en diversiteitsinstorting grotendeels over het hoofd worden gezien door bestaande GRPO-vooruitgang, die deze vaak afzonderlijk of via datafiltering aanpakt.
• TA-GRPO-algoritme: Een eenvoudige uitbreiding die beide problemen gelijktijdig aanpakt door antwoorden te poolen over een vraag en zijn herformuleerde buren, gecombineerde voordelen te berekenen en updates te verankeren aan de oorspronkelijke vraag.
• Empirische Effectiviteit: Uitgebreide experimenten tonen consistente verbeteringen in pass@k aan voor vier LLM's (Qwen3-1.7B/4B, Llama-3.2-1B/3B) op zowel competitie-niveau benchmarks (AMC, OlympiadBench, AIME24/25) als out-of-distribution benchmarks (Minerva, GPQA-Diamond).
• Data-efficiëntie: TA-GRPO bereikt prestaties die vergelijkbaar zijn met baselines die zijn getraind op tot 2,5× meer data, zonder dat er extra hoogwaardige trainingsdata hoeft te worden verzameld, en biedt zo een economisch alternatief voor dataschaling.

Experimentele Resultaten

De auteurs evalueerden TA-GRPO met behulp van de MATH-dataset (7.498 vragen) als trainingsset.

• Diagnose van Trainingssignaal: Analyse van trainingscheckpoints toonde aan dat terwijl standaard GRPO in toenemende mate last heeft van gradiëntverdwijning (tot 93,2% van de vragen levert uniforme beloningen) en diversiteitsinstorting (geconcentreerde embedding-afstanden) naarmate de training vordert, TA-GRPO gedurende de hele training een stabiele marge van gemengde beloningen en diverse redeneerpaden behoudt.
• Prestatiewinsten:
  • Op competitie-niveau benchmarks verbeterde TA-GRPO de gemiddelde pass@32 met 5,09 en 5,01 punten voor respectievelijk Qwen3-1.7B en Qwen3-4B, en met 3,50 en 5,25 punten voor Llama-3.2-1B en Llama-3.2-3B.
  • Opmerkelijke piekverbeteringen waren +9,98 op AIME24 (Qwen3-4B) en +8,58 op GPQA-Diamond (Qwen3-1.7B).
• Controle-experimenten:
  • Gelijkbemonstering: Bij vergelijking met baselines die simpelweg het totale aantal bemonsterde antwoorden verhoogden om het budget van TA-GRPO te matchen (zonder herformulering), behield TA-GRPO nog steeds een duidelijke marge (bijvoorbeeld +6,86 op AIME24 voor Qwen3-4B). Dit bevestigt dat de winst voortkomt uit de diversiteit van de bemonsterde ruimte en gecombineerde normalisatie, en niet louter uit de steekproefgrootte.
  • Dataschaling: TA-GRPO getraind op 1x data kwam overeen met de prestaties van GRPO-baselines getraind op 2,5x data, wat aanzienlijke data-efficiëntie aantoont.

Betekenis en Claims

De paper positioneert TA-GRPO als een methode die het paradigma van RL post-training verschuift. Waar eerdere werken zich richtten op het optimaliseren van de verliesfunctie of beloningsassen, introduceert TA-GRPO de invoerverdeling als een derde hefboom voor het verbeteren van exploratie. Door gebruik te maken van probleem-equivalente herformuleringen, stelt de methode modellen in staat te leren van een rijker scala aan oplossingspogingen zonder data te verwijderen of te vertrouwen op entropieregulering. De auteurs claimen dat deze aanpak een robuuste, data-efficiënte route biedt tot het verbeteren van redeneercapaciteiten in LLM's, met name in scenario's waar datacollectie kostbaar is of waar standaard GRPO onvoldoende gradiëntsignalen biedt.