Technische Samenvatting: VeriGate (Verifier-Gated Step-Level Supervision voor GRPO)

1. Probleemstelling

Group Relative Policy Optimization (GRPO) is een effectieve methode geworden voor het trainen van Large Reasoning Models (LRMs) met behulp van verifier-gebaseerde outcome-beloningen. De auteurs identificeren echter twee kritieke beperkingen in standaard GRPO die de prestaties op complexe redeneertaken belemmeren:

1. Zero-Gradient Collapse (Beloningsdegeneratie): GRPO vertrouwt op groep-relatieve voordelen. Wanneer alle gesamplede trajecten voor een gegeven prompt dezelfde verifier-beloning ontvangen (bijv. allemaal onjuist, met een beloning van 0), stort het groep-relatieve voordeel in tot nul. In deze "degeneratieve" batches verdwijnt het door beloning gedreven leersignaal, waardoor alleen de KL-regularisatieterm overblijft. Dit zorgt ervoor dat het leerproces stagneert, precies bij de moeilijke prompts waar het model juist begeleiding nodig heeft.
2. Gebrek aan Step-Level Credit Assignment: Alleen op outcome gebaseerde beloningen kennen een enkele scalaire waarde toe aan het gehele redeneertraject. Als gevolg hiervan ontvangt elke token in een correcte oplossing hetzelfde positieve voordeel, en elke token in een onjuiste oplossing hetzelfde negatieve voordeel. Dit voorkomt dat het model onderscheid kan maken tussen werkelijk nuttige redeneerstappen en incidentele of spuriële stappen, wat exploratie beperkt en het vermogen om robuuste redeneerprocessen te leren belemmert.

Hoewel Process Reward Models (PRMs) dichtere, stap-niveau supervisie bieden, introduceert het naïef integreren van deze in GRPO nieuwe risico's:

• Reward Hacking: PRMs zijn geleerde modellen met inherente biases. Het direct optimaliseren van geaggregeerde PRM-scores (door ze als outcome-beloningen te behandelen) kan leiden tot het exploiteren van patronen die de PRM bevoordeelt, zonder dat de werkelijke correctheid verbetert.
• Breekbare Aggregatie: Het samenvoegen van stap-scores tot een enkele traject-scalaire (bijv. via product of minimum) kan de effectieve beloning vervormen als een enkele stap verkeerd wordt gescoord, waardoor fijnmazige credit assignment verloren gaat.
• Verlies van Verifier Autoriteit: Het vervangen van betrouwbare verifier-signalen door imperfecte PRM-signalen kan de prestaties verslechteren op taken waar de verifier betrouwbaar is.

2. Methodologie: VeriGate

De auteurs stellen VeriGate (Verifier-Gated Step-Level GRPO) voor, een methode die proces-supervisie in GRPO integreert wanneer het verifier-signaal niet informatief is. De aanpak is gebouwd op drie kernkeuzes:

S1: Verifier-Gated Supervision

VeriGate implementeert een dynamisch schakelmechanisme op basis van de informatieve waarde van de verifier-beloningen binnen een gesamplede groep:

• Informatieve Verifier: Als de gesamplede trajecten voor een prompt gemengde verifier-beloningen opleveren (sommige correct, andere onjuist), werkt VeriGate exact zoals standaard GRPO, waarbij uitsluitend op het verifier-signaal wordt vertrouwd.
• Degeneratieve Verifier: Als alle gesamplede trajecten dezelfde verifier-beloning ontvangen (specifiek, allemaal nul), stort het standaard GRPO-voordeel in. In dit specifieke geval activeert VeriGate PRM-gebaseerde token-niveau supervisie als een fallback-mechanisme.
• Ratio: Dit behoudt de betrouwbaarheid van de verifier wanneer deze correctheid kan onderscheiden, en beperkt het gebruik van de imperfecte PRM tot enkel die moeilijke prompts waar de verifier geen leersignaal biedt.

S2: Future-Cumulated Token Rewards (FCTR)

In plaats van PRM-stapscores te aggregeren tot een enkele traject-niveau scalaire (wat breekbare credit assignment veroorzaakt), zet VeriGate stap-scores om in future-cumulated rewards.

• Voor een traject met stappen $j=1 \dots S$, wordt de beloning voor stap $j$ gedefinieerd als de som van de PRM-scores van stap $j$ tot het einde van het traject: $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$.
• Dit ontwerp kent krediet toe aan een token niet alleen voor de kwaliteit van de directe stap, maar ook voor de kwaliteit van de voortzetting die het mogelijk maakt. Dit vlakt lokale PRM-ruis uit en zorgt ervoor dat vroege tokens worden beloond voor het faciliteren van downstream correct redeneren.

S3: Group-Normalized Token-Level Advantages

Om deze dichte beloningen te integreren in het GRPO-framework zonder opnieuw absolute reward hacking te introduceren, transformeert VeriGate de future-cumulated rewards naar group-normalized token-level advantages.

• Het voordeel voor een token in stap $j$ van traject $i$ wordt berekend als: $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$, waarbij $\bar{c}$ het gemiddelde is en $\sigma(c)$ de standaarddeviatie van alle future-cumulated rewards in de gesamplede groep.
• Robuustheidseigenschap: De auteurs bewijzen (Propositie 3.1) dat deze voordelen invariant zijn voor prompt-wijze positieve affine transformaties van de PRM-beloningen ($c' = a \cdot c + b$). Dit betekent dat als een beleid (policy) leert om PRM-scores uniform te verschuiven of te schalen (een veelvoorkomende vorm van reward hacking), de genormaliseerde voordelen onveranderd blijven, wat voorkomt dat het beleid dergelijke artefacten exploiteert.

3. Belangrijkste Bijdragen

1. Verifier-Gated Process Supervision: Een eenvoudige uitbreiding op GRPO die standaard verifier-updates behoudt wanneer deze informatief zijn en terugvalt op PRM-gebaseerde token-niveau supervisie alleen voor groepen met alle-nul verifier-beloningen.
2. Continuation-Aware Credit Assignment: Een nieuw mechanisme dat gebruikmaakt van future-cumulated rewards en group-normalized advantages om dichte, stap-niveau leersignalen te bieden zonder stap-scores samen te voegen tot een enkele scalaire waarde.
3. Verminderde Gevoeligheid voor Reward Hacking: Theoretisch en empirisch bewijs dat de genormaliseerde advantage-formulering van VeriGate invariant is voor affine transformaties van PRM-beloningen, wat het over-optimaliseren van imperfecte PRM-signalen beperkt vergeleken met methoden die geaggregeerde PRM-scores optimaliseren.
4. Empirische Winsten: Aangetoonde verbeteringen in redeneernauwkeurigheid, reductie van zero-gradient falen en verbeterde redeneerkwaliteit over meerdere benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden VeriGate met behulp van Qwen2.5-Instruct modellen (1.5B en 7B parameters) getraind op MATH en GSM8K datasets, met evaluatie op zes redeneerbenchmarks (GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench).

• Nauwkeurigheidsverbeteringen: VeriGate verbeterde de gemiddelde nauwkeurigheid met ongeveer 20% voor het 1.5B model en 12% voor het 7B model vergeleken met outcome-only GRPO en PRM-als-outcome baselines.
• Mitigatie van Zero-Gradient: De methode verminderde aanzienlijk het deel van de prompts dat na training nul verifier-beloningen ontving, wat wijst op betere exploratie en het ontsnappen aan degeneratieve leersregimes.
• Weerstand tegen Reward Hacking:
  • Kwantitatief: In tegen tegenstelling tot PRM-als-ORM, waarbij de PRM-scores stegen terwijl de verifier-scores vlak bleven (wat duidt op hacking), vertoonde VeriGate een evenredige groei in zowel verifier- als PRM-beloningen.
  • Kwalitatief: Analyse van "gehackte" reacties (hoge PRM-score, lage verifier-score) toonde aan dat PRM-als-ORM modellen vaak verbose, structureel plausibele maar logisch gebrekkige redeneringen produceerden. VeriGate produceerde coherente redeneertrajecten die tot correcte antwoorden leidden.
  • Cross-PRM Verificatie: Bij evaluatie met een externe PRM (Math-Shepherd) die verschilt van de trainings-PRM, behield VeriGate een hoge prestatie, terwijl de prestatie van PRM-als-ORM significant daalde, wat suggereert dat VeriGate werkelijk redeneren leert in plaats van te overfitten op specifieke PRM-eigenaardigheden.
• Ablaties: Het verwijderen van de verifier gate of het future-cumulation mechanisme resulteerde in significante prestatiedalingen, wat beide designkeuzes valideert.

5. Betekenis en Claims

Het artikel claimt dat VeriGate een "eenvoudige drop-in modificatie" biedt voor GRPO die de fundamentele zwaktes op moeilijke redeneerproblemen aanpakt zonder de betrouwbaarheid van verifier-gebaseerde beloningen op te offeren.

• Betrouwbaarheid: Door het gebruik van de verifier te reguleren (gating), zorgt de methode ervoor dat de betrouwbare verifier de leersturing drijft wanneer dat mogelijk is, waarbij PRMs enkel als herstelmechanisme dienen voor degeneratieve gevallen.
• Robuustheid: Het gebruik van gecentreerde, genormaliseerde advantages afgeleid van future-cumulated rewards biedt een wiskundig onderbouwde verdediging tegen een veelvoorkomende klasse van PRM reward hacking (affine transformaties).
• Redeneerkwaliteit: De resultaten suggeren dat VeriGate de kwaliteit van het redeneren verbetert (getrouwe stap-voor-stap afleiding) in plaats van enkel te optimaliseren voor de voorkeuren van een specifiek beloningsmodel.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode nog steeds afhankelijk is van de beschikbaarheid en kwaliteit van PRMs en dat slechte stap-segmentatie door het model de credit assignment kan verzwakken. Ze merken ook op dat de huidige experimenten gericht zijn op wiskundig redeneren en dat bredere evaluatie nodig is voor andere domeinen zoals codegeneratie of toolgebruik. Desalniettemin vestigt het werk een kader voor het integreren van dichte proces-supervisie in RLVR op een manier die theoretisch robuust en empirisch effectief is.