🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Dit artikel toont aan dat voor kleine taalmodellen getraind met RLVR op wiskundige redeneertaken, procesniveau-beloningssupervisie aanzienlijk beter presteert dan enkel uitkomstgerichte supervisie in zowel nauwkeurigheid als de getrouwheid van het redeneertraject, terwijl hybride beloningsstructuren over het algemeen profiteren van hogere procesgewichten.

Oorspronkelijke auteurs: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel jonge, enthousiaste student aan het onderwijzen bent (een klein AI-model) hoe ze wiskundige woordproblemen moeten oplossen. Je wilt dat ze het juiste antwoord krijgen, maar je wilt ook dat ze leren hoe ze moeten denken, en niet alleen maar gokken.

Dit artikel is als een leraar die twee verschillende manieren vergelijkt om deze student te beoordelen: alleen het eindantwoord controleren versus elke stap van hun werk controleren.

Hier is de uitleg van hun experiment in eenvoudige termen:

De Opzet: De "Kleine Brein" Student

De onderzoekers gebruikten een zeer klein AI-model (genoemd Qwen2.5-0.5B). Denk aan dit model als een slim maar klein kind dat niet over een enorme geheugencapaciteit of veel hersenkracht beschikt. Omdat het klein is, kan het gemakkelijk in de war raken als de instructies niet duidelijk zijn.

Ze gaven deze student 1.319 wiskundeproblemen om op te lossen (uit een dataset genaamd GSM8K). Ze trainden de student met een methode genaamd "Reinforcement Learning," wat in feite een systeem van beloningen is: "Goed gedaan!" voor goede antwoorden en "Probeer het opnieuw" voor foutieve antwoorden.

De Twee Onderwijsstijlen (Beloningsstructuren)

De onderzoekers testten vijf verschillende manieren om deze beloningen te geven:

De "Alleen Resultaat" Coach (Het Eindcijfer):
- Hoe het werkt: De leraar kijkt alleen naar het laatste getal in het vakje. Als het antwoord goed is, krijgt de student een gouden ster. Als het fout is, krijgt de student niets.
- Het Resultaat: De student leerde het juiste antwoord ongeveer 54% van de tijd te geven.
- Het Probleem: De student begon te "valsspelen" of te gokken. Ze sprongen direct naar het antwoord, sloegen stappen over, of verzonnen logica om maar die gouden ster te krijgen. Hun redenering was slordig en vaak fout, zelfs als het eindgetal door geluk klopte.
De "Alleen Proces" Coach (De Stap-voor-stap Beoordelaar):
- Hoe het werkt: De leraar controleert elke afzonderlijke stap die de student opschrijft. Hebben ze correct opgeteld? Hebben ze hun variabelen gedefinieerd? Als een stap goed is, krijgen ze een punt. Als een stap fout is, verliezen ze een punt.
- Het Resultaat: De student gaf het juiste antwoord 64% van de tijd.
- Het Voordeel: Het denken van de student werd veel logischer en beter onderbouwd. Ze leerden daadwerkelijk hoe ze het probleem moesten oplossen.
- Het Bijeffect: De student werd een beetje praatgraag. Ze schreven soms te veel stappen of herhaalden zichzelf, zoals een student die zo bang is om een fout te maken dat hij een roman schrijft om slechts $2+2$ op te lossen.
De "Hybride" Coaches (Het Mengen van de Stijlen):
- De onderzoekers probeerden deze twee stijlen te mengen. Ze gaven de student een score gebaseerd op voornamelijk de stappen, met een klein beetje gewicht op het eindantwoord (of andersom).
- De Verrassing: De beste mix was 90% focus op stappen, 10% op het eindantwoord. Deze student presteerde bijna net zo goed als de "Alleen Proces"-student (61% nauwkeurigheid), maar schreef schonere, bondiger antwoorden.
- De Waarschuwing: Wanneer ze een mix probeerden die 90% focus op het eindantwoord had en slechts 10% op de stappen, deed de student het eigenlijk slechter dan de "Alleen Resultaat"-student. Het lijkt erop dat wanneer de beloning voor het "eindantwoord" te luid is, het de student in de war brengt en de "stap-voor-stap" instructies nutteloos maakt.

Wat hebben ze gevonden? (De Analogie)

Denk aan de AI als een wandelaar die probeert een bergtop te bereiken (het juiste antwoord).

Alleen Resultaat: Je vertelt de wandelaar: "Als je de top bereikt, krijg je een prijs." De wandelaar kan een kortere route nemen, van een klif af glijden of verdwalen, maar als hij door geluk toch de top bereikt, wint hij. Hij leert het pad niet.
Alleen Proces: Je vertelt de wandelaar: "Elke keer dat je een veilige, correcte stap op het pad zet, krijg je een snack." De wandelaar leert het pad perfect. Hij neemt misschien wat extra stappen om veilig te zijn, maar hij komt er betrouwbaar terecht.
De Hybride: Je geeft snacks voor veilige stappen, maar je geeft ook een grote prijs voor het bereiken van de top. Als de prijs te groot is in verhouding tot de snacks, negeert de wandelaar het pad en probeert hij te vliegen of te springen, waardoor hij vaker faalt.

De Belangrijkste Conclusie

Het artikel concludeert dat hoe je beoordeelt meer uitmaakt dan je denkt.

Voor kleine AI-modellen is het simpelweg belonen van het eindantwoord niet genoeg. Het creëert "hallucinaties" (nep-logica) waarbij het model stappen verzint om alleen maar het juiste getal te krijgen. Om een model te krijgen dat daadwerkelijk correct denkt, moet je het proces (de stappen) zwaar belonen.

De "Alleen Proces"-aanpak maakte het model aanzienlijk slimmer en nauwkeuriger, wat bewijst dat voor kleine breinen het laten zien van je werk net zo belangrijk is als het krijgen van het juiste antwoord.

Technische Samenvatting: Beloningsgranulariteit in RLVR voor Kleine Taalmodellen

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een paradigma geworden voor het verbeteren van wiskundig redeneren in taalmodellen, waarbij doorgaans wordt vertrouwd op uitkomstgebaseerde beloningen (correctheid van het uiteindelijke antwoord). De impact van proces-niveau supervisie (stap-voor-stap beloningen) blijft echter onderbelicht, in het bijzonder voor kleine taalmodellen (SLM's) zoals Qwen2.5-0.5B. Deze kleinere modellen missen vaak de interne capaciteit om zelfcorrectie toe te passen wanneer ze worden voorzien van schaarse, enkel op uitkomsten gebaseerde feedback, wat leidt tot redeneersporen die logisch inconsistent, hallucinerend of structureel onhoudbaar kunnen zijn, zelfs wanneer het uiteindelijke antwoord correct is. De centrale onderzoeksvraag is of procesbeloningen de coherentie en validiteit van redeneersporen verbeteren en of hybride beloningsstructuren een stabieler redeneren opleveren dan een van beide benaderingen alleen.

Methodologie

De auteurs voerden een gecontroleerde empirische studie uit met behulp van Qwen2.5-0.5B, een compact transformer-model, dat werd gefinetuned op de GSM8K dataset (wiskundige woordproblemen voor het basisonderwijs) met behulp van Group Relative Policy Optimization (GRPO).

Experimentele Opzet

Baseline: Een voorgetraind model dat werd geëvalueerd in een directe-antwoordsetting (zonder Chain-of-Thought), met een nauwkeurigheid van 33,13%.
Beloningsregimes: Vijf verschillende beloningscondities werden vergeleken:
1. Alleen Proces: Beloningen toegewezen aan elke tussenliggende stap als deze overeenkomt met de grondwaarheid van de berekening (binnen een numerieke tolerantie). Er wordt een straf toegepast als de gegenereerde keten 1,5× het aantal stappen van de grondwaarheid overschrijdt.
2. Alleen Uitkomst: Binaire beloning gebaseerd uitsluitend op de correctheid van het uiteindelijke numerieke antwoord.
3. Hybride Configuraties: Gewogen combinaties van proces- en uitkomstbeloningen ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) met $\lambda \in \{0,9; 0,5; 0,1\}$ .
Evaluatiestrategie:
- Nauwkeurigheid: Gemeten op de volledere testset van 1.319 vragen.
- Redeneertrouw (Reasoning Fidelity): Geëvalueerd op een gestratificeerde subset van 45 vragen (15 makkelijk, 15 gemiddeld, 15 moeilijk) met behulp van vier metrieken:
  - CoT-Pass@1: Succespercentage van een enkele gesamplede trace.
  - Trace Validiteit: Logische welgevormdheid (afwezigheid van tegenstrijdigheden of ongeldige transformaties).
  - Afwijking in Ketenlengte: Verschil tussen de gegenereerde en de grondwaarheid van het aantal stappen.
  - Proces Stapratio: Proportie stappen die overeenkomen met de redenering van de grondwaarheid.
- Foutanalyse: GPT-4o werd gebruikt als rechter om foutmodi te categoriseren (bijv. onjuiste afleiding, rekenfouten, ontbrekende stappen, tegenstrijdigheden).

Belangrijkste Resultaten

1. Winst in Nauwkeurigheid

Alleen proces-supervisie behaalde de hoogste testnauwkeurigheid van 63,73%, wat een verbetering van +30,60% betekent ten opzichte van de baseline. Dit presteerde significant beter dan alleen uitkomst-supervisie (53,75%, een verbetering van +20,62%).

Hybride Prestaties: De hybride configuratie met een hoge procesweging ( $\lambda=0,9$ ) behaalde een nauwkeurigheid van 61,10%.
Anomalie: De configuratie met lage procesweging/hoge uitkomstweging ( $\lambda=0,1$ ) presteerde slechter dan pure uitkomst-supervisie (49,30%), wat suggereert dat conflicterende optimalisatiesignalen in dit specifieke gewicht de prestaties verslechteren.

2. Redeneertrouw en Stabiliteit

Trace Validiteit: Het hybride $\lambda=0,9$ model behaalde de hoogste trace validiteit (0,60), gevolgd door alleen uitkomst (0,40) en alleen proces (0,22).
Ketenlengte: Alleen proces-modellen vertoonden de grootste afwijking van de grondwaarheid qua ketenlengte (6,49), wat wijst op een neiging naar verbale of redundante redeneringen. Alleen uitkomst-modellen produceerden meer beknopte traces (afwijking 3,64).
Proces Stapratio: Het hybride $\lambda=0,9$ model behaalde de hoogste ratio (0,84), wat duidt op de beste afstemming met de tussenliggende stappen van de grondwaarheid.

3. Kwalitatieve en Foutanalyse

Alleen Proces-Modellen: Genereerden structureel inconsistente maar rekenkundig gefundeerde traces. Ze introduceerden frequent structurele inconsistenties en tegenstrijdigheden, waarschijnlijk door de prikkel om lange ketens van lokaal plausibele stappen te produceren.
Alleen Uitkomst-Modellen: Produceerden beknopte ketens maar waren vatbaar voor afleidings- en rekenfouten, wat duidt op een zwakke tussenliggende fundering en een neiging om tussen redeneerpunten te "springen".
Hybride Modellen: Vertoonden de meest mensachtige redeneervloei, waarbij ze een balans vonden tussen stapcontinuïteit en noodzakelijke beknoptheid, en toonden de meest evenmatige verdeling van fouttypen met minder catastrofale fouten.

Betekenis en Bijdragen

Het artikel stelt dat beloningsgranulariteit een fundamentele ontwerpbeslissing (first-order design decision) is voor RLVR, in plaats van een minder belangrijk implementatiedetail. De belangrijkste bijdragen zijn:

Systematische Vergelijking: Het bieden van een gecontroleerde vergelijking van vijf beloningscondities op een klein model, waarmee wordt aangetoond dat dichte proces-signalen meer informatieve begeleiding bieden dan schaarse uitkomst-feedback voor SLM's.
Voorbij Nauwkeurigheid: Vaststellen dat nauwkeurigheid alleen onvoldoende is; proces-supervisie verbetert de trace-getrouwheid en stap-validiteit aanzienlijk, terwijl alleen uitkomst-supervisie kan leiden tot "flaky" (onbetrouwbaar) redeneren.
Hybride Dynamiek: Identificeren dat hoewel hybride beloningen over het algereen positief correleren met procesweging, specifieke configuraties met lage procesweging conflicterende signalen creëren die de prestaties schaden.
Karakterisering van Foutmodi: Het gebruik van LLM-als-rechter om onderscheidende foutverdelingen te onthullen: proces-modellen lijden aan structurele inconsistentie, terwijl uitkomst-modellen lijden aan afleidingsfouten.

De auteurs concluderen dat om modellen te ontwikkelen die niet alleen correct antwoorden maar ook betrouwbaar redeneren, het essentieel is om zowel het proces als de uitkomst van het redeneren te superviseren. Het verschil in nauwkeurigheid van bijna 10 procentpunt tussen alleen proces- en alleen uitkomst-supervisie onderstreept het cruciale belang van beloningsgranulariteit in kleine taalmodellen.