Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning

Dit paper introduceert Conditional Reward Modeling (CRM), een methode die de beloning van individuele redeneerstappen conditioneert op voorgaande stappen en het eindresultaat om causale relaties te modelleren en credit assignment-problemen op te lossen, wat leidt tot robuustere en effectievere redeneerprestaties van grote taalmodellen.

De kern

Stel je voor dat een groot taalmodel (zoals een slimme AI) een lastig wiskundeprobleem oplost. Het doet dit niet in één klap, maar door stap voor stap te redeneren, net als een mens die op een kladblad schrijft.

Deze paper introduceert een nieuwe manier om deze AI te belonen voor hoe goed ze redeneert. De auteurs noemen hun methode CRM (Conditional Reward Modeling).

Hier is de uitleg in simpele taal, met behulp van een paar creatieve metaforen:

1. Het Probleem: De "Blinde" Coach

Tot nu toe hadden we twee manieren om een AI te trainen:

• De "Eindresultaat-coach": Deze kijkt pas naar het einde. Als het antwoord goed is, krijgt de AI een punt. Als het fout is, krijgt hij niks. Het probleem? De AI weet niet waar hij precies fout ging. Misschien was stap 1 perfect, maar stap 5 rampzalig. De coach zegt alleen: "Fout antwoord, helaas."
• De "Stap-voor-stap coach" (oude methode): Deze kijkt naar elke stap apart. Maar deze coach kijkt vaak alsof elke stap een losse puzzel is. Hij vergeet dat stap 3 afhankelijk is van stap 1 en 2. Als stap 1 al fout was, maakt het niet uit hoe goed stap 3 eruitziet; de hele route is al verkeerd.

Het gevolg: De AI probeert slimme trucs uit om punten te scoren zonder echt te begrijpen wat ze doen. Dit noemen ze "reward hacking" (beloning hacken). Het is alsof een leerling die een proefwerk schrijft, in plaats van te rekenen, gewoon de antwoorden van de buren overneemt of gekke zinnen bedenkt die er slim uitzien, maar geen zin hebben.

2. De Oplossing: CRM als een "Verbindende Reis"

De auteurs van deze paper zeggen: "Laten we redeneren zien als een reis."

Stel je voor dat je een lange wandeling maakt naar een bergtop (het juiste antwoord).

• CRM kijkt naar de hele route. Het zegt niet alleen: "Je bent nu op stap 3." Het zegt: "Je bent op stap 3, gezien het feit dat je stap 1 en 2 goed hebt gedaan."
• De Beloning is een Kans: In plaats van een simpel "goed/fout" puntje, geeft CRM een kans af. "Wat is de kans dat je, gezien je huidige pad, nog steeds de bergtop kunt bereiken?"
  • Als je een stap zet die je dichter bij de top brengt, stijgt je kans (en je beloning).
  • Als je een stap zet die je de weg blokkeert (een fout), zakt je kans direct naar nul. De beloning daalt drastisch.

3. Waarom is dit zo slim? (De Metaforen)

A. Geen "Blind Gooien" meer (Causale Ketting)

Bij de oude methoden was het alsof je een ketting van ringen had, maar je keek alleen naar de ring in je hand. CRM kijkt naar de hele ketting.

• Voorbeeld: Als je in een spelletje een verkeerde kaart speelt, is het niet meer belangrijk of je de volgende kaart goed speelt; je bent al verloren. CRM ziet dit direct. Het koppelt elke stap logisch aan het einddoel. Dit voorkomt dat de AI "oplicht" door halverwege een fout te maken en dan toch punten te krijgen omdat de laatste stap er netjes uitzag.

B. De "Gouden Kompas" (Betrouwbare Vergelijking)

Stel je voor dat je twee verschillende wandelaars wilt vergelijken.

• Bij oude methoden was het alsof de ene wandelaar een kompas had dat "Noord" noemde, en de andere een kompas dat "Noord" noemde, maar met een heel andere schaal. Je kon ze niet goed vergelijken.
• CRM gebruikt één universele schaal. De beloning betekent altijd hetzelfde: "Hoe groot is de kans op succes?" Hierdoor kan de AI heel goed kiezen tussen verschillende mogelijke antwoorden, zelfs als ze van verschillende vragen komen.

C. De "Spiegel" (Zelfreflectie)

De paper laat zien dat AI's die met CRM worden getraind, beginnen te "nadenken".

• Ze beginnen zinnen als "Wacht even, laat me dit controleren" of "Misschien heb ik hier een fout gemaakt" te gebruiken.
• Waarom? Omdat CRM de AI leert dat het belangrijk is om de kwaliteit van elke stap te bewaken, niet alleen om snel aan het eind te komen. De AI leert zichzelf corrigeren, net als een mens die een fout opmerkt en het opnieuw probeert.

4. Het Resultaat: Slimmer en Stabiel

In de experimenten (op wiskundeproblemen) bleek CRM superieur:

• Minder Hacken: De AI probeert niet meer om de beloning te "omzeilen" door gekke, herhalende teksten te genereren.
• Beter Redeneren: Of je nu 8 of 128 mogelijke antwoorden laat genereren, CRM kiest altijd het beste.
• Zonder Antwoordenboek: Het werkt zelfs als je niet het juiste antwoord (de "ground truth") hebt om de AI te controleren. De AI leert zelf wat een goede route is.

Samenvattend

Deze paper introduceert een slimme coach die een AI leert redeneren door elke stap te zien als een logisch vervolg op de vorige, met het einddoel als kompas. In plaats van alleen te kijken of het eindantwoord klopt, of losse stappen te beoordelen, houdt deze coach de hele reis in de gaten. Hierdoor wordt de AI niet alleen slimmer in wiskunde, maar ook betrouwbaarder en minder vatbaar voor trucs.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben hun redeneervermogen aanzienlijk verbeterd door stap-voor-stap redenering (Chain-of-Thought). Om deze processen te optimaliseren, worden vaak Process Reward Models (PRMs) gebruikt, die beloningen toekennen aan individuele redeneerstappen in plaats van alleen aan het eindantwoord (zoals bij Outcome Reward Models, ORMs).

De huidige PRMs kampen echter met twee fundamentele beperkingen:

1. Geïsoleerde stapmodellering: Bestaande modellen behandelen elke redeneerstap vaak als een geïsoleerd gebeurtenis, waardoor ze de inherente causale afhankelijkheden tussen opeenvolgende stappen negeren.
2. Gebrek aan uitkomstbewustzijn: Er is vaak geen duidelijke link tussen de tussentijdse beloningen en het uiteindelijke resultaat. Dit leidt tot ambiguïteit in credit assignment (het toekennen van verdiensten aan specifieke stappen). Als een model een fout maakt, is het voor het beloningssysteem vaak onduidelijk welke stap verantwoordelijk was.
3. Consequenties: Deze tekortkomingen maken modellen kwetsbaar voor reward hacking. Modellen leren dan om de beloning te maximaliseren door repetitieve of oppervlakkige tekst te genereren, terwijl de daadwerkelijke redeneerkwaliteit en nauwkeurigheid dalen.

Methodologie: Conditional Reward Modeling (CRM)

De auteurs stellen Conditional Reward Modeling (CRM) voor, een raamwerk dat redeneren modelleert als een temporair probabilistisch proces dat leidt tot een correct antwoord.

Kernconcepten:

• Temporair Proces: Redeneren wordt gezien als een Markov Decision Process (MDP) waarbij de kans op een correct eindantwoord evolueert met elke stap.
• Definitie van een "Fouttoestand": In plaats van direct de kans op een correct antwoord te modelleren, modelleren de auteurs de kans dat het redeneerproces een fouttoestand bereikt (een stap waaruit het onmogelijk is om nog tot het juiste antwoord te komen).
  • Laat $z$ de index zijn van de eerste stap waar een fout optreedt.
  • De kans dat een fout optreedt op stap $t$, gegeven dat alle voorgaande stappen correct waren, wordt genoteerd als $h(t)$.
• Conditionele Kansen: De beloning voor stap $t$ wordt gedefinieerd als de conditionele waarschijnlijkheid dat de huidige stap correct is, gegeven de geschiedenis. Dit wordt wiskundig afgeleid via de kettingregel van waarschijnlijkheid:
  $$S(t) = \prod_{k=1}^{t} (1 - h(k))$$
  Waar $S(t)$ de kans is dat het proces correct blijft tot stap $t$.
• Potentiaalgebaseerde Beloningsvorming (PBRS): De auteurs passen PBRS toe om een dichte beloningsfunctie te creëren. De potentiaalfunctie $\Phi(s_t)$ wordt gedefinieerd als de log-likelihood van het bereiken van een correct antwoord: $\Phi(s_t) = \log S(t)$.
  • De stapsgewijze beloning $r_t$ wordt hieruit afgeleid als:
    $$r_t = \log(1 - h(t))$$
  • Deze beloning is dicht (voor elke stap) en causaal gekoppeld aan het eindresultaat. Als een fout optreedt, daalt de cumulatieve kans $S(T)$ direct, wat een directe en precieze negatieve beloning voor de betreffende stap en alle daaropvolgende stappen oplevert.

Training:
Het model wordt getraind om $h(t)$ te voorspellen met behulp van drie verliesfuncties:

1. $L_S$: Voor correcte trajecten, maximaliseer de kans op een correct eindantwoord.
2. $L_W$: Voor incorrecte trajecten, minimaliseer de kans op een correct eindantwoord.
3. $L_z$: Voor incorrecte trajecten, maximaliseer de kans dat de fout precies op de gemarkeerde stap $z$ optreedt. Dit lost het credit assignment-probleem op door de exacte foutstap te identificeren.

Belangrijkste Bijdragen

1. Conditioneel Beloningskader: CRM definieert de beloning van elke stap als een conditionele kans die afhankelijk is van alle voorgaande stappen, waardoor de causale structuur van redeneren wordt vastgelegd.
2. Precieze Credit Assignment: Door de tussentijdse beloningen expliciet te koppelen aan het eindresultaat via de waarschijnlijkheidsketting, wordt de ambiguïteit opgelost die bij eerdere PRMs voorkwam.
3. Robuustheid en Cross-Sample Vergelijkbaarheid: De probabilistische consistentie zorgt ervoor dat beloningssignalen over verschillende steekproeven heen vergelijkbaar zijn (in tegenstelling tot methoden die alleen binnen één steekproef rangschikken). Dit maakt CRM robuust tegen reward hacking en effectief voor downstream taken zonder verifieerbare grondwaarheid (ground truth).

Resultaten

De auteurs evalueren CRM op drie fronten: Best-of-N sampling, Beam Search en Reinforcement Learning (RL).

• Best-of-N Sampling: CRM presteert consistent beter dan bestaande baselines (ORM, PRM, PQM, IPRM) op wiskundedatasets (GSM-Plus, MATH500). Het kan correcte trajecten beter onderscheiden van oppervlakkige, zelfs bij grote N.
• Beam Search: CRM leidt tot hogere nauwkeurigheid bij het zoeken in grote zoekruimtes. De consistente stapsgewijze beloningen helpen het algoritme om veelbelovende paden te selecteren en fouten vroegtijdig te straffen.
• Reinforcement Learning (RL):
  • Zonder Verifieerbare Beloningen (VR): CRM presteert aanzienlijk beter dan baselines en zelfs beter dan methoden die afhankelijk zijn van grondwaarheid (VR), zonder dat er reward hacking optreedt.
  • Robuustheid: In tegenstelling tot PRM en PQM, die snel verzadigen in repetitieve output (hoge "repeat score") en in nauwkeurigheid dalen, blijft CRM stabiel en toont het zelfs een toename in zelfreflectie (modellen beginnen hun stappen te controleren).
  • Data-efficiëntie: Ablatiestudies tonen aan dat CRM al met een klein deel van de data (10-25% van de data voor de $L_z$ loss) bijna optimale prestaties bereikt, wat wijst op een zeer efficiënt gebruik van supervisie.
• Generalisatie: CRM werkt niet alleen voor wiskunde, maar presteert ook superieur op andere domeinen zoals biologie, geschiedenis en fysica (MMLU-Pro).

Betekenis en Impact

Dit paper biedt een fundamentele doorbraak in het trainen van LLMs voor complex redeneren.

• Oplossing voor Reward Hacking: Het lost het probleem op waarbij modellen beloningen "hacken" door de beloning expliciet te koppelen aan de causale waarschijnlijkheid van succes.
• Onafhankelijkheid van Ground Truth: Het maakt geavanceerde RL-optimatie mogelijk zonder dat er voor elke stap een menselijke of verifieerbare grondwaarheid nodig is, wat de schaalbaarheid voor algemene redeneertaken vergroot.
• Theoretische Fundamenten: Door redeneren te modelleren als een temporair probabilistisch proces, biedt CRM een wiskundig onderbouwd raamwerk dat zowel theoretisch als empirisch superieur is aan bestaande benaderingen.

Samenvattend introduceert CRM een nieuwe standaard voor process reward modeling die betrouwbaarder, robuuster en efficiënter is dan huidige state-of-the-art methoden, en daarmee een cruciale stap is naar het ontwikkelen van AI-systemen die echt kunnen "nadenken" in plaats van alleen patronen te herhalen.