💬 NLP

Likelihood-Based Reward Designs for General LLM Reasoning

Dit artikel toont systematisch aan dat het gebruik van de log-waarschijnlijkheid van het referentieantwoord als beloningssignaal een superieure en veelzijdige methode is voor het finetunen van grote taalmodellen op chain-of-thought redeneren, waarbij het binaire beloningen overtreft in verifieerbare scenario's en supervised fine-tuning evenaart in niet-verifieerbare scenario's, terwijl het de valkuilen van op waarschijnlijkheid gebaseerde alternatieven vermijdt.

Oorspronkelijke auteurs: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar onervaren student (een Large Language Model) leert hoe je complexe problemen oplost. De student is goed in praten, maar moet leren om hardop te "denken" (Chain-of-Thought) voordat hij een antwoord geeft.

Het artikel behandelt een specifiek probleem: Hoe beoordeel je deze student als je geen antwoordmodel hebt?

De Oude Manier: De "Pass/Fail" Quiz

Traditioneel gebruiken onderzoekers om deze modellen te onderwijzen een methode die lijkt op een strenge wiskundeleraar.

De student denkt hardop na.
De student geeft een antwoord.
De leraar controleert het antwoordmodel.
- Correct? Je krijgt een gouden ster (Beloning = 1).
- Fout? Je krijgt een rood kruis (Beloning = 0).

Het Probleem: Dit werkt geweldig voor wiskunde of programmeren waar er één juist antwoord is. Maar wat als je de student vraagt om een lang verhaal, een gedicht of een complex bewijs te schrijven waarbij er geen enkel "juist" antwoord is? Je kunt dan niet een simpele "Pass/Fail"-score geven. Ook, als de student 99% van de tijd het fout heeft, krijgt hij nooit een gouden ster, en stopt hij met leren omdat het signaal te schaars is.

Het Nieuwe Idee: De "Waarschijnlijkheid" Score

De auteurs stellen een andere manier voor om te beoordelen. In plaats van te controleren of het antwoord juist is, controleren ze hoe zelfverzekerd de student is over zijn eigen antwoord.

Denk hierover na:

De Oude Manier: "Heb je het juiste antwoord gegeven? Ja/Nee."
De Nieuwe Manier: "Hoe waarschijnlijk was het dat je precies deze woorden zou zeggen?"

Als de student exact dezelfde woorden gebruikt als het referentieantwoord in de trainingsdata, geeft de leraar een score gebaseerd op de log-waarschijnlijkheid (een wiskundige manier om te zeggen: "hoe verrast was je dat dit gebeurde?").

Als de student erg zelfverzekerd was en de juiste woorden gebruikte, krijgt hij een hoge score.
Als de student aan het gokken was, krijgt hij een lage score.

De Grote Ontdekking: "Log-Probability" is de Magische Sleutel

De onderzoekers testten veel verschillende manieren om deze "zelfvertrouwen"-score te gebruiken. Ze ontdekten dat één specifieke methode—het gebruik van de log-waarschijnlijkheid van het referentieantwoord—de enige was die overal werkte.

Hier is de uitsplitsing van hun bevindingen met eenvoudige analogieën:

1. De "Korte Antwoord" Test (Wiskunde & Programmeren)

De Opzet: Korte problemen met een duidelijk juist antwoord (zoals een wiskundetoets).
Het Resultaat: De "Log-Probability"-methode werkte net zo goed als de oude "Pass/Fail"-methode bij het krijgen van het juiste antwoord.
De Bonus: Het maakte de antwoorden van de student ook veel meer "natuurlijk" en minder schokkerig. Waar de oude methode de student wilde laten gokken om een gouden ster te krijgen, zorgde de nieuwe methode ervoor dat de student zelfverzekerder en vloeiender klonk, zelfs als hij het fout had.

2. De "Lange Essay" Test (Verhalen & Bewijzen)

De Opzet: Lange, open taken waarbij er geen enkel juist antwoord is.
Het Probleem met Andere Methoden: Sommige methoden probeerden een eenvoudige "waarschijnlijkheid" te gebruiken (gewoon de ruwe kans om gelijk te hebben). Maar voor lange essays is de kans om exact de juiste woorden te raden minuscuul (zoals de loterij winnen). De score werd zo klein dat deze bijna nul was, en de student stopte met leren.
De Winnaar: De "Log-Probability"-methode handelde dit perfect af. Het crashte niet. Het presteerde net zo goed als wanneer de leraar simpelweg de student het antwoord had laten zien en had gezegd: "Leer dit uit je hoofd."

3. De Verrassing van het "Kort Denken"

Een van de meest interessante bevindingen ging over hoe lang de student nadacht.

Wanneer de nieuwe "Log-Probability" beloning werd gebruikt, begon de student aanvankelijk minder na te denken. Hij verkortte zijn "Chain of Thought" (het denkproces) tot slechts een paar woorden.
Waarom? Het model realiseerde zich dat voor de eerste stappen een korter, simpeler denkproces eigenlijk leidde tot een betere score dan een lang en ingewikkeld proces.
In Wiskunde: De student leerde uiteindelijk weer langer na te denken naarmate hij beter werd.
In Essays: De student bleef kort. Hij stopte eigenlijk met "hardop denken" en gaf direct het antwoord, optredend als een standaard memorizer. Het artikel suggereert dat voor lange, open taken het model het "denken" misschien in zijn eigen brein (verborgen lagen) doet in plaats van het op te schrijven, en dat het dwingen om een lange keten van gedachten op te schrijven de prestaties juist schaadt.

De Kernboodschap

Het artikel concludeert dat het gebruik van log-probability als beloning een "universele vertaler" is voor AI-training.

Het overbrugt de kloof tussen verifieerbare taken (wiskunde) en niet-verifieerbare taken (schrijven).
Het vereist geen speciale "verifieerder" of antwoordmodel.
Het stelt de AI in staat om te leren van elke dataset waarvoor een referentieantwoord bestaat, of het nu gaat om een kort wiskundeprobleem of een lang bewijs.

Kortom: In plaats van de AI te vragen "Heb je het goed gedaan?", is de vraag "Hoe zeker was je dat je dit zei?" een simpelere, krachtigere manier om AI te leren redeneren, wat alles dekt van wiskundepuzzels tot lange essays.

Technische Samenvatting: Likelihood-gebaseerde Beloningsontwerpen voor Algemene LLM-redenering

Probleemstelling

Het finetunen van Large Language Models (LLMs) voor redeneertaken via Reinforcement Learning (RL) vertrouwt doorgaans op binaire beloningsfuncties (0/1 juistheid) die afgeleid zijn van verifieerbare grondwaarheden (bijv. wiskundige antwoorden). Dit paradigma kent twee primaire beperkingen:

Afhankelijkheid van Beloningsontwerp: Het vereist specifieke verifieerders voor elke benchmark, die niet beschikbaar zijn voor niet-verifieerbare domeinen zoals langvormige bewijzen of open eind generatie.
Beloningsschaarsheid: Binaire beloningen bieden schaarse signalen, wat het efficiënte leren kan hinderen, vooral in complexe redeneerketens.

Hoewel recente werken intrinsieke beloningen of zelf-belonende mechanismen hebben voorgesteld, falen deze vaak om de prestaties van op correctheid gebaseerde training te overtreffen of lijden ze aan reward hacking en diversiteitscollaps. Bovendien hebben bestaande methoden die gebruikmaken van de waarschijnlijkheid van referentieantwoorden (bijv. VeriFree, JEPO, RLPR) gemengde resultaten laten zien, met name door te falen in niet-verifieerbare settings vanwege de verdwijnende waarschijnlijkheden van lange, exacte matches van sequenties.

Methodologie

De auteurs onderzoeken likelihood-gebaseerde beloningen die direct afgeleid zijn van de waarschijnlijkheid of log-waarschijnlijkheid van het emitteren van een referentieantwoord (of elke prompt-continuatie aanwezig in de data) gegeven een gegenereerde Chain-of-Thought (CoT). Deze aanpak vermijdt externe verifieerders en maakt gebruik van signalen die op schaal beschikbaar zijn.

De studie vergelijkt systematisch verschillende beloningsvarianten met standaard baselines (Supervised Fine-Tuning zonder CoT, en standaard RL met binaire beloningen):

Base RL: Standaard RL met een binaire beloning ($1$ als het antwoord overeenkomt met de grondwaarheid, $0$ anders).
Probability (VeriFree): De beloning is gelijk aan de ruwe waarschijnlijkheid $\pi_\theta(a^*|p, z)$ .
Log-prob: De beloning is gelijk aan de log-waarschijnlijkheid $\log \pi_\theta(a^*|p, z)$ .
Average Log-prob: De log-waarschijnlijkheid genormaliseerd door de antwoordlengte ( $\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$ ).
JEPO: Een Jensen-gebaseerde ELBO-loss variant met groep-niveau beloningen.
SFT: Standaard supervised fine-tuning die direct het antwoord voorspelt zonder CoT.

De experimenten maken gebruik van het RLOO (Reinforce Leave-One-Out) algoritme voor advantage-schatting. De evaluatie beslaat:

Verifieerbare Domeinen: MATH en DeepScaleR benchmarks (kort antwoord problemen).
Niet-verifieerbare Domeinen: Alpaca en NuminaProof (langvormige antwoorden en stellingbewijzen).
Modellen: Llama-3.2-3B-Instruct en Qwen-2.5-3B-Instruct.

Belangrijkste Bijdragen en Bevindingen

1. Universaliteit van Log-waarschijnlijkheidsbeloningen

De centrale bevinding is dat log-waarschijnlijkheidsbeloningen de enige variant zijn die robuust presteert in alle settings.

In Verifieerbare Domeinen: Log-prob beloningen bereiken succespercentages die vergelijkbaar zijn met of beter dan standaard binaire RL-baselines. Cruciaal is dat ze een aanzienlijk betere perplexiteit opleveren dan binaire RL, waardoor het trainingsdoel wordt afgestemd op het pretraining-criterium (next-token prediction).
In Niet-verifieerbare Domeinen: Terwijl waarschijnlijkheidsgebaseerde beloningen (zoals VeriFree) en standaard RL instorten door de verdwijnende kleine waarschijnlijkheden van exacte lange-vorm matches, blijven log-waarschijnlijkheidsbeloningen levensvatbaar. Ze presteren op gelijke voet met Supervised Fine-Tuning (SFT), terwijl andere waarschijnlijkheidsgebaseerde methoden er niet in slagen het basismodel te verbeteren.

2. Het "CoT Collapse" Fenomeen

Een belangrijke observatie is het gedrag van de CoT-lengte tijdens de training:

Verifieerbare Settings: Log-prob beloningen veroorzaken aanvankelijk een verkorting van de CoT, maar de lengte herstelt naarmate de training vordert.
Niet-verifieerbare Settings: Log-prob beloningen leiden tot een permanente "collapse" van de CoT, waarbij de redeneerspoor wordt gereduceerd tot een minimale lengte (ongeveer 10 tokens). In dit regime gedraagt de log-prob methode zich effectief als SFT.
Mechanisme: De auteurs hypothetiseren dat aan het begin van de training, kortere CoT's correleren met hogere log-waarschijnlijkheden van het juiste antwoord (waarschijnlijk omdat het basismodel nog niet is aangepast aan lange redeneersporen). Deze negatieve correlatie drijft de RL-agent aan om de CoT te verkorten. Pogingen om dit te mitigeren via KL-regularisatie of lengtestrafen voorkamen de collapse, maar resulteerden in gedegradeerde prestaties, wat suggereert dat voor niet-verifieerbare domeinen RL met log-prob beloningen momenteel alleen de SFT-prestaties evenaart door de CoT te elimineren.

3. Vergelijking met Andere Methoden

Waarschijnlijkheid vs. Log-waarschijnlijkheid: Ruwe waarschijnlijkheidsbeloningen (VeriFree) falen in niet-verifieerbare settings omdat de waarschijnlijkheid van een exacte match voor lange antwoorden bijna nul is, waardoor er geen leersignaal overblijft. Log-waarschijnlijkheid, die een som over tokens is, biedt een dichter signaal dat niet zo sterk verdwijnt.
Perplexity vs. Success Rate: Binaire RL optimaliseert voor success rate maar verslechtert de perplexiteit (het model wordt "zelfverzekerd foutief" op onjuiste paden). Log-prob beloningen optimaliseren voor beide, waardoor een distributie behouden blijft die minder zelfverzekerd is op onjuiste antwoorden, wat de algemene taalmodellering kwaliteit beter behoudt.

Betekenis

Het artikel vestigt log-waarschijnlijkheidsbeloningen als een verenigd trainingssignaal dat in staat is om de brug te slaan tussen verifieerbare en niet-verifieerbare redeneertaken zonder afhankelijk te zijn van externe correctheid-labels.

Het demonstreert dat één enkel criterium (het maximaliseren van de log-waarschijnlijkheid van het referentieantwoord gegeven een CoT) kan worden toegepast over het volledige spectrum van antwoordtypen, van korte wiskundige problemen tot langvormige bewijzen.
Het benadrukt een trade-off: hoewel log-prob beloningen de perplexiteit en generaliseerbaarheid verbeteren, evenaren ze momenteel de SFT in niet-verifieerbare domeinen alleen door de CoT te elimineren (wat verder onderzoek naar trainingsdynamiek of compute-scaling vereist).
Het werk suggereert dat voor niet-verifieerbare domeinen het "credit assignment probleem" in RL momenteel te ernstig is voor lange CoT's onder huidige trainingsbudgetten, en dat de voordelen van CoT in deze settings mogelijk veel langere training of andere initialisatiestrategieën (bijv. warm-starting) vereisen.

De auteurs concluderen dat log-waarschijnlijkheidsbeloningen een eenvoudige, algemene methode bieden voor post-training redenerende LLM's, die geldig is voor diverse antwoordtypen, hoewel het mechanisme voor het in stand houden van lange CoT's in niet-verifieerbare settings een open uitdaging blijft.