🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

Dit artikel introduceert CASPO, een raamwerk dat de betrouwbaarheid en efficiëntie van grote redeneringsmodellen verbetert door token-niveau zekerheid af te stemmen op logische correctheid via Direct Preference Optimization en door dynamische pruning van onzekere redeneringsvertakkingen mogelijk te maken via het Confidence-aware Thought (CaT)-mechanisme.

Oorspronkelijke auteurs: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar overmoedige student leert complexe wiskundeproblemen op te lossen. Deze student, laten we hem "Redeneerbot" noemen, is uitstekend in het vinden van het juiste eindantwoord, maar hij komt er vaak op een verkeerd afslagje, beseft dat, en corrigeert zich dan op magische wijze zonder toe te geven dat hij in de war was. Of erger nog: hij loopt vol vertrouwen een doodlopend pad af, overtuigd dat hij gelijk heeft, om pas door pure geluk het juiste antwoord te vinden.

Het probleem is niet alleen dat hij het antwoord goed of fout heeft; het is dat hij niet weet wanneer hij onzeker is. Hij kan 99% zeker zijn van een stap die eigenlijk onzin is, of 10% zeker van een stap die perfect logisch is. Dit maakt hem onbetrouwbaar, vooral in situaties met hoge risico's zoals geneeskunde of financiën, waar je op elke stap van de reis moet kunnen vertrouwen, niet alleen op de bestemming.

Het artikel introduceert een nieuwe trainingsmethode genaamd CASPO (Confidence-Aware Step-wise Preference Optimization) en een nieuwe denkwijze genaamd CaT (Confidence-aware Thought). Hieronder wordt uitgelegd hoe ze werken, met behulp van eenvoudige analogieën.

Het probleem: De valstrik van "valse zekerheid"

Op dit moment zijn deze AI-modellen als acteurs die scripts uit hun hoofd leren. Als een zin soepel klinkt en goed loopt, zegt de acteur het met veel vertrouwen, zelfs als de zin logisch geen zin maakt.

De fout: Het model verwart "soepel klinken" met "goed zijn".
Het resultaat: Het genereert lange, overtuigende redeneerketens die in werkelijkheid vol zitten met logische gaten.

De oplossing: CASPO (De "Eerlijkheidstrainer")

De auteurs wilden het model leren eerlijk te zijn over zijn eigen onzekerheid. Ze creëerden een trainsysteem dat fungeert als een strenge trainer die niet alleen het eindscore van de toets beoordeelt, maar elke enkele zet die de student doet in de gaten houdt.

Hoe het werkt:

De "Eerlijkheid"-metriek: In plaats van een externe expert elke stap te laten controleren (wat traag en duur is), luistert het systeem naar het eigen interne "stemmetje" van het model. Het meet hoe zeer het model "aarzelt" (met behulp van een concept genaamd entropie).
- Analogie: Als het model een zin genereert en het is zeer zeker van het volgende woord, is zijn interne "aarzeling" laag. Als het tussen veel woorden moet gokken, is zijn aarzeling hoog.
Het trainingspel: Het systeem creëert een spel waarbij het twee paden vergelijkt:
- Pad A: Een juiste stap waarbij het model verrassend onzeker was (hoge aarzeling).
- Pad B: Een verkeerde stap waarbij het model vol vertrouwen zeker was (lage aarzeling).
- De les: Het model wordt beloond voor het kiezen van de juiste stap, zelfs als het onzeker was, en gestraft voor het kiezen van de verkeerde stap wanneer het overmoedig was.
Het doel: Na verloop van tijd leert het model zichzelf te kalibreren. Het leert dat "hoge zekerheid" alleen mag voorkomen als de logica daadwerkelijk steekhoudend is, en "lage zekerheid" moet voorkomen als de logica wankel is.

Het resultaat: CaT (De "Slimme Navigator")

Zodra het model is getraind om eerlijk te zijn over zijn zekerheid, introduceren de auteurs een nieuwe manier om het te gebruiken tijdens het oplossen van problemen, genaamd CaT.

Stel je voor dat je door een dicht bos (het redeneerproces) hike op zoek naar een schat (het antwoord).

Oude manier (Zelfconsistentie): Je stuurt 100 wandelaars uit over willekeurige paden. Je wacht tot ze allemaal klaar zijn, en kiest dan het antwoord dat de meeste mensen vonden. Dit is traag en duur.
De CaT-methode: Je stuurt een paar wandelaars uit. Terwijl ze lopen, controleren ze hun interne kompas (de gekalibreerde zekerheid).
- Als een wandelaar een kruispunt bereikt en zijn kompas begint wild te draaien (lage zekerheid), laat CaT hen onmiddellijk stoppen en terugkeren.
- Als een wandelaar soepel beweegt met een stabiel kompas (hoge zekerheid), laat CaT hen doorgaan.

Waarom dit een grote doorbraak is:

Snelheid: Het verspillen geen tijd aan het verkennen van doodlopende paden. Het snijdt slechte paden vroeg af.
Efficiëntie: Het bereikt betere resultaten dan methoden die duizenden antwoorden proberen te genereren, maar doet dit met bijna geen extra rekenkracht.
Betrouwbaarheid: Omdat het model is getraind om alleen zeker te zijn wanneer het gelijk heeft, zijn de paden die het kiest veel waarschijnlijker logisch steekhoudend.

Het bewijs

De onderzoekers testten dit op tien verschillende benchmarks, waaronder moeilijke wiskundewedstrijden (zoals AIME) en logische puzzels.

De resultaten: De met CASPO getrainde modellen behaalden consequent betere scores dan andere topmethodes.
De verrassing: Zelfs zonder gebruik te maken van externe "beloningmodellen" (die als dure menselijke beoordelaars fungeren), leerde het model om te vertrouwen op zijn eigen interne zekerheidssignalen.
Schaalbaarheid: Deze methode werkte goed op zowel kleinere modellen als zeer grote, krachtige modellen (zoals Qwen3), wat bewijst dat het een robuust instrument is voor de toekomst.

In het kort

Het artikel betoogt dat we, om AI-redeneren betrouwbaar te maken, het niet alleen moeten leren het juiste antwoord te geven. We moeten het leren weten wanneer het het weet en weten wanneer het het niet weet. Door het model te trainen om zijn interne zekerheid af te stemmen op logische waarheid, kunnen we AI creëren die niet zomaar gokt naar het juiste antwoord, maar het pad bewandelt met een stabiel, eerlijk kompas.

Technische Samenvatting: Vertrouwensbewuste Uitlijning Maakt Redenerende LLM's Betrouwbaarder

1. Probleemstelling

Grote Redeneringsmodellen (LRM's) zoals OpenAI-o1 en Qwen-3 hebben aanzienlijke capaciteiten aangetoond in wiskundige en wetenschappelijke probleemoplossing via stap-voor-stap generatie. Er bestaat echter een kritieke kwetsbaarheid: deze modellen komen vaak tot correcte eindantwoorden via logisch gebrekkige tussenstappen. Dit creëert een discrepantie tussen eindnauwkeurigheid en betrouwbaarheid van het redeneren.

De oorzaak ligt in een misalignement tussen het interne vertrouwen van een model (token-niveau waarschijnlijkheden) en logische correctheid. Huidige LRM's vertonen vaak hoog vertrouwen in syntactisch geldige maar logisch incorrecte stappen (hallucinaties), terwijl ze juist laag vertrouwen tonen in rigoureuze maar onbekende afleidingen. Bestaande uitlijningsstrategieën, zoals Process Reward Models (PRM's) of massale sampling (bijv. Self-Consistency), vertrouwen op externe verifiers of computatieel dure zoekopdrachten, wat schaalbaarheid beperkt en het benutten van de intrinsieke onzekerheid van het model voor zelfverificatie verhindert.

2. Methodologie: CASPO-raamwerk

De auteurs stellen CASPO (Confidence-Aware Step-wise Preference Optimization) voor, een unifyend raamwerk dat token-niveau vertrouwen uitlijnt met stap-voor-stap logische correctheid. Het raamwerk werkt in twee onderling verbonden fasen:

A. Training: Vertrouwensbewuste Stap-voor-stap Preferentieoptimalisatie

In plaats van alleen te optimaliseren voor correctheid van de volledige trajecten, richt CASPO zich op het kalibreren van de onzekerheid van het model op stap-niveau.

Onzekerheidsmetriek: Het raamwerk maakt gebruik van Shannon-entropie van token-niveau distributies als een referentievrije maatstaf voor intrinsieke onzekerheid. Hoge entropie duidt op laag vertrouwen.
Dataconstructie: Een offline sterk model (evaluator) verifieert de correctheid van redeneerstappen. Preferentieparen worden geconstrueerd op basis van het samenspel tussen correctheid en vertrouwen:
- Correct maar Onzeker: Als een stap correct is maar laag vertrouwen heeft, wordt deze behandeld als de geprefereerde respons ( $y_w$ ) ten opzichte van een hoog-vertrouwen concurrerend kandidaat.
- Incorrect maar Zeker: Als een stap incorrect is, wordt het correcte antwoord geprefereerd boven de incorrecte generatie van het model.
- Correct en Zeker: Deze stappen worden weggelaten om redundante learning te voorkomen.
Optimalisatie: Het model wordt getraind met Iterative Direct Preference Optimization (DPO). Het doelmodel $\pi_\theta$ wordt geoptimaliseerd om de relatieve waarschijnlijkheid van geprefereerde stappen ten opzichte van niet-geprefereerde te verhogen, waarbij het model van de vorige iteratie als referentie ( $\pi_{ref}$ ) dient. Dit bootstrapt het vermogen van het model om vertrouwensmiscalibraties zelf te corrigeren zonder dat er tijdens inferentie een apart beloningsmodel nodig is.

B. Inferentie: Vertrouwensbewuste Gedachte (CaT)

Tijdens inferentie wordt het gekalibreerde vertrouwen gebruikt om dynamisch door de redeneringsruimte te navigeren.

Mechanisme: Het model verkent een redeneerboom waarbij elke knooppunt correspondeert met een gedeeltelijk traject. Een cumulatieve vertrouwensscore $C(z_{1:t})$ wordt berekend door de genormaliseerde vertrouwensscore van elke stap te vermenigvuldigen.
Uitsnijding: Paden worden alleen uitgebreid als hun cumulatieve vertrouwen een drempel $\tau$ overschrijdt. Takken met laag vertrouwen worden vroeg afgesneden.
Efficiëntie: Deze strategie herverdeelt het computatiebudget naar veelbelovende paden en fungeert als een intrinsiek zelfcorrigerend filter met verwaarloosbare latentie-overhead ( $O(V)$ , waarbij $V$ de vocabulairegrootte is), waardoor de $O(L^2d)$ complexiteit van externe Process Reward Models wordt vermeden.

3. Belangrijkste Bijdragen

CASPO-raamwerk: Een unifyende aanpak die intrinsieke token-niveau entropie uitlijnt met logische correctheid via iteratieve DPO, waardoor afhankelijkheid van externe evaluatoren tijdens inferentie wordt verwijderd.
CaT-strategie: Een decoderingsstrategie die gekalibreerd vertrouwen benut om onzekere redeneertakken dynamisch af te snijden, waardoor efficiëntie en betrouwbaarheid worden verbeterd.
Stap-voor-stap Dataset: De release van een stap-voor-stap dataset met vertrouwensannotaties ter ondersteuning van fijnmazige analyse van redeneerbetrouwbaarheid.
Schaalbaarheid: Demonstratie dat de methode schaalt naar sterkere basismodellen (bijv. Qwen3-8B-Base) en tree-search baselines overtreft zonder gebruik te maken van beloningsmodel-data.

4. Experimentele Resultaten

De auteurs hebben CASPO geëvalueerd op tien benchmarks (waaronder MATH500, AIME'24, AIME'25, OlympiadBench, en niet-wiskundige taken zoals codegeneratie en leesbegrip) en meerdere model-families (Qwen2.5, Llama-3.1).

Prestatiewinst: Op Qwen2.5-7B-Instruct verbeterde CASPO de gemiddelde nauwkeurigheid van 44,4% naar 50,6%. Met de CaT-inferentiestrategie bereikte de nauwkeurigheid 56,1%.
Superioriteit ten opzichte van Baselines: CASPO presteerde consequent beter dan traject-niveau optimalisatie baselines (GRPO, Simple-RL-Zero, PURE-VR, DPO-VP) en inferentiemethoden (CoT, Self-Consistency).
Schaalbaarheid: Op Qwen3-8B-Base overtrof CASPO tree-search baselines zoals rStar-Math en Satori op AIME'24 en AIME'25, ondanks het gebruik van nul beloningsmodel-data (in vergelijking met miljoenen samples die door baselines worden vereist).
Kwaliteit van Kalibratie: Na training daalde de Expected Calibration Error (ECE) op MATH-500 significant van 0,184 (Base) naar 0,081 (CASPO), wat aangeeft dat hoge voorspellende vertrouwen nu strikt correleert met geldige logische stappen.
Efficiëntie: CaT behaalde een hogere nauwkeurigheid dan Self-Consistency met aanzienlijk lagere latentie (2,8s/vraag versus 12,5s/vraag op Qwen2.5-7B-Instruct).
Generalisatie: De methode toonde robuuste overdracht naar niet-wiskundige domeinen, waaronder codegeneratie (HumanEval) en leesbegrip (RACE), wat suggereert dat de uitlijning van vertrouwen en correctheid een fundamentele redeneercapaciteit is.

5. Betekenis en Beweringen

Het artikel beweert dat CASPO fundamenteel de trouw van het redeneerproces verbetert in plaats van alleen benchmarkscores op te blazen. Door vertrouwen te ontkoppelen van externe supervisie en intrinsieke token-niveau onzekerheid te benutten, stelt het raamwerk modellen in staat om:

Logische inconsistenties autonoom te identificeren en te corrigeren.
Betrouwbaar redeneren te bereiken zonder de computatiele last van externe rechters of massale sampling.
Een schaalbaar en transparant raamwerk te bieden voor het verbeteren van redeneerbetrouwbaarheid.

De auteurs benadrukken dat hun aanpak de "granulariteitskloof" in het huidige redeneringsonderzoek aanpakt, door te bewegen van traject-niveau beloningen naar stap-voor-stap vertrouwenskaling. Zij merken op dat hoewel de methode voor de initiële dataconstructie afhankelijk is van een offline evaluator, het kernleersein wordt afgeleid van de eigen entropie van het model, wat stabiliteit garandeert zelfs als de evaluator af en toe paden verkeerd labelt. Het werk suggereert dat het uitlijnen van interne waarschijnlijkheid met externe correctheid een levensvatbare weg is naar verifieerbaar sound redeneertrajecten in hoog-risico domeinen.