💬 NLP

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

Het artikel introduceert CALIBER, een methode die de kalibratie van redenerende taalmodellen verbetert door onderscheid te maken tussen pre-redeneer en post-redeneer betrouwbaarheidsstaten en elk te superviseren met een doel dat is afgestemd op hun specifieke informatiecontext, waardoor de kalibratiefout over diverse benchmarks en modelgroottes aanzienlijk wordt verminderd.

Oorspronkelijke auteurs: Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer moeilijke wiskundetoets maakt. Je hebt twee momenten waarop je jezelf wilt afvragen: "Hoe zeker ben ik ervan dat ik dit goed ga krijgen?"

Voordat je begint met nadenken: Je kijkt naar de vraag en gokt: "Hm, dit ziet er moeilijk uit. Ik krijg het misschien goed, of ik krijg het misschien niet."
Nadat je het hebt opgelost: Je hebt je antwoord opgeschreven en je werk gecontroleerd. Nu vraag je jezelf af: "Oké, kijkend naar het specifieke antwoord dat ik net heb opgeschreven, is het daadwerkelijk correct?"

Het papier CALIBER betoogt dat de meeste huidige AI-modellen een fout maken door deze twee momenten als hetzelfde te behandelen. Ze proberen één enkele "vertrouwensscore" te geven die beide taken tegelijk moet uitvoeren. De auteurs zeggen dat dit is alsof je een weervoorspeller vraagt om zowel "Gaat het vandaag regenen?" (voordat er naar de lucht is gekeken) als "Heeft het vanmiddag geregend?" (nadat de storm is gepasseerd) te voorspellen met exact hetzelfde getal. Dit is verwarrend en leidt tot slechte gissingen.

Het Probleen: Het Mixen van het "Vóór" en het "Ná"

Beschouw een AI-model als een detective die een mysterie oplost.

De "Vóór"-vertrouwen: Dit is de detective die naar de plaats delict kijkt en zegt: "Op basis van hoe rommelig het hier is, is er een kans van 60% dat ik deze zaak kan oplossen." Dit gaat over de moeilijkheidsgraad van de puzzel.
De "Ná"-vertrouwen: Dit is de detective die naar zijn definitieve conclusie en het bewijs dat hij heeft verzameld kijkt en zegt: "Op basis van de specifieke aanwijzingen die ik heb gevonden, ben ik voor 95% zeker dat mijn conclusie juist is." Dit gaat over de kwaliteit van het specifieke antwoord.

Bestaande methoden dwingen de AI vaak om slechts één getal te geven. Als de AI zegt "Ik ben voor 80% zeker", komt dat dan omdat de puzzel makkelijk was, of omdat de AI geweldige aanwijzingen heeft gevonden? Het papier stelt dat je dat niet kunt weten, en dat is waarom het vertrouwen van de AI vaak "misgekalibreerd" is (wat betekent dat de AI zegt dat hij zeker is wanneer hij het fout heeft, of onzeker is wanneer hij het juist heeft).

De Oplossing: CALIBER (Calibration Before and After Reasoning)

De auteurs hebben een nieuw systeem ontwikkeld genaamd CALIBER. In plaats van om één gok te vragen, vragen ze de AI om twee gokken op verschillende momenten:

De Pre-Think Guess (Gok vóór het nadenken): Voordat de AI begint met zijn "denkproces", geeft hij een vertrouwensscore. Deze score is getraind om te voorspellen: "Wat zijn de kansen dat ik dit type probleem überhaupt kan oplossen?"
De Post-Think Guess (Gok ná het nadenken): Nadat de AI heeft nagedacht en een antwoord heeft opgeschreven, geeft hij een tweede vertrouwensscore. Deze score is getraind om te voorspellen: "Is dit specifieke antwoord dat ik net heb geschreven daadwerkelijk correct?"

De geheime saus: Het papier stelt vast dat deze twee gokken op een andere manier "onderwezen" moeten worden.

De Pre-Think gok wordt onderwezen door naar een groep pogingen te kijken. Als de AI het antwoord in 7 van de 10 gevallen goed heeft bij soortgelijke vragen, moet hij leren om "70%" te zeggen nog voordat hij begint.
De Post-Think gok wordt onderwezen door naar het specifieke antwoord te kijken. Als de AI dit specifieke antwoord goed had, moet hij leren om "100% zeker" te zijn. Als hij het fout had, moet hij "0% zeker" zeggen.

Door deze twee taken te scheiden en ze met de juiste "huiswerkopdrachten" (data) te onderwijzen, weet de AI veel beter wat hij weet.

Wat gebeurde er toen ze het testten?

De onderzoekers testten dit op wiskundeproblemen en algemene kennisvragen (zoals trivia). Ze vergeleken CALIBER met andere methoden die slechts één vertrouwensscore vragen.

Het resultaat: CALIBER was veel beter in eerlijk zijn.
- Wanneer CALIBER zei dat hij "90% zeker" was, had hij het ook daadwerkelijk in 90% van de gevallen bij het rechte eind.
- Andere methoden zeiden vaak "90% zeker" terwijl ze slechts in 60% van de gevallen gelijk hadden (overmoedig), of ze zeiden "50% zeker" terwijl ze eigenlijk in 90% van de gevallen gelijk hadden (ondermoedig).
De "Out-of-Distribution" test: Ze testten de AI ook op vragen die hij nog nooit eerder had gezien (zoals de overstap van wiskundepuzzels naar trivia). Zelfs op deze nieuwe, lastige taken bleef CALIBER veel eerlijker over zijn vertrouwen dan de andere methoden.

De "Gap" is nuttig

Eén interessant ding dat het papier vermeldt, is het verschil (de gap) tussen de twee getallen.

Als de AI laag begint met vertrouwen (bijv. "Ik weet niet zeker of ik dit kan oplossen") maar eindigt met een hoog vertrouwen (bijv. "Maar nu ik het heb opgelost, ben ik er zeker van!"), dan vertelt die kloof ons dat het denkproces heeft geholpen.
Als de AI hoog begint maar laag eindigt, betekent dit dat het denkproces een fout heeft blootgelegd.

Samenvatting

In eenvoudige bewoordingen corrigeert CALIBER het vertrouwen van AI door te beseffen dat "gokken of een probleem oplosbaar is" en "gokken of een specifiek antwoord juist is" twee verschillende vaardigheden zijn. Door de AI te leren deze twee dingen apart en correct te doen, wordt de AI een veel betrouwbaardere partner die weet wanneer hij zichzelf kan vertrouwen en wanneer hij voorzichtig moet zijn.

Technische Samenvatting: CALIBER – Kalibratie van Vertrouwen Vóór en Na Redeneren in Taalmodellen

Probleemstelling

Redenerende taalmodellen krijgen steeds vaker de taak om niet alleen complexe problemen op te lossen, maar ook de waarschijnlijkheid van hun eigen succes in te schatten. Bestaande kalibratiemethoden roepen doorgaans een enkele vertrouwensschatting op op één specifiek punt in het generatieproces: ofwel vóór het beginnen van het denken (pre-thinking), ofwel na het produceren van een definitief antwoord (post-thinking).

De auteurs stellen dat vertrouwen in redeneermodellen toestandsafhankelijk is.

Pre-thinking vertrouwen conditioneert enkel op de prompt ( $x$ ). Het moet de waarschijnlijkheid inschat dat de huidige policy van het model de prompt kan oplossen, ongeacht het specifieke redeneertraject dat gegenereerd zal worden.
Post-thinking vertrouwen conditioneert op de prompt, het gerealiseerde redeneertraject ( $z$ ) en het definitieve antwoord ( $\hat{y}$ ). Het moet de correctheid van die specifieke gerealiseerde respons inschatten.

Huidige methoden verwarren deze verschillende informatietoestanden vaak door een enkele supervisietarget toe te passen op een enkele schatting, of door een target te gebruiken die niet overeenkomt met de informatietoestand (bijv. het trainen van een pre-thinking schatting met een instance-niveau correctheidstarget). Deze mismatch tussen wat het model gevraagd wordt in te schatten en waarvoor het getraind wordt, leidt tot suboptimale kalibratie, met name onder distributieverschuiving.

Methodologie: CALIBER

De auteurs introduceren CALIBER (Calibration Before and After Reasoning), een framework dat twee onderscheidende vertrouwensschattingen binnen één enkele respons oproept en elke schatting superviseert met een target die overeenkomt met de informatietoestand.

1. Toestandsafhankelijke Kalibratie

CALIBER structureert de output van het model om de volgende elementen te bevatten:

Pre-confidence ( $p_{pre}$ ): Geëmitteerd vóór het redeneertraject. Het is geconditioneerd op enkel de prompt.
Redeneertraject & Antwoord: Het standaard redeneerproces.
Post-confidence ( $p_{post}$ ): Geëmitteerd na het redeneertraject en het antwoord. Het is geconditioneerd op de volledige gerealiseerde respons.

2. Supervisietargets

Het framework wijst specifieke kalibratietargets toe op basis van de positie van de schatting:

Pre-confidence Target (Groepswijs): Gesuperviseerd tegen de empirische succesratio van de huidige policy op de prompt ( $\hat{p}(x)$ ), berekend als het gemiddelde van de correctheid van $N$ gesamplede rollouts voor die prompt. Dit weerspiegelt de oplosbaarheid van de prompt.
Post-confidence Target (Instance-gewijs): Gesuperviseerd tegen de binaire correctheid van de specifieke rollout ( $c_i$ ). Dit weerspiegelt de correctheid van het gerealiseerde antwoord.

3. Trainingsdoelstelling

De training maakt gebruik van Reinforcement Learning with Verifiable Rewards (RLVR). De totale beloning voor een rollout $i$ is de som van vier even zwaar gewogen componenten:

Accuracy Reward ( $R_{acc}$ ): Binaire correctheid van het antwoord.
Format Reward ( $R_{fmt}$ ): Zorgt ervoor dat het model de vereiste tags en geldige vertrouwenswaarden produceert.
Pre-confidence Calibration Reward: $1 - (p_{pre} - \hat{p}(x))^2$ .
Post-confidence Calibration Reward: $1 - (p_{post} - c_i)^2$ .

Om optimalisatieproblemen aan te pakken waarbij de laag-variante groepswijze pre-confidence beloning wordt gedomineerd door hoog-variante instance-gewijze beloningen, hanteert CALIBER een twee-fasen trainingsschema:

Warmup: Optimaliseert enkel de groepswijze pre-confidence beloning om diverse schattingen te vestigen.
Joint Training: Optimaliseert pre-confidence, post-confidence en accuracy beloningen simultaan.

Belangrijkste Bijdragen

Toestandsafhankelijke Inkadering: Het artikel kadert vertrouwen in redeneermodellen in als onderscheidende hoeveelheden gebaseerd op de informatietoestand: pre-thinking vertrouwen komt overeen met de oplosbaarheid van de vraag (groepswijs), terwijl post-thinking vertrouwen overeenkomt met de antwoord-niveau correctheid (instance-gewijs).
CALIBER Framework: Een verenigd protocol dat beide schattingen oproept en elk uitlijnt met de passende supervisietarget, waardoor de mismatch wordt vermeden die bij eerdere single-confidence methoden voorkomt.
Gecontroleerde Vergelijking: De auteurs isoleren de bijdrage van de positie–target uitlijning door CALIBER te vergelijken met een gecontroleerde set baselines (RLCR, COREA-lite, CoCA-lite, DCPO-lite) onder een gedeeld trainings- en evaluatieprotocol, waarbij verwarrende ontwerpkeuzes zoals gesegmenteerde credit assignment worden geëlimineerd.
Diagnostische Kloof: Het framework maakt de analyse van de kloof tussen pre- en post-vertrouwen mogelijk, wat dient als een per-voorbeeld signaal van hoe de onzekerheid van het model tijdens het redeneren evolueert.

Resultaten

In-domain Prestaties (BigMathDigits)

7B Model: CALIBER vermindert de Expected Calibration Error (ECE) met 52,5% vergeleken met de sterkste single-confidence baseline (DCPO-lite). Het bereikt de beste ECE, Brier score en AUROC, terwijl de nauwkeurigheid binnen 2,1 procentpunten blijft van de beste nauwkeurigheid.
30B Model: CALIBER bereikt de beste ECE (0,022) terwijl het een concurrerende AUROC (0,797) behoudt, waarmee het zich onderscheidt van methoden zoals CoCA-lite die een lage ECE maar een slechte discriminatie bereiken (AUROC ~0,5).

Out-of-Distribution (OOD) Generalisatie

Geëvalueerd op GPQA, TriviaQA en SimpleQA:

Kalibratie: CALIBER bereikt consistent de beste ECE en Brier scores op GPQA en TriviaQA voor beide modelgroottes.
SimpleQA: Op deze extreme distributieverschuiving bereikt CALIBER de beste ECE en Brier score voor het 7B model. Voor het 30B model bereikt, hoewel DCPO-lite een iets lagere ECE heeft, CALIBER een substantieel hogere AUROC, wat duidt op een betere kalibratie-discriminatie trade-off.
Betrouwbaarheid: Reliability diagrammen laten zien dat CALIBER ernstige overmoed vermijdt en goed uitlijnt met de diagonaal in hoog-vertrouwensregio's.

Ablatie-studies

Een ablatie waarbij de targets werden omgewisseld (het trainen van pre-confidence met instance targets en post-confidence met groepstargets) toonde aan:

In-domain: De resultaten waren gemengd; het 30B model profiteerde significant van de correcte uitlijning, terwijl het 7B model gemengde metrieken vertoonde.
OOD: De positie–target uitlijning bleek cruciaal. CALIBER presteerde consequent beter dan de omgewisselde baseline over alle OOD-datasets en modelgroottes, en verminderde de ECE aanzienlijk. Dit suggereert dat het matchen van de supervisietarget aan de informatietoestand essentieel is voor robuuste kalibratie onder distributieverschuiving.

Betekenis en Claims

Het artikel claimt dat CALIBER aantoont dat kalibratie voor redeneermodellen behandeld moet worden als een dynamisch probleem in plaats van een statische scalar gekoppeld aan een antwoord.

Uitlijning is Cruciaal: De primaire betekenis is de demonstratie dat de "positie–target uitlijning" (het matchen van pre-thinking aan groepssucces en post-thinking aan instance-correctheid) de cruciale factor is die de verbeteringen in kalibratie drijft, vooral onder distributieverschuiving.
Diagnostische Nut: De kloof tussen pre- en post-vertrouwen biedt een betekenisvol diagnostisch middel voor hoe de onzekerheid van het model verandert na het redeneren, in plaats van slechts een statische vertrouwensscore.
Veiligheid en Vertrouwen: Door de kalibratie te verbeteren zonder de taaknauwkeurigheid substantieel op te offeren, ondersteunt CALIBER de veiligere inzet van redeneermodellen in omgevingen waar foutieve antwoorden kostbaar zijn, omdat het gebruikers in staat stelt de zelfbeoordeling van het model beter te vertrouwen.

De auteurs concluderen dat toekomstig werk deze toestandafhankelijke aanpak verder moet uitbreiden naar meer dan twee punten, de hypothese van prompt-niveau oplosbaarheid directer moet testen en deze bevindingen over aanvullende modelfamilies en taakdomeinen moet valideren.