🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

Dit artikel introduceert C3RL, een reinforcement learning-algoritme dat zowel de nauwkeurigheid als de kalibratie van grote taalmodellen verbetert, en maakt gebruik van deze goed gekalibreerde betrouwbaarheidsscores om CAS aan te sturen, een adaptieve strategie voor schaling tijdens de inferentietijd die de inferentiekosten aanzienlijk vermindert terwijl het bestaande methoden overtreft.

Oorspronkelijke auteurs: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar overmoedige student hebt die een zeer moeilijk examen aflegt. Deze student, een AI, is geweldig in het oplossen van problemen, maar heeft een slechte gewoonte: wanneer hij het antwoord niet zeker weet, gokt hij toch en zegt hij met een strak gezicht: "Ik ben 100% zeker!" In de wereld van AI wordt dit een "hallucinatie" genoemd. Het is alsoğ met de student die vol vertrouwen "De hoofdstad van Frankrijk is Londen" schrijft en het fout heeft.

Het artikel dat je hebt gedeeld, introduceert een tweestapsysteem om het gedrag van deze student te corrigeren en zijn studietijd efficiënter te maken.

Stap 1: De "Eerlijkheidscoach" (C3RL)

Het eerste deel van de oplossing is een nieuwe trainingsmethode genaamd C3RL (Correctness and Confidence Calibration Reinforcement Learning). Zie dit als een strenge maar eerlijke coach die de student twee dingen tegelijk leert:

Krijg het antwoord goed. (Gok niet zomaar.)
Wees eerlijk over hoe zeker je bent. (Als je aan het gokken bent, geef dat dan toe.)

Normaal gesproken, wanneer we AI trainen, belonen we ze alleen voor het geven van het juiste antwoord. Dit maakt hen wanhopig om gelijk te hebben, waardoor ze liegen over hun zelfvertrouwen. C3RL verandert de regels. Het geeft de student een "gouden ster" als ze het antwoord goed hebben én zeggen dat ze het zeker weten. Het geeft ze een "gouden ster" als ze het fout hebben, maar toegeven dat ze het niet zeker weten.

Echter, het geeft ze een "grote rode F" als ze het fout hebben, maar beweren dat ze 100% zeker zijn. Het geeft ze ook een "grote rode F" als ze het goed hebben, maar beweren dat ze totaal geen idee hebben.

Het resultaat? De AI leert te zeggen: "Ik weet het niet zeker over deze," wanneer hij eigenlijk aan het gokken is, en: "Ik ben erg zeker van mijn zaak," wanneer hij het antwoord weet. Het stopt het "zelfverzekerd liegen."

Stap 2: De "Slimme Budgetbeheerder" (CAS)

Zodra de student heeft geleerd om eerlijk te zijn, komt het tweede deel van het systeem in actie. Dit wordt CAS genoemd (Confidence-based Adaptive Test Time Scaling).

Stel je voor dat jij de docent bent die het examen nakijkt, maar je hebt een beperkt budget aan tijd en energie. Je kunt niet 10 uur aan elke vraag besteden.

De Oude Manier (Majority Voting): Je vraagt de student om elke vraag 64 keer te beantwoorden en neemt het meest voorkomende antwoord. Dit is accuraat, maar ongelooflijk verspillend. Het is alsof je een student vraagt om een wiskundeprobleem 64 keer op te lossen, alleen maar om zeker te zijn.
De Nieuwe Manier (CAS): Je vraagt de student om een vraag één keer te beantwoorden.
- Als de student zegt: "Ik ben 90% zeker dat het A is," vertrouw je ze direct, schrijf je het antwoord op en ga je door. Je hebt tijd bespaard!
- Als de student zegt: "Ik ben slechts 40% zeker," weet je dat ze worstelen. Dus je vraagt hen om het opnieuw te proberen, en weer, en weer, totdat ze er zeker van zijn of totdat je genoeg keren hebt geprobeerd.

Omdat de student (de AI) dankzij Stap 1 nu eerlijk is over zijn zelfvertrouwen, kun je hun "ik weet het zeker"-signalen vertrouwen. Dit stelt je in staat om geen tijd te verspillen aan makkelijke vragen en je energie alleen te richten op de moeilijke vragen.

Het Grote Resultaat

Het artikel laat zien dat deze combinatie wonderen verricht:

Betere Eerlijkheid: De AI werd veel beter in het weten wanneer hij het antwoord niet wist, zonder dat dit ten koste ging van het daadwerkelijk oplossen van de problemen.
Enorme Besparingen: Door de "Slimme Budgetbeheerder" te gebruiken, bespaarde het systeem een enorme hoeveelheid rekenkracht. In sommige tests gebruikte het 12 keer minder computerbronnen dan de oude methode, terwijl het dezelfde (of betere) resultaten behaalde.

Kortom, het artikel leert AI om te stoppen met bluffen over wat ze weten, en gebruikt die eerlijkheid vervolgens om tijd en geld te besparen door alleen hard te werken wanneer dat daadwerkelijk nodig is.

Technische Samenvatting: Schalen met Vertrouwen

Probleemstelling

Hoewel Reinforcement Learning (RL) Large Language Models (LLM's) aanzienlijk heeft vooruitgeholpen in redeneren en vraagbeantwoording, geven de gangbare RL-beloningsontwerpen doorgaans de voorkeur aan de juistheid van het antwoord, terwijl ze de kalibratie van het vertrouwen verwaarlozen. Dit gebrek aan aandacht leidt tot een kritieke foutmodus: modellen worden vaak overmoedig in hun onjuiste outputs (hallucinaties) wanneer ze onzeker zijn. Bestaande kalibratiemethoden kampen met drie primaire beperkingen:

Grove Granulariteit: Ze reduceren kalibratie vaak tot een binaire classificatie (zeker vs. onzeker), waardoor genuanceerde onzekerheid niet wordt gevangen.
Accuratesse-Kalibratie Afruil: Verbeteringen in kalibratie gaan vaak ten koste van de accuratesse, omdat modellen kunnen leren om bewust onjuiste antwoorden met een laag vertrouwen te geven om de kalibratiefout te minimaliseren.
Onderbenutting: Gekalibreerd vertrouwen wordt zelang gebruikt voor downstream besluitvorming, zoals adaptieve inferentie en middelenallocatie.

Methodologie

Het artikel stelt een verenigd framework voor dat bestaat uit twee kerncomponenten: C3RL (training) en CAS (inferentie).

1. Correctness and Confidence Calibration Reinforcement Learning (C3RL)

C3RL is een nieuw RL-algoritme dat ontworere is om zowel juistheid als kalibratie gelijktijdig te optimaliseren zonder de prestaties op te offeren. Het maakt gebruik van een samengestelde beloningsfunctie ( $R_{C3RL}$ ) bestaande uit drie afzonderlijke delen:

Correctheid Beloning ( $R_{correctness}$ ): Een standaard indicatorbeloning ( $+1$ voor correct, $0$ voor incorrect) die ervoor zorgt dat het model in de richting van feitelijke juistheid wordt bijgewerkt, wat "gekalibreerd maar onjuist" kortetermijnoplossingen voorkomt.
Kalibratie Beloning ( $R_{calibration}$ ): Deze component stimuleert de afstemming tussen de verbaal geuite vertrouwensscore en de werkelijke juistheid. Met behulp van een drempelwaarde $t=5$ wordt het model beloond ( $+\beta$ ) voor "zekere correcte" en "onzekere incorrecte" reacties, en gestraft ( $-\beta$ ) voor "zekere incorrecte" en "zekere correcte" reacties.
Referentie Accuratesse Beloning ( $R_{reference}$ ): Om te voorkomen dat het model hallucineert op vragen waarbij het oorspronkelijk een hoge waarschijnlijkheid van correctheid had, maakt deze beloning gebruik van dataset-geïnformeerde referentietags:
- Als een vraag oorspronkelijk "allemaal incorrect" was (gebaseerd op sampling van het basismodel) maar het model het correct beantwoordt, ontvangt het een positieve beloning ( $+\alpha$ ).
- Als een vraag oorspronkelijk "allemaal correct" was maar het model een onjuist antwoord hallucineert, ontvangt het een negatieve beloning ( $-\alpha$ ).

Constructie van Trainingsdata: De auteurs hebben een hoogwaardige dataset samengesteld uit domeinen zoals wiskunde, wetenschap en logisch redeneren. Voor elke trainingssteekproef genereert het basismodel 10 reacties om een referentie-accurassetag toe te wijzen: "allemaal correct", "gedeeltelijk correct" of "allemaal incorrect".

2. Confidence-based Adaptive Test Time Scaling (CAS)

Door gebruik te maken van de goed gekalibreerde verbaal geuite vertrouwensscores geproduceerd door C3RL, introduceren de auteurs CAS, een strategie voor inferentie-tijd die computationele middelen dynamisch toewijst.

Mechanisme: In plaats van te vertrouwen op frequentie of entropie (die vaak ongekalibreerd zijn), gebruikt CAS de som van de verbaal geuite vertrouwensscores voor unieke antwoorden.
Stopcriterium: Het algoritme berekent de waarschijnlijkheid dat het meest vertrouwde antwoord ( $c_1$ $c_{1}$ ) het op één na meest vertrouwde antwoord ( $c_2$ $c_{2}$ ) domineert, met behulp van een op de Beta-verdeling gebaseerde formule.
- Als $Prob(c_1, c_2) \geq P_{stop}$ (wat aangeeft dat het topantwoord zeer dominant is), stopt het samplen vroegtijdig.
- Zo niet, dan gaat het samplen door.
Middelenallocatie: Deze strategie verschuift het computationele budget effectief van hoog-vertrouwenssteekproeven (die minder samples vereisen om te bevestigen) naar laag-vertrouwenssteekproeven (die meer baat hebben bij extra sampling).

Belangrijkste Bijdragen

C3RL Algoritme: Een nieuwe RL-aanpak die gelijktijdig de juistheid en kalibratie verbetert, waarbij de algehele prestaties behouden blijven terwijl overmoed wordt verminderd. Het is de eerste die referentie-accurassinformatie integreert in de beloningsfunctie om het leren te stabiliseren.
CAS Strategie: Een early-stopping mechanisme voor test-time scaling dat gekalibreerd vertrouwen gebruikt om de inferentiebudgetten dynamisch toe te wijzen, waarbij meer rekenkracht wordt toegewezen aan onzekere steekproeven.
Verenigd Framework: De synergie tussen C3RL en CAS creëert een samenhangende pijplijn die LLM's in staat stelt gekalibreerd vertrouwen te uiten en de inferentiekosten adaptief te beheren.

Experimentele Resultaten

Het framework werd geëvalueerd over 8 tekst- en multimodale datasets (inclusief AGIEval, MMLU, MMMU en MathVista) met behulp van Qwen2.5VL-7B-Instruct en Llama-3.2-3B-Instruct.

Kalibratie vs. Accuratesse: C3RL presteert beter dan de huidige state-of-the-art RL-methode (RLCR) en andere baselines (SaySelf, RLVR) in het balanceren van prestaties en betrouwbaarheid. Op out-of-domain (OOD) datasets bereikt C3RL een superieure kalibratie (lagere Expected Calibration Error) terwijl het de accuratesse van RLCR handhaaft of overtreft. Opvallend genoeg vermijdt C3RL de daling in accuratesse die bij andere kalibratiegerichte methoden optreedt.
Inference Efficiëntie: In test-time scaling experimenten vermindert CAS het benodigde inferentiebudget om de accuratesse van standaard Majority Voting (MV) te evenaren aanzienlijk.
- CAS verminderde het aantal vereiste samples met wel 12,33 keer op OOD tekstdatasets vergeleken met MV.
- CAS presteerde consistent beter dan Adaptive-Consistency (AC), waarbij het minder dan de helft van het samplingbudget van AC gebruikte op OOD teksttaken terwijl het concurrerende accuratesse behield.
Stratificatieanalyse: Experimenten bevestigden dat steekproeven met een laag vertrouwen aanzienlijk meer profiteren van verhoogde sampling (een sprong van ~49% naar ~54,5% accuratesse) vergeleken met steekproeven met een hoog vertrouwen (die een verwaarloosbare winst lieten zien), wat de middelenverschuivingslogica van CAS valideert.

Betekenis en Claims

De auteurs beweren dat hun werk de kritieke kloof tussen modelprestaties en betrouwbaarheid aanpakt. Door juistheid, kalibratie en referentie-accuratesse te integreren, stelt C3RL modellen in staat om "een laag vertrouwen te signaleren wanneer ze onzeker zijn" zonder hun vermogen om correcte antwoorden te geven op te offeren.

De betekenis van het werk ligt in de synergie tussen training en inferentie:

C3RL levert het noodzakelijke "goed gekalibreerde verbaal geuite vertrouwen".
CAS gebruikt dit signaal efficiënt om het middelenverbruik te optimaliseren.

Het artikel concludeert dat deze verenigde pijplijn de weg vrijmaakt voor de inzet van meer betrouwbare en hulpbron-efficiënte LLM's, vooral in veiligheidskritische domeinen waar het vermijden van overmoedige hallucinaties van groot belang is. De auteurs merken beperkingen op, waaronder potentiële trainingsbias door datascarcity in wetenschappelijke domeinen en het feit dat de kalibratie van C3RL, hoewel superieur aan accuratesse-gerichte RL-methoden, nog steeds achterblijft bij pure kalibratiemethoden zoals SaySelf in isolatie.