💬 NLP

GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

Dit paper introduceert GrACE, een generatieve aanpak die Large Language Models in staat stelt om nauwkeurige en goed gekalibreerde betrouwbaarheidsinschattingen in real-time te genereren zonder extra sampling, waardoor zowel de prestaties als de efficiëntie bij testtijd schaling aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Zhaohan Zhang, Ziquan Liu, Ioannis Patras

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaohan Zhang, Ziquan Liu, Ioannis Patras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎤 GrACE: De "Zelfvertrouwen-Check" voor AI

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een vraag beantwoordt. Vaak weet de AI het antwoord, maar soms raadt hij ook. Het probleem is: hoe weet jij of je die AI kunt vertrouwen?

Tot nu toe hadden AI-modellen twee manieren om hun zelfvertrouwen te tonen, maar beide hadden grote nadelen:

De "Terugblik" methode: De AI geeft eerst een antwoord, en moet dan extra tijd nemen om na te denken of het wel goed was. Dit is traag en kost veel rekenkracht (zoals een student die na het examen nog uren moet nadenken over of hij goed zat).
De "Woordjes" methode: De AI zegt dingen als "Ik ben er vrij zeker van" of "Misschien". Dit is vaag. Wat betekent "vrij zeker"? 60%? 90%? En AI's zijn vaak te zelfverzekerd, alsof ze liegen om indruk te maken.

GrACE (Generative Approach to Confidence Elicitation) is een nieuwe, slimme manier om dit op te lossen.

🧠 De Metafoor: De "Geheime Knop" in het Brein

Stel je het brein van de AI voor als een gigantisch kantoor met duizenden werknemers (de neuronen). Als de AI een antwoord bedenkt, lopen er signalen door dit kantoor.

Bij de oude methoden moest de AI na het werk een aparte vergadering houden om te zeggen hoe zeker hij was. Bij GrACE doen we iets anders:

De Nieuwe Knop: De onderzoekers hebben een speciaal, onzichtbaar symbool toegevoegd aan de woordenlijst van de AI. Laten we dit noemen: (een knop voor "Confidence" of Zelfvertrouwen).
De Geheime Check: Wanneer de AI een antwoord heeft bedacht, moet hij terwijl hij nog aan het typen is, op die knop drukken.
De Meting: In plaats van woorden te gebruiken, meet de AI hoe sterk de "trilling" van zijn eigen brein (de laatste gedachte) overeenkomt met die speciale knop.
- Als de trilling heel sterk lijkt op de knop, zegt de AI: "Ik heb een hoge score, ik weet het zeker!"
- Als de trilling zwak is, zegt de AI: "Mijn score is laag, ik gok maar wat."

Het mooie is: dit gebeurt in één keer, terwijl het antwoord wordt geschreven. Er is geen extra tijd nodig. Het is alsof de AI een snelheidslampje heeft op zijn dashboard dat direct aangeeft of hij veilig rijdt, zonder dat hij hoeft te remmen.

🎯 Hoe leren ze dit? (De Oefensessie)

De AI kan dit niet van nature. De onderzoekers hebben de AI getraind met een slimme truc:

Ze gaven de AI duizenden vragen en antwoorden.
Ze keken naar groepjes antwoorden die ongeveer even zeker waren.
Ze gaven de AI een doel: "Als je antwoord in groepje A zit, moet je een score van 80% geven. Als je in groepje B zit, moet je 40% geven."
Hierdoor leerde de AI niet alleen wat het antwoord was, maar ook hoe goed hij het antwoord wist. Hij leerde zijn eigen "onwetendheid" te voelen.

🚀 Waarom is dit zo handig? (De "Slimme Beslissing")

De paper laat zien dat GrACE twee grote voordelen heeft:

Betrouwbaarheid: De AI geeft veel eerlijker scores. Als hij zegt "Ik weet het niet zeker", dan weet je dat hij het inderdaad niet weet. Hij liegt niet met vage woorden.
Efficiëntie (Test-Time Scaling): Stel je voor dat je een moeilijke wiskundepijst hebt.
- Oude manier: De AI probeert het antwoord 10 keer, en kijkt dan welke het vaakst voorkomt. Dat kost veel tijd.
- GrACE manier: De AI probeert het antwoord. Als hij direct een hoge zelfvertrouwen-score ziet (bijv. 95%), stopt hij meteen. "Oké, ik weet het zeker, ik ben klaar!"
- Als de score laag is, probeert hij het nog een keer.

Dit bespaart enorm veel tijd en rekenkracht, omdat de AI niet onnodig blijft doorgaan als hij het antwoord al weet.

🏁 Conclusie

GrACE is als het geven van een eerlijk kompas aan een AI.
In plaats van dat de AI na het werk een rapport schrijft over hoe zeker hij was, of vaag zegt "misschien", heeft hij nu een directe, nauwkeurige meter die tijdens het denken meet hoe zeker hij is.

Dit maakt AI's veiliger (want we weten wanneer we ze niet moeten vertrouwen) en sneller (want ze stoppen met denken zodra ze zeker zijn). Het is een stap in de richting van AI die echt "weet wat hij weet".

Probleemstelling

Het beoordelen van de betrouwbaarheid van Large Language Models (LLMs) via het eliciteren van vertrouwen (confidence) is cruciaal voor veilige toepassing in hoog-risicodomeinen zoals gezondheidszorg en financiën. Bestaande methoden voor het schatten van modelvertrouwen hebben echter twee grote beperkingen:

Post-generation methoden: Deze methoden (zoals P(True) of het gebruik van een hulpmodel) voegen een extra evaluatiestap toe na het genereren van een antwoord. Dit leidt tot hoge rekenkosten, latente vertragingen en maakt ze onpraktisch voor real-time toepassingen.
Verbalized confidence: Methoden waarbij het model vertrouwen uitdrukt in tekst (bijv. "waarschijnlijk" of een percentage) zijn vaak onnauwkeurig. LLMs neigen hierbij tot oververtrouwen, en natuurlijke taal kan subtiele nuances in vertrouwen niet kwantificeren, wat leidt tot slechte kalibratie.

Het doel is een methode te vinden die real-time, rekenefficiënt en goed gekalibreerd vertrouwen levert zonder extra sampling of hulpmodellen.

Methodologie: GrACE

De auteurs stellen GrACE (Generative Approach to Confidence Elicitation) voor, een generatieve aanpak die vertrouwen integreert in het generatieproces zelf.

1. Het Mechanisme:

Speciale Token (): Er wordt een nieuwe token <CNF> toegevoegd aan de vocabulaire van het model.
Generatie: Het model wordt getraind om deze token aan het einde van zijn antwoord te genereren.
Vertrouwensberekening: In plaats van een tekstuele output, wordt het vertrouwen ( $c$ $c$ ) berekend als de gelijkheid (similarity) tussen de laatste verborgen toestand (hidden state) van het model bij het genereren van <CNF> en de embedding van de <CNF>-token zelf.
- Formule: $c = \text{sim}(z^{<CNF>}_L, e^{<CNF>})$ .
- Dit maakt gebruik van de inherente geometrie van het taalmodel, waarbij de projectie naar de vocabulaire impliciet de gelijkenis meet.

2. Kalibratie en Training:

Doelstelling: Om ervoor te zorgen dat het vertrouwen goed gekalibreerd is (d.w.z. dat een voorspeld vertrouwen van 80% ook daadwerkelijk 80% correctheid betekent), wordt een kalibratiedoel ( $t$ ) ingesteld.
K-voudige Binning: De trainingsdata wordt gegroepeerd op basis van een ongekalibreerde score (verkregen via een lineaire probe). Binnen elke groep wordt de empirische nauwkeurigheid berekend. Deze nauwkeurigheid dient als het doel ( $t$ ) voor de vertrouwensscore van die groep.
Verliesfunctie: Het model wordt gefine-tuned met een combinatie van twee loss-termen:
1. Kalibratie Loss (MSE): Minimaliseert het verschil tussen de gegenereerde vertrouwensscore en het kalibratiedoel.
2. Supervised Fine-Tuning (SFT) Loss: Behoudt de oorspronkelijke taakprestaties van het model (door de output van de vraag-antwoordparen te optimaliseren, maar zonder de <CNF>-token in deze loss te betrekken om conflicten te voorkomen).
Efficiëntie: Alleen de embeddings van <CNF> en een LoRA (Low-Rank Adaptation) laag worden gefine-tuned, wat de rekentijd en geheugenvraag minimaliseert.

3. Toepassing op Test-Time Scaling (TTS):
GrACE wordt geïntegreerd in twee strategieën om de prestaties tijdens inferentie te verbeteren:

GrACE-SC (Self-Consistency): In plaats van een simpele meerderheidsstemming, worden antwoorden gewogen op basis van hun gegenereerde vertrouwensscore.
GrACE-ES (Early Stopping): Het samplingproces stopt zodra een antwoord een vertrouwensscore boven een bepaalde drempel bereikt. Dit vermindert het aantal benodigde samples aanzienlijk zonder de nauwkeurigheid te verliezen.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op open-ended generatietaken (TriviaQA, SciQ) en redeneertaken (MathQA, ARC-Challenge) met verschillende backbone-modellen (Phi-3, Llama-2, Llama-3).

Superieure Kalibratie: GrACE presteert significant beter dan state-of-the-art methoden (zoals Apricot, P(True) en Verbal). Op de TriviaQA-dataset verbeterde GrACE de Expected Calibration Error (ECE) met 2,6%, de Brier-score met 1,8% en de AUROC met 4,4% ten opzichte van de beste concurrent.
Discriminatievermogen: De gegenereerde scores tonen een sterke correlatie met de feitelijke juistheid van het antwoord.
Generalisatie: GrACE toont sterke generalisatie naar ongezette domeinen (Out-of-Domain), terwijl andere methoden (zoals Apricot) sterk prestatieverlies vertonen bij domeinverschuiving.
Efficiëntie in Test-Time Scaling:
- GrACE-SC verbeterde de nauwkeurigheid van standaard Self-Consistency met gemiddeld 1,54%.
- GrACE-ES verminderde het aantal benodigde samples drastisch (bijv. 38,6% van de queries op MathQA stopte na het eerste sample) terwijl de nauwkeurigheid behouden of zelfs verbeterd bleef.

Bijdragen en Betekenis

De belangrijkste bijdragen van dit werk zijn:

Een nieuwe generatieve methode: GrACE introduceert een mechanisme om vertrouwen direct en continu te genereren tijdens de inferentie, zonder extra rekenstappen.
Efficiëntie en Betrouwbaarheid: Het lost het compromis op tussen snelheid en nauwkeurigheid dat bij bestaande methoden bestaat. Het elimineert de noodzaak voor hulpmodellen of post-hoc evaluatie.
Praktische Toepasbaarheid: Door de mogelijkheid om real-time vertrouwen te schatten, maakt GrACE betrouwbare "on-the-fly" besluitvorming mogelijk. Dit is essentieel voor het veilig inzetten van LLMs in kritieke systemen en voor het optimaliseren van rekenresources via Test-Time Scaling.

Kortom, GrACE biedt een praktische en schaalbare oplossing om LLMs "te laten weten wat ze weten", wat een belangrijke stap is naar het vergroten van de betrouwbaarheid en veiligheid van AI-systemen.