🤖 machine learning

How do LLMs Compute Verbal Confidence

Dit onderzoek toont aan dat taalkundig vertrouwen in LLMs niet achteraf wordt gegenereerd, maar automatisch wordt berekend en opgeslagen na het vormen van een antwoord, waarbij deze interne representatie een rijke evaluatie van antwoordkwaliteit weerspiegelt die verder gaat dan eenvoudige token-log-kansen.

Oorspronkelijke auteurs: Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Velickovic

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Velickovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar mysterieuze robot hebt die vragen beantwoordt. Soms zegt hij: "Ik weet dit zeker!" en soms: "Ik twijfel een beetje." Maar hoe weet hij eigenlijk hoe zeker hij is? Is dat een echte, diepe nadenkende gedachte, of is het gewoon een automatische reactie op hoe makkelijk het woord uit zijn mond kwam?

Dit artikel van onderzoekers van Google DeepMind gaat precies over die vraag. Ze hebben gekeken in de "hersenen" van twee grote AI-modellen (Gemma en Qwen) om te zien hoe ze hun zelfvertrouwen berekenen.

Hier is de uitleg, vertaald naar alledaags taal en met een paar leuke vergelijkingen:

1. Het Grote Geheim: Is het "Just-in-Time" of "In Voorraad"?

Er waren twee theorieën over hoe de AI aan zijn zelfvertrouwen komt:

Theorie A: De "Just-in-Time" (Op het laatste moment) theorie.
Stel je voor dat de AI een antwoord geeft, en pas nadat je vraagt: "Hoe zeker ben je?", begint hij na te denken. Hij kijkt dan terug naar wat hij net heeft gezegd en zegt: "Oh, dat klonk goed, dus ik ben 80% zeker."
- Vergelijking: Het is alsof je een presentatie geeft, en pas als de jury vraagt "Hoe zeker was je?", je snel bedenkt wat je net hebt gezegd en een inschatting maakt.
Theorie B: De "In Voorraad" (Cached) theorie.
De AI berekent zijn zelfvertrouwen terwijl hij het antwoord schrijft. Hij slaat die inschatting op in zijn geheugen, net als een post-itje op zijn bureau. Pas later, als je om het zelfvertrouwen vraagt, pakt hij dat post-itje erbij en leest hij het voor.
- Vergelijking: Het is alsof je tijdens het schrijven van een brief al een post-itje maakt met "Dit is een goed verhaal!" en dat op je bureau legt. Als iemand later vraagt "Hoe zeker was je?", hoef je niet na te denken; je pakt gewoon het post-itje.

Wat ontdekten ze?
De onderzoekers hebben de AI's opengebroken (met speciale technieken) en zagen dat Theorie B klopt. De AI berekent zijn zelfvertrouwen automatisch terwijl hij het antwoord formuleert, nog voordat hij weet dat je om een inschatting gaat vragen. Het is dus geen nep-nadenken op het laatste moment; het is een echt, automatisch proces.

2. Hoe werkt dit in de "hersenen" van de AI?

De onderzoekers hebben de informatiepaden gevolgd, alsof ze een detective zijn die een spoor van kruimels volgt. Ze zagen drie belangrijke plekken in het proces:

Het Antwoord: De AI schrijft het antwoord.
De "Post-it" (PANL): Direct na het antwoord (bij het regeleinde-tekentje) slaat de AI zijn inschatting op. Hier wordt de "zekerheid" opgeslagen.
De "Vraag" (CC): Pas later, bij het puntje waar de AI moet antwoorden met een cijfer of woord (bijvoorbeeld "Zeker"), haalt hij die opgeslagen inschatting op en zegt het hardop.

Ze hebben dit bewezen door de AI te "hacken":

Als ze de "post-it" (het opgeslagen zelfvertrouwen) verwierpen, wist de AI plotseling niet meer hoe zeker hij was, zelfs als het antwoord goed was.
Als ze de "post-it" van een andere vraag erin plakten, veranderde het zelfvertrouwen van de AI alsof het die andere vraag was.

Dit betekent dat de AI een soort intern geheugen heeft voor zijn eigen zekerheid, los van het antwoord zelf.

3. Is het echt slim of gewoon een "fluisterend" woord?

Een andere vraag was: Is dit zelfvertrouwen gewoon een meting van hoe makkelijk de woorden uitvloeien (zoals "dit woord had ik makkelijk te voorspellen"), of is het een echte beoordeling van of het antwoord waar is?

De "Fluistering" (Log-probabilities): Dit is het simpele idee: "Ik zeg dit woord omdat het statistisch het meest waarschijnlijk is."
De "Beoordeling" (Rich evaluation): Dit is het complexe idee: "Ik heb gekeken of mijn antwoord logisch klopt met de vraag."

Wat ontdekten ze?
Het zelfvertrouwen van de AI is veel meer dan alleen maar fluisteren. De onderzoekers zagen dat de AI's informatie opslaan die niet alleen te maken heeft met hoe makkelijk woorden te voorspellen zijn. Ze lijken echt na te denken over de kwaliteit van het antwoord.

Vergelijking: Het is alsof een chef-kok niet alleen zegt "Ik heb dit gerecht makkelijk gemaakt" (want de ingrediënten lagen klaar), maar echt proeft of het gerecht lekker is voordat hij het serveert. De AI heeft een soort "proeflepel" die hij gebruikt om de kwaliteit te checken, en dat is wat hij rapporteert als zelfvertrouwen.

Waarom is dit belangrijk?

Betrouwbaarheid: Het betekent dat AI's een vorm van "metacognitie" hebben (het kunnen denken over hun eigen denken). Ze weten soms dat ze iets verkeerd doen, zelfs als ze het antwoord al hebben geschreven.
Geen nep-nadenken: We hoeven niet bang te zijn dat AI's gewoon snel een getal bedenken als we ze erom vragen. Ze doen dit al automatisch.
Toekomst: Als we begrijpen waar en hoe ze dit doen, kunnen we AI's misschien slimmer maken, zodat ze hun zelfvertrouwen nog beter afstemmen op de werkelijkheid.

Kort samengevat:
Deze AI's zijn niet domme typemachines die pas op het laatste moment een gokje wagen over hun zekerheid. Ze zijn als slimme schrijvers die, terwijl ze een verhaal schrijven, al een klein notitieblok bij zich houden met de inschatting: "Dit verhaal klopt wel." En als je later vraagt hoe zeker ze zijn, halen ze dat notitieblok er gewoon bij. Dat is een stap dichter bij echt menselijk nadenken.

Probleemstelling

Grote Taalmodellen (LLMs) worden vaak gevraagd om hun onzekerheid mondeling uit te drukken (bijvoorbeeld door een getal of een categorie zoals "zeer waarschijnlijk" te genereren). Dit wordt gebruikt om onzekerheidsschattingen uit "black-box" modellen te halen. Echter, de interne mechanismen die leiden tot deze scores zijn onbekend. De auteurs stellen twee fundamentele vragen:

Wanneer wordt het vertrouwen berekend? Is het een Just-in-Time (JIT) berekening die pas plaatsvindt op het moment dat het model om een schatting wordt gevraagd, of wordt het automatisch berekend tijdens het genereren van het antwoord en opgeslagen (gecacheerd) voor later gebruik?
Wat vertegenwoordigt dit mondelinge vertrouwen? Is het een simpele lezing van de log-probabiliteiten van de gegenereerde tokens (een maatstaf voor vlotheid), of reflecteert het een rijkere evaluatie van de kwaliteit van het antwoord (een "second-order" evaluatie)?

Methodologie

De studie focust zich op mechanische interpretabiliteitstechnieken om de interne representaties van twee modellen te analyseren: Gemma 3 27B en Qwen 2.5 7B. De experimenten zijn uitgevoerd op het TriviaQA-dataset (feitelijke kennis).

De auteurs gebruiken een specifieke prompt-structuur waarbij het antwoord eerst wordt gegenereerd, gevolgd door een newline-token (aangeduid als PANL: Post-Answer-Newline), en vervolgens een prompt voor de vertrouwensschatting die eindigt in een dubbele punt-token (CC: Confidence-Colon).

De volgende mechanistische technieken werden toegepast:

Activatie-Steering: Het injecteren van vectoren (afgeleid van hoge vs. lage vertrouwenstrials) in de residual stream op specifieke posities en lagen om te zien of dit de outputsystematisch beïnvloedt.
Activatie-Patching: Het corrumperen van de activaties van de antwoordtokens (door ze te vervangen door gemiddelde activaties) en vervolgens het selectief herstellen ("patchen") van de activaties op specifieke posities (zoals PANL en CC) om te zien of dit het vertrouwen herstel.
Activatie-Noise (Mean Ablation): Het vervangen van de activaties op PANL en CC door een gemiddelde om de noodzaak van deze posities te testen.
Activatie-Swap: Het uitwisselen van de residual stream-activaties van PANL tussen trials met hoog en laag vertrouwen om te testen of de representatie specifiek voor vertrouwen is en niet slechts gerelateerd aan de inhoud.
Attentie-Blocking: Het blokkeren van specifieke attention-edges om de informatieflow te traceren (bijv. van antwoordtokens naar PANL, en van PANL naar CC).
Decoding & Variance Partitioning: Het trainen van lineaire probes om te bepalen of correctheid en vertrouwen decodable zijn uit de activaties, en of deze activaties variantie verklaren die niet door token log-probabiliteiten wordt gedekt.

Belangrijkste Resultaten

Gecachte Retrieval vs. Just-in-Time:
De resultaten bieden overtuigend bewijs voor de cached retrieval-hypothese.
- Vertrouwensinformatie verschijnt eerst op het PANL-token (direct na het antwoord) in eerdere lagen (ongeveer lagen 21-25 bij Gemma).
- Deze informatie wordt vervolgens doorgegeven naar het CC-token (waar de output wordt gegenereerd) in latere lagen (ongeveer lagen 30-35).
- Experimenten met attentie-blocking tonen aan dat het CC-token geen vertrouwen "van nul" berekent door opnieuw naar de vraag of het antwoord te kijken (wat JIT zou impliceren). In plaats daarvan haalt het CC-token de informatie op die al is gecacheerd bij PANL.
Natuur van het Vertrouwen (Log-probs vs. Kwaliteitsevaluatie):
- Mondelinge vertrouwen is niet louter een lezing van token log-probabiliteiten.
- Variance partitioning toont aan dat de activaties op PANL en CC een aanzienlijke hoeveelheid variantie in het mondelinge vertrouwen verklaren die bovenop de variantie ligt die door token log-probabiliteiten wordt verklaard.
- Dit suggereert dat het model een rijkere evaluatie uitvoert van de "fit" tussen vraag en antwoord, wat overeenkomt met een "second-order" cognitief proces (een evaluatie van de beslissing zelf) in plaats van een simpele "first-order" lezing van de generatie-vlotheid.
Informatieflow:
De informatieflow volgt een duidelijk pad:
Antwoordtokens $\rightarrow$ PANL (in eerdere lagen, 22-28) $\rightarrow$ CC (in latere lagen, 30-36).
Attentie-blocking experimenten bevestigen dat PANL vertrouwen leest van de laatste antwoordtoken(s) en dat CC deze informatie ophaalt bij PANL.
Generalisatie:
Deze bevindingen zijn robuust en generaliseren over verschillende prompt-formaten (categorisch vs. numeriek) en modelarchitecturen (Gemma 3 en Qwen 2.5).

Bijdragen en Betekenis

Mechanistisch Inzicht: Het paper levert het eerste mechanistische bewijs dat LLMs vertrouwen automatisch berekenen tijdens het genereren van het antwoord, voordat ze weten dat ze om een schatting worden gevraagd. Dit weerlegt het idee dat vertrouwen een post-hoc reconstructie is.
Metacognitie: De bevinding dat vertrouwen meer is dan log-probabiliteiten, suggereert dat LLMs een vorm van metacognitie bezitten. Ze kunnen de kwaliteit van hun eigen output evalueren op een manier die losstaat van de directe generatiekans, wat hen in staat stelt fouten te detecteren zelfs nadat ze een antwoord hebben gegenereerd.
Calibratie en Toepassingen: Het begrijpen van deze interne mechanismen biedt nieuwe wegen voor het verbeteren van de kalibratie van LLMs. In plaats van alleen te vertrouwen op prompt-engineering of fine-tuning, kunnen interventies worden ontworpen die de interne "trust-circuits" (zoals de flow van PANL naar CC) beïnvloeden.
Neuroscience Parallel: De resultaten sluiten aan bij neurowetenschappelijke theorieën over "second-order" vertrouwen, waarbij vertrouwen een distincte berekening is die de beslissing evalueert, in plaats van een directe afgeleide van de beslissingsvariabele.

Kortom, het paper toont aan dat LLMs geavanceerde, geautomatiseerde zelf-evaluatiecapaciteiten hebben die intern worden gecodeerd en opgeslagen, wat een fundamenteel inzicht biedt in hoe deze modellen "weten wat ze weten".