🤖 machine learning

Reported Confidence in LLMs Tracks Commitment More Than Correctness

Dit artikel toont aan dat verbale betrouwbaarheidsrapportages in grote taalmodellen primair een interne staat van "commit-readiness" reflecteren die de beslissing om te antwoorden stuurt, in plaats van de werkelijke juistheid van het antwoord, waarmee ze fundamenteel verschillen van log-waarschijnlijkheden die bewijs voor het antwoord volgen.

Oorspronkelijke auteurs: Dharshan Kumaran

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dharshan Kumaran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, maar licht mysterieuze robotassistent vraagt om een raadsel op te lossen. Je vraagt: "Wat is de hoofdstad van Frankrijk?" De robot denkt even na en zegt: "Parijs." Daarna vraag je: "Hoe zeker ben je?"

De robot antwoordt: "Ik ben 100% zeker."

In de wereld van Kunstmatige Intelligentie (AI) gaan we er meestal van uit dat wanneer de robot zegt "100% zeker", dit betekent: "Ik heb mijn interne database gecontroleerd, en ik ben statistisch gezien ervan overtuigd dat dit antwoord correct is."

Echter, een nieuwe studie van Google DeepMind suggereert dat we de zekerheid van de robot verkeerd begrijpen. De onderzoekers ontdekten dat wanneer een AI zegt dat hij "zelfverzekerd" is, dit niet noodzakelijkerwijs betekent: "Mijn antwoord is juist." In plaats daarvan betekent het vaak: "Ik ben klaar om achter dit antwoord te staan, zelfs als het fout zou kunnen zijn."

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën.

De twee soorten "zelfvertrouwen"

De studie vergeleek twee verschillende manieren waarop de robot zijn eigen zekerheid meet:

"Wiskundig zelfvertrouwen" (Log-waarschijnlijkheid): Dit is als een rekenmachine. Het kijkt naar de ruwe getallen en kansen van de opties. Als de wiskunde zegt dat "Parijs" voor 99% waarschijnlijk het antwoord is, is de rekenmachine zelfverzekerd.
- De bevinding: Dit type zelfvertrouwen is een goede graadmeter voor waarheid. Als de wiskunde zegt dat het zelfverzekerd is, is het antwoord meestal juist. Als de wiskunde zegt dat het onzeker is, is het antwoord meestal onjuist.
"Verbaal zelfvertrouwen" (De woorden van de robot): Dit is wanneer je de robot rechtstreeks vraagt: "Hoe zelfverzekerd ben je?" en de robot antwoordt in woorden of op een schaal (zoals "Zeer zeker").
- De bevinding: Dit type zelfvertrouwen is een slechte graadmeter voor waarheid, maar een fantastische graadmeter voor toewijding (commitment). Wanneer de robot zegt: "Ik ben zeer zeker," betekent dit niet dat het antwoord definitief correct is. Het betekent dat de robot een besluit heeft genomen en bereid is zich aan dat antwoord te committeren.

Het "Commit of Quit"-spel

Om dit te testen, zetten de onderzoekers een tweefasig spel op, geïnspireerd door hoe wetenschappers besluitvorming bij dieren bestuderen:

Fase 1: De robot geeft een antwoord en een zelfvertrouwen-score (bijv. "Ik ben 90% zeker").
Fase 2: De robot krijgt zijn eigen antwoord te zien en krijgt de vraag: "Wil je committeren (dit antwoord aan een mens laten zien) of onthouden (zeggen 'ik weet het niet')?"

Het verrassende resultaat:
Het verbale zelfvertrouwen van de robot in Fase 1 was een veel betere voorspeller van wat hij in Fase 2 zou doen, dan dat het een voorspeller was of het antwoord daadwerkelijk juist was.

Als de robot zei: "Ik ben super zelfverzekerd," koos hij in Fase 2 bijna altijd voor committeren, zelfs als het antwoord feitelijk onjuist was.
Als de robot zei: "Ik ben niet zeker," koos hij in Fase 2 bijna altijd voor onthouden.

De analogie:
Stel je een gokker in een casino voor.

Wiskundig zelfvertrouwen is als de gokker die de kansen op een papiertje controleert. Als de kansen goed zijn, weet de gokker dat hij waarschijnlijk zal winnen.
Verbaal zelfvertrouwen is als de gokker die roept: "Ik ga all-in!" De studie vond dat de gokker die "Ik ga all-in!" roept, vaak slechts een signaal afgeeft dat hij bereid is te wedden, en geen garantie is dat hij een winnende hand heeft. Hij kan bluffen of gewoon gedurfd zijn. Het "Wiskundig zelfvertrouwen" (de kansen) is het enige dat je vertelt of hij daadwerkelijk zal winnen.

De "Commit-Readiness"-schakelaar

De onderzoekers groeven dieper in de "hersenen" van de robot (de interne code) om te zien wat er gebeurde. Ze ontdekten een specifief moment vlak nadat de robot een antwoord heeft gegeven, maar voordat hij wordt gevraagd te beslissen of hij wil committeren.

Op dit exacte moment is de interne staat van de robot georganiseerd rond de vraag: "Ben ik bereid om hierachter te staan?"

De robot heeft een "Commit/Abstain"-schakelaar die heel luid en duidelijk is in zijn brein.
De robot heeft een "Goed/Fout"-schakelaar die veel stiller en vager is.

Wanneer de robot een verbaal zelfvertrouwenrapport genereert, leest hij in essentie de luide "Commit"-schakelaar, en niet de stille "Goed/Fout"-schakelaar. Het is als een persoon die een sterke drang voelt om de mond open te doen; ze kunnen zich heel zelfverzekerd voelen bij het spreken, zelfs als wat ze zeggen feitelijk onjuist is.

Waarom dit belangrijk is

Lange tijd hebben mensen de verbale zelfverzekerdheid van een AI ("Ik weet het voor 95% zeker") beschouwd als een directe maatstaf voor nauwkeurigheid. We namen aan dat als de AI zegt dat hij zeker is, we het antwoord kunnen vertrouwen.

Dit artikel betoogt dat dit een fout is.

Verbaal zelfvertrouwen is een gedragssignaal. Het vertelt je: "Ik ben bereid om dit antwoord aan een mens te tonen."
Wiskundig zelfvertrouwen is een waarheidssignaal. Het vertelt je: "Dit antwoord is waarschijnlijk correct."

Als je op de woorden van de robot vertrouwt om te beslissen of een antwoord waar is, kun je misleid worden. De robot kan zeer enthousiast zijn om een fout antwoord te presenteren omdat zijn interne "commitment-schakelaar" omgezet is, zelfs terwijl de "waarheid-schakelaar" nog flikkert.

De kern

De studie concludeert dat we moeten stoppen met het behandelen van het verbale zelfvertrouwen van een AI als een simpele "waarheidsmeter". In plaats daarvan moeten we het begrijpen als een "commitment-meter". Het vertelt ons wanneer de AI bereid is om een standpunt in te nemen, maar het vertelt ons niet noodzakelijkerwijs of dat standpunt op stevige grond staat. Om te weten of het antwoord daadwerkelijk juist is, moeten we naar de onderliggende wiskunde kijken (de log-waarschijnlijkheden), en niet alleen naar de enthousiaste woorden van de robot.

Technische Samenvatting: Gerapporteerde Zekerheid in LLM's Volgt Betrokkenheid Meer dan Juistheid

Probleemstelling

Large Language Models (LLM's) moeten vaak hun zekerheid rapporteren over hun antwoorden om gebruikersvertrouwen en downstream besluitvorming (bijv. overleggen met mensen of onthouden) te sturen. Hoewel verbale zekerheid (VC) — expliciete zelfrapportage van zekerheid — wijdverbreid wordt gebruikt, vooral in black-box settings waar interne waarschijnlijkheden ontoegankelijk zijn, blijft het onduidelijk of deze rapportages fungeren als nauwkeurige schattingen van de juistheid van het antwoord of als signalen van een andere interne staat. De heersende aanname is dat zekerheid de waarschijnlijkheid van juistheid moet volgen; dit artikel daagt die aanname uit en stelt in plaats daarvan voor dat verbale zekerheid primair kan fungeren als een "commit-readiness" signaal (gereedheid tot toezegging), wat de gedragsmatige dispositie van het model aangeeft om achter een antwoord te staan, in plaats van de objectieve waarheid ervan.

Methodologie

De auteurs gebruikten een tweefasig onthoudingsparadigma, geïnspireerd door neurowetenschappelijke studies naar post-beslissingszekerheid bij knaagdieren en primaten, om de generatie van het antwoord te ontkoppelen van de beslissing om toe te zeggen.

Experimenteel Ontwerp:
- Fase 1 (Antwoord & Zekerheid): Modellen beantwoordden vragen (meerkeuze of vrije vorm) en rapporteerden in een aparte stap verbale zekerheid (Class-VC op een 10-klasse schaal of Num-VC op een 0–100 schaal). Cruciaal was dat deze fase plaatsvond zonder enige referentie naar een daaropvolgende onthoudingstaak.
- Fase 2 (Toezeggen/Onthouden): Modellen kregen hun Fase 1-antwoord te zien en moesten een binaire beslissing nemen: Toezeggen (het antwoord aan een gebruiker presenteren) of Onthouden (het antwoord "Ik weet het niet" geven).
- Vergelijkingssignaal: De studie vergeleek VC met Gecalibreerde Log-Waarschijnlijkheid (Cal-LP), een zekerheidssignaal afgeleid van de temperatuur-geschaalde softmax-distributie van antwoordtokens, wat dient als een proxy voor antwoord-bewijs.
Modellen en Benchmarks:
- Niet-redenerende Modellen: Gemma 3 (27B), Gemma 4 (31B, no-think mode), GPT-4o, en Qwen 3 (235B, no-think mode).
- Redenerende Modellen: Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B, en Qwen 3 (235B, think mode).
- Datasets: SimpleQA, MMLU-Pro, SuperGPQA-hard, en HLE (Humanities Last Exam), die variëren in moeilijkheidsgraad en formaten.
Analytische Benaderingen:
- Beslissing–Waarheid Kloof: Gedefinieerd als $\Delta_{DT} = \text{AUROC}_{\text{onthouding}} - \text{AUROC}_{\text{juistheid}}$ . Deze metriek kwantificeert of een signaal de toezeg/onthoud-beslissing beter voorspelt dan het de objectieve juistheid voorspelt.
- Residualisatie Analyse: Om te bepalen of de uitlijning van VC met gedrag reduceerbaar is tot de uitlijning met waarheid, hebben de auteurs VC geregreerd op Cal-LP (de best beschikbare proxy voor juistheid) en het residu geanalyseerd. Ze testten of het residuele VC onthouding of juistheid voorspelde.
- Mechanistische Analyse (Gemma 3 & 4): Lineaire probes werden getraind op post-antwoord (PA) residual-stream activaties om de juistheid en de toekomstige toezeg/onthoud-beslissing te decoderen.
- Causale Sturing (Causal Steering): In Gemma 4 construeerden de auteurs sturingsvectoren uit PA-activaties en injecteerden deze in de residual stream tijdens Fase 2 om te testen of het manipuleren van de "commit-readiness" staat de onthoudingsgedraging causaal veranderde.

Belangrijkste Resultaten

1. De Beslissing–Waarheid Kloof

Over vier niet-redenerende modellen en twee datasets vertoonde verbale zekerheid consistent een positieve beslissing–waarheid kloof, waarbij het de Fase 2 toezeg/onthoud-beslissing aanzienlijk beter voorspelde dan het de Fase 1 juistheid voorspelde.

VC Prestaties: Class-VC en Num-VC vertoonden mediane kloven van +0,13 en +0,20, respectievelijk. In bijna alle cellen voorspelde VC onthouding significant beter dan juistheid.
Cal-LP Prestaties: Cal-LP vertoonde bijna nul of negatieve kloven (mediaan +0,018), wat aangeeft dat het vermogen van Cal-LP om onthouding te voorspellen nauw gekoppeld was aan het vermogen om juistheid te voorspellen. Het vertoonde geen systematisch voordeel in het voorspellen van gedrag boven waarheid.

2. Variantie Decompositie en Residualisatie

Variantiestructuur: ANOVA-analyse toonde aan dat de variantie in VC werd gedomineerd door de latere toezeg/onthoud-beslissing (partiële $\eta^2 \approx 0,11–0,48$ ) in plaats van juistheid ( $\eta^2 \approx 0,00–0,05$ ). Daarentegen behield Cal-LP een sterkere juistheid-gerelateerde structuur.
Residu-Analyse: Wanneer de met Cal-LP gedeelde variantie in VC werd verwijderd, bleef de residuele VC een sterke voorspeller van onthouding (mediane AUROC = 0,64), maar verloor het zijn vermogen om juistheid te voorspellen (dalend naar bijna kansniveau, mediane AUROC = 0,49).
Interpretatie: Dit suggereert dat VC een uniek component bevat dat is uitgelijnd met toezeggingsgedrag en dat onafhankelijk is van het antwoord-bewijs signaal gevangen door Cal-LP. De omgekeerde analyse (het residualiseren van Cal-LP op VC) toonde aan dat Cal-LP gekoppeld bleef aan zowel waarheid als gedrag, wat consistent is met het feit dat het een primair antwoord-bewijs signaal is.

3. Generalisatie naar Redenerende Modellen

De beslissing–waarheid dissociatie generaliseerde naar vier redenerende modellen over vier benchmarks. Ondanks de complexiteit van de redeneertrajecten (reasoning traces), bleef VC een robuuste positieve kloof vertonen (mediaan +0,16), terwijl Cal-LP (waar beschikbaar) geen vergelijkbaar patroon vertoonde. In redenerende modellen was Cal-LP minder effectief in het onderscheiden van juistheid, waarschijnlijk omdat onzekerheid verspreid is over het redeneertraject in plaats van geconcentreerd bij het laatste token.

4. Mechanistisch Bewijs in Gemma 4

Interne Staat Codering: Lineaire probes op PA-activaties (voordat de onthoudingsprompt werd gegeven) konden de toekomstige toezeg/onthoud-beslissing met hoge nauwkeurigheid decoderen (AUROC $\approx$ 0,94), wat de decodering van juistheid (AUROC $\approx$ 0,66) ver overtrof.
Orthogonaliteit: De richting in de activatieruimte die de toezeg/onthoud-beslissing codeert, was ongeveer orthogonaal aan de richting die juistheid codeert.
Causale Controle: Sturing langs een VC-specifieke activatierichting (orthogonaal aan Cal-LP) op de PA-positie veranderde causaal het daaropvolgende onthoudingsgedrag van het model in Fase 2. Sturing met lage zekerheid verhoogde de onthoudingspercentages, wat bevestigt dat de interne staat onderliggend aan VC causaal opereert in toezeggingsbeslissingen.

Betekenis en Claims

Het artikel concludeert dat verbale zekerheid en log-waarschijnlijkheid zekerheid niet uitwisselbare onzekerheidsmaten zijn.

Aard van Verbale Zekerheid: VC moet niet worden begrepen als een ruisende schatting van juistheid, maar als een gedragsgericht readout van een interne "commit-readiness" staat. Het reflecteert de dispositie van het model om achter een antwoord te staan, een signaal dat slechts gedeeltelijk verankerd is aan de objectieve waarheid.
Aard van Cal-LP: Cal-LP gedraagt zich meer als een waarheid-bewijs signaal, waarbij de relevantie voor gedrag wordt geërfd uit het vermogen om juistheid te volgen.
Implicaties:
- Interpretatie: Gebruikers en downstream systemen moeten verbale zekerheid niet beschouwen als een directe proxy voor de waarschijnlijkheid van juistheid. Een model kan een hoge zekerheid uiten bij een onjuist antwoord als het gedragsmatig "klaar" is om eraan toe te zeggen.
- Training: Huidige trainingsdoelstellingen kunnen signalen belonen die lijken op zekerheid en die responsstijl en voorzichtigheid reguleren zonder ze strikt te verankeren aan juistheid. Toekomstig werk moet mogelijk de interne post-antwoord representatie targeten om zekerheid beter uit te lijnen met waarheid terwijl adaptieve gedragingen zoals onthouding behouden blijven.
- Metacognitie: De bevindingen suggereren dat de zekerheidsrapportages van LLM's vergelijkbaar kunnen functioneren met tweede-orde metacognitieve signalen bij mensen, geconstrueerd downstream van de initiële keuze en andere cues (bijv. vloeiendheid), in plaats van een directe readout van het bewijs dat de keuze dreef.

De auteurs benadrukken dat hoewel VC juistheid boven het kansniveau volgt, de disproportionele uitlijning met toezeggingsgedrag een fundamenteel kenmerk is van de interne organisatie, wat het onderscheidt van maatstaven afgeleid van optie-distributies.