💻 computer science

Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

Deze studie onthult dat oververzekerdheid in grote taalmodellen wordt veroorzaakt door identificeerbare interne circuits in de midden- tot late lagen, die gericht kunnen worden ingrijpen om de betrouwbaarheid van de output te verbeteren.

Oorspronkelijke auteurs: Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Waarom AI's zo zeker zijn van hun onzin: Een kijkje in de machine

Stel je voor dat je een zeer slimme, maar soms wat overdreven zelfverzekerde assistent hebt. Als je hem vraagt: "Wie was de eerste president van de Verenigde Staten?", zegt hij: "George Washington, en ik ben 100% zeker." Perfect. Maar als je vraagt: "Wat is de hoofdstad van Australië?", zegt hij: "Sydney, en ik ben ook 100% zeker."

Het probleem? Sydney is niet de hoofdstad (dat is Canberra), maar de assistent geeft geen enkel teken van twijfel. Hij is niet alleen fout, hij is zeker fout. Dit fenomeen noemen de auteurs van dit paper "oververtrouwen".

In dit onderzoek kijken de wetenschappers niet alleen naar wat de assistent zegt, maar ze duiken diep in zijn "hersenen" (de interne circuits van de AI) om te begrijpen waarom hij zo zeker is van zijn onzin, en of we dit kunnen repareren.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Zekerheids-Geest"

Normaal gesproken denken we dat als een AI een fout maakt, hij misschien een beetje onzeker zou moeten zijn. Maar deze modellen doen het tegenovergestelde. Ze schrijven een antwoord op en zeggen dan: "Ik ben 85% zeker dat dit klopt," terwijl het antwoord helemaal verkeerd is.

De onderzoekers wilden weten: Waar in de computer zit die knop die zegt: "Zeg maar dat je zeker bent, ook al weet je het niet"?

2. De methode: Een "Tijdmachine" voor antwoorden

Om dit te vinden, deden ze een slim trucje. Ze gaven de AI een vraag met een verkeerd antwoord (bijvoorbeeld: "De hoofdstad is Sydney"). Vervolgens gaven ze de AI dezelfde vraag, maar met het juiste antwoord (bijvoorbeeld: "De hoofdstad is Canberra").

Ze keken dan naar het verschil in de "hersenspanning" van de AI tussen deze twee situaties.

Vergelijking: Stel je voor dat je een auto hebt die een verkeerde route neemt. Je kijkt naar de GPS, en dan verander je de bestemming naar de juiste plek. Je kijkt welke knoppen in het dashboard nu anders gaan branden. Die knoppen zijn de "schuldigen" die de verkeerde zekerheid veroorzaken.

3. De ontdekking: Een klein, krachtig team

Ze ontdekten dat het niet de hele computer is die dit doet. Het is een heel klein, specifiek team van onderdelen (ze noemen dit "circuits") die zich bevinden in het midden tot einde van de AI's denkproces.

De Analogie: Stel je een fabriek voor waar auto's worden gebouwd. De meeste machines doen het werk, maar er is een klein, geheim team van drie monteurs vlak voor de auto de fabriek verlaat. Dit team heeft de gewoonte om op alle auto's, zelfs de kapotte, een sticker te plakken met "PERFECTE Kwaliteit".
Het onderzoek toonde aan dat als je deze specifieke monteurs (deze kleine groep neurale netwerken) uitschakelt of hun gedrag aanpast, de AI plotseling veel eerlijker wordt. Ze zeggen dan: "Nou ja, ik weet het niet zeker," of ze geven een lager zekerheidspercentage als ze fout zijn.

4. De oplossing: De "Zekerheids-regelaar"

De onderzoekers probeerden twee dingen om dit team te corrigeren:

De "Demp-knop" (Mean Ablation): Ze gaven de commando's van die specifieke monteurs gewoon een standaard, saai signaal. Dit werkte, maar het was soms te agressief. Het was alsof je de monteurs dwingt om te zwijgen; soms zeggen ze dan helemaal niets meer, ook niet als ze het wel weten.
De "Stuurknop" (Activation Steering): Dit was de winnaar. In plaats van de monteurs te dwingen te zwijgen, gaven ze ze een zachte duw in de goede richting.
- Vergelijking: Stel je voor dat de monteur een auto naar rechts duwt (naar "Zeker"). De onderzoekers gaven hem een zachte duw naar links (naar "Twijfel"). Ze deden dit niet met volle kracht, maar met precies de juiste hoeveelheid kracht (een "stuurknop").
- Resultaat: De AI werd veel realistischer. Als hij het niet wist, gaf hij een lager zekerheidspercentage. Als hij het wist, bleef hij zeker. De "calibratie" (de match tussen zekerheid en juistheid) verbeterde enorm.

5. Waarom is dit belangrijk?

Vroeger dachten mensen: "Oh, de AI is gewoon een beetje onzeker, laten we na het antwoord een beetje corrigeren." Maar dit paper laat zien dat het probleem dieper zit. Het is ingebouwd in de structuur van de AI zelf.

Het is alsof je een auto probeert te repareren door alleen de achteruitkijkspiegel te vervangen, terwijl het probleem in de motor zit. Dit onderzoek laat zien waar de motor zit en hoe je hem kunt afstellen.

Kort samengevat:
AI's zijn vaak overdreven zelfverzekerd omdat een klein, vast team van interne onderdelen hen dwingt om "zeker" te klinken, zelfs als ze fout zijn. Door deze specifieke onderdelen een zachte duw te geven tijdens het denken, kunnen we de AI veel eerlijker maken zonder haar intelligentie te verliezen. Het is een stap in de richting van AI's die niet alleen slim zijn, maar ook weten wanneer ze het niet weten.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen vaak het fenomeen van "verzekerd fout zijn": ze produceren feitelijke onjuiste antwoorden gepaard met een onterecht hoge mondelinge zekerheid (verbalized confidence). Hoewel eerdere studies hebben aangetoond dat LLMs hun onzekerheid kunnen uitspreken, is deze uitgesproken zekerheid slecht gekalibreerd ten opzichte van feitelijke juistheid. Dit leidt tot misleiding van gebruikers en ondermijnt de betrouwbaarheid van zekerheidsscores als signaal voor onzekerheid. Het fundamentele probleem dat dit paper adresseert, is dat de interne mechanismen die deze opgeblazen zekerheid veroorzaken, onbekend blijven. Bestaande oplossingen focussen vaak op post-hoc correctie van de output, zonder in te gaan op de oorzakelijke interne circuits.

Methodologie

De auteurs hanteren een mechanistische interpretabiliteitsbenadering om de interne circuits te lokaliseren die verantwoordelijk zijn voor deze oververzekerdheid. De methode bestaat uit drie hoofdfasen:

Definiëren van een interne proxy (Target Set Logit Difference - TSLD):
Omdat mondelinge zekerheid wordt uitgedrukt als een getal (0-99) en niet als een enkel "gouden token", introduceren de auteurs de TSLD. Dit is een differentieerbare metriek die het gemiddelde logit-gat berekent tussen een vooraf gedefinieerde set van hoge zekerheid (bijv. 70-99) en lage zekerheid (bijv. 0-30) op de positie van het laatste token. TSLD fungeert als een stabiele, interne proxy voor de neiging van het model om hoge zekerheid te tonen.
Causale isolatie via Truth-Injection Counterfactual Design:
Om de oorzaak van oververzekerdheid te isoleren, construeren de auteurs "schone" en "corrupte" prompt-paren.
- Schone prompt: Het model geeft een fout antwoord en rapporteert daarop hoge zekerheid.
- Corrupte prompt: Het fout antwoord wordt vervangen door het feitelijke juiste antwoord (ground truth), terwijl alle andere tokens identiek blijven.
  Door het verschil in TSLD ( $\Delta$ TSLD) tussen deze twee scenario's te analyseren, kunnen ze records selecteren waarbij het invoeren van de waarheid de oververzekerdheid onderdrukt. Dit creëert een dataset (Bucket 1) die specifiek de mechanismen van "verzekerd fout zijn" belicht.
Circuit Discovery en Validatie (EAP-IG):
De auteurs gebruiken Edge Attribution Patching met Integrated Gradients (EAP-IG) om de interne circuits te vinden die causaal verantwoordelijk zijn voor het $\Delta$ TSLD-signaal. Ze analyseren de bijdrage van individuele MLP-blokken en attention-heads.
- Validatie: Ze testen de gevonden circuits op Faithfulness (kan het subcircuit alleen het gedrag reproduceren?) en Completeness (verdwijnt het signaal als het circuit wordt verwijderd?).
- Interventie: Ze testen twee interventiestrategieën op de geïdentificeerde top-componenten tijdens de inferentie:
  - Mean Ablation: Het vervangen van de activatie door een gemiddelde waarde afgeleid van corrupte prompts.
  - Activation Steering: Het verschuiven van de activatie in de tegenovergestelde richting van de oververzekerdheid (met een schalingsfactor $\alpha$ ).

Belangrijkste Resultaten

Lokalisatie van de "Confidence Mover Circuits" (CMC):
De analyse toont aan dat een compacte set van interne componenten, voornamelijk geconcentreerd in de middelste tot late lagen van het model, de oververzekerdheid schrijft op de positie van het laatste token.
- Bij Qwen2.5-3B is de circuit sterk gedomineerd door MLP-lagen (bijv. lagen 24-35).
- Bij Llama-3.2-3B is er een mix van attention-heads en MLP-blokken in de middelste lagen, hoewel vroege lagen voornamelijk als relais fungeren en geen causale bottlenecks zijn.
- Deze circuits zijn hoogst geconserveerd over verschillende datasets (PopQA, MMLU, NQOpen), wat suggereert dat het een stabiel, model-internal mechanisme is en geen artefact van een specifieke taak.
Causale Validatie:
- Faithfulness: Het behouden van slechts de top-3.000 randen (minder dan 0,6% van het totale netwerk) is voldoende om meer dan 85% van het oververzekerdheidsgedrag te reproduceren.
- Necessity: Het verwijderen van deze circuits elimineert 74-79% van de oorspronkelijke TSLD, wat bewijst dat ze causaal noodzakelijk zijn voor het fenomeen.
Verbetering van Kalibratie door Interventie:
Het toepassen van interventies op deze kleine set componenten leidt tot aanzienlijke verbeteringen in de kalibratie:
- Activation Steering bleek superieur aan Mean Ablation omdat het een continue regeling biedt ( $\alpha$ ) en instance-specifieke signalen behoudt.
- Op de PopQA-dataset resulteerde de beste interventie in een reductie van de Expected Calibration Error (ECE) met 78% tot 97% voor Qwen en Llama.
- De betrouwbaarheidscurves (reliability curves) kwamen na interventie veel dichter bij de ideale diagonaal, wat aangeeft dat de uitgesproken zekerheid beter overeenkomt met feitelijke juistheid.

Bijdragen en Significantie

Mechanistisch Inzicht: Het paper is de eerste die de interne circuits identificeert die specifiek verantwoordelijk zijn voor verzekerd fout zijn, in plaats van alleen de output te corrigeren. Het onthult dat oververzekerdheid wordt gedreven door een compact, stabiel subcircuit dat losstaat van de feitelijke redeneringspaden.
Actievere Interventie: Het demonstreert dat gerichte ingrepen op een zeer klein aantal neurale componenten (top-10) tijdens de inferentie voldoende zijn om de kalibratie drastisch te verbeteren. Dit biedt een alternatief voor kostbare post-hoc kalibratiemethoden of het hertrainen van het model.
Theoretische Implicatie: De bevindingen suggereren een fundamentele misalignement in het model: terwijl het model onzekerheid correct encodeert in zijn redeneringspaden, faalt het circuit voor het verwoorden van zekerheid om dit signaal eerlijk door te geven. In plaats daarvan wordt het gevormd door een "zekerheid-schrijfmachine" die een standaardbias naar hoge zekerheid imposeert, mogelijk versterkt door post-training (RLHF).

Conclusie:
De auteurs concluderen dat oververzekerdheid in LLMs geen willekeurige fout is, maar het resultaat van identificeerbare interne circuits. Door mechanistisch inzicht te combineren met gerichte inferentie-interventies, kan deze bias effectief worden tegengegaan, wat LLMs veiliger en betrouwbaarder maakt voor toepassingen met hoge risico's.