💬 NLP

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

Dit onderzoek toont aan dat instructie-getunede taalmodellen in de categorie 3-9B parameters onbetrouwbare verbale betrouwbaarheidsscores geven, waarbij hun uitgesproken zelfvertrouwen niet correleert met hun werkelijke nauwkeurigheid.

Oorspronkelijke auteurs: Jon-Paul Cacioli

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jon-Paul Cacioli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Zelfverzekerde Leugenaar": Waarom we kleine AI-modellen niet zomaar moeten geloven

Stel je voor dat je een vriend hebt die een quiz speelt. Elke keer als hij een antwoord geeft, roept hij direct: "Ik weet het 100% zeker!" Of hij nu het juiste antwoord geeft of een totale onzin uitkraamt, hij schreeuwt altijd dat hij het zeker weet.

In het begin denk je misschien: "Wat een zelfvertrouwen!" Maar na tien vragen besef je: die score van "100% zekerheid" zegt helemaal niets over hoe goed hij het echt weet. Het is gewoon een kapotte meter.

Dit is precies wat de onderzoeker Jon-Paul Cacioli heeft ontdekt bij een heleboel populaire, kleinere AI-modellen (de zogenaamde 'open-weight' modellen van 3 tot 9 miljard parameters).

Wat is het probleem? (De kapotte thermometer)

Wanneer we AI gebruiken, willen we vaak weten hoe zeker het model van zijn zaak is. We vragen bijvoorbeeld: "Geef je antwoord en zeg daarna hoe zeker je bent op een schaal van 0 tot 100."

Het idee is dat een slimme AI bij een moeilijk antwoord een laag cijfer geeft (bijv. 20%) en bij een makkelijk antwoord een hoog cijfer (bijv. 95%). Zo kunnen we de AI vertrouwen.

Maar de onderzoeker ontdekte dat deze modellen last hebben van "Verbal Confidence Saturation" (Verbaal Zelfvertrouwen-verzadiging). In gewone mensentaal: de meter zit vast aan het plafond.

De meeste modellen die hij testte, gaven bijna altijd een score van 95% of hoger, ongeacht of het antwoord klopte of niet. Het is alsof je een thermometer hebt die alleen maar "40 graden" aangeeft, of het nu vriest of dat de zon schijnt. De thermometer is nutteloos geworden.

De drie belangrijkste ontdekkingen:

De "Ik-weet-het-altijd-zeker"-modus: Bijna alle geteste modellen waren "ongeldig". Ze waren zo overmoedig dat hun cijfer voor zelfvertrouwen geen enkel onderscheid meer maakte tussen een slim antwoord en een dom antwoord.
De verwarrende keuzelijst: De onderzoeker probeerde het anders aan te pakken door de AI een lijstje met opties te geven (bijv. "zeer onzeker", "misschien", "zeer zeker"). Maar dit werkte zelfs nog slechter! De AI raakte zo in de war door de extra instructies dat hij plotseling de quizvragen zelf niet meer wist te beantwoorden. Het was alsof je iemand vraagt naar de tijd, maar tegelijkertijd een ingewikkelde handleiding over klokken in zijn gezicht duwt; de persoon vergeet waar hij het over had.
Langer nadenken = minder zelfvertrouwen: Bij de modellen die een "denkproces" hebben (zoals DeepSeek), zag hij een interessant patroon: hoe langer het model moest nadenken (hoe meer tekst het schreef om tot een antwoord te komen), hoe lager het zelfvertrouwen was. Dat is logisch: als je lang moet nadenken, twijfel je waarschijnlijk meer.

Waarom is dit belangrijk?

Dit onderzoek is een waarschuwing. We gebruiken AI steeds vaker voor belangrijke taken, zoals medisch advies of juridische vragen. Als we die AI vragen: "Weet je het zeker?", en we vertrouwen op dat antwoord om te beslissen of we het advies opvolgen, dan maken we een grote fout.

De AI zegt misschien wel "100% zeker", maar dat is geen teken van kennis; het is gewoon een programmeerfoutje in hoe de AI met taal omgaat.

De moraal van het verhaal: Voordat je een AI-model gebruikt om te bepalen of een antwoord betrouwbaar is, moet je eerst testen of de "zelfvertrouwen-meter" van dat model überhaupt wel werkt. En bij de kleine modellen die we nu veel gebruiken, is die meter momenteel helaas kapot.

Technische Samenvatting: Verzadiging van Verbale Zelfverzekerdheid in Open-Weight LLM's (3–9B)

Het Probleem: Het "Readout"-probleem

In de praktijk wordt vaak gevraagd aan Large Language Models (LLM's) om hun eigen onzekerheid te schatten via "verbale zelfverzekerdheid" (bijv. "Ik ben 80% zeker"). De aanname is dat dit getal een interne representatie van de waarheid weerspiegelt. Het probleem is echter dat deze verbale output niet noodzakelijkerwijs de interne staat van het model accuraat weergeeft. Dit onderzoek onderzoekt of de verbale signalen van kleinere open-weight modellen (3–9B parameters) überhaupt bruikbaar zijn voor het onderscheiden van correcte van incorrecte antwoorden (Type-2 discriminatie), of dat het signaal "verzadigd" is (overal hetzelfde aangeeft).

Methodologie

De onderzoeker voerde een vooraf geregistreerde psychometrische validiteitstest uit met een strikt protocol:

Modellen: Zeven instructie-getunede modellen uit vier verschillende families (waaronder Llama 3, Mistral, Qwen 2.5 en Gemma 2) met een omvang van 3 tot 9 miljard parameters.
Dataset: 524 items uit TriviaQA, wat resulteerde in 8.384 deterministische trials (via greedy decoding).
Elicitatie-condities:
1. Numeriek (NUM): Het model geeft een percentage (0–100) aan.
2. Categorisch (CAT): Het model kiest een klasse uit een 10-delige ordinale schaal.
Validiteitsscreening: In plaats van direct naar de kalibratie te kijken, werd een psychometrisch protocol toegepast om te bepalen of het signaal überhaupt valide is. Een signaal werd als Invalid geclassificeerd als het te weinig variatie vertoonde (degeneratie) of als het niet in staat was om fouten te detecteren (bijv. als het model bij bijna alle fouten toch een hoge score gaf).

Belangrijkste Resultaten

De resultaten bevestigen dat de verbale zelfverzekerdheid in dit modelbereik grotendeels onbruikbaar is:

Verzadiging (H1 & H2 bevestigd): Bij numerieke elicitatie vertoonden alle zeven modellen een extreem hoge "ceiling rate". Gemiddeld gaf 91,7% van de modellen een zelfverzekerdheid van $\geq$ 95%, ongeacht of het antwoord correct was. Alle modellen werden geclassificeerd als Invalid.
Categorische elicitatie biedt geen oplossing (H4 niet bevestigd): Het overstappen naar een categorische schaal loste het probleem niet op. Sterker nog, bij de meeste modellen leidde dit tot een "task-performance collapse": de nauwkeurigheid van de feitelijke antwoorden stortte in (soms tot onder de 5%) wanneer ze werden gevraagd hun vertrouwen te categoriseren.
Onafhankelijkheid van Log-probabilities (H5 bevestigd): De interne waarschijnlijkheid van de tokens (logprobs) kon de verbale zelfverzekerdheid niet voorspellen ( $R^2 < 0.01$ ). Dit betekent dat de verbale output een losgekoppeld fenomeen is van de interne statistische zekerheid.
Reasoning Contamination Effect: Bij het reasoning-model (DeepSeek-R1-Distill) werd een sterke negatieve correlatie gevonden tussen de lengte van het redeneerproces en de zelfverzekerdheid. Langere redeneringen correleerden met lagere zelfverzekerdheid, wat consistent is met de complexiteit van moeilijke vragen.

Belangrijkste Bijdragen en Significantie

Validiteit vs. Kalibratie: De belangrijkste theoretische bijdrage is het onderscheid tussen kalibratie (hoe nauwkeurig het getal is) en validiteit (of het signaal überhaupt variatie bevat die bruikbaar is). Het onderzoek stelt dat een verzadigd signaal niet "gekalibreerd" kan worden; de informatie is simpelweg verloren gegaan bij de output.
Waarschuwing voor Deployment: Het onderzoek dient als een kritische waarschuwing voor ontwikkelaars die kleine LLM's gebruiken voor besluitvorming, veiligheid of routing op basis van verbale onzekerheid. In het huidige regime van 3–9B modellen is dit signaal "degeneratie" en dus onbetrouwbaar.
Methodologische Standaard: Het introduceert een psychometrische screening als noodzakelijke eerste stap voordat men probeert onzekerheidsschattingen uit taalmodellen te gebruiken.

Conclusie: De verbale zelfverzekerdheid van kleine instructie-modellen is een "gebroken interface": de interne kennis over onzekerheid is er wel, maar het model slaagt er niet in deze informatie via de standaard verbale weg naar de gebruiker te communiceren.