💬 NLP

Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory

Dit artikel introduceert een evaluatiekader op basis van Type-2 Signaaldetectietheorie om te onderscheiden tussen de feitelijke kennis van LLM's en hun metacognitieve vermogen om die kennis te monitoren, waarbij wordt aangetoond dat modellen met vergelijkbare prestaties aanzienlijk kunnen verschillen in hun vermogen om te weten wat ze niet weten.

Oorspronkelijke auteurs: Jon-Paul Cacioli

Gepubliceerd 2026-03-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jon-Paul Cacioli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Weten LLM's wat ze weten? (Of doen ze maar alsof?)

Stel je voor dat je een zeer slimme, maar soms wat onzekere assistent hebt. Je stelt hem een vraag en hij geeft een antwoord. Maar hoe weet je of je dat antwoord kunt vertrouwen?

Meestal kijken ontwikkelaars naar twee dingen:

Hoe vaak heeft hij het goed? (Zijn kennis).
Hoe zeker klinkt hij? (Zijn zelfvertrouwen).

Deze nieuwe studie zegt: "Wacht even, we kijken naar het verkeerde ding."

Het probleem: De "Zekerheids-Bluff"

Stel je twee studenten voor die een examen doen:

Student A is een genie. Hij weet bijna alles. Maar hij is ook een beetje arrogant. Hij zegt bij elk antwoord: "Ik ben 90% zeker!" Of het nu een makkelijk of een moeilijk vraag is. Als hij het 90% van de tijd goed heeft, lijkt hij perfect "gekalibreerd". Maar zijn zekerheid zegt je niets over welke antwoorden je kunt vertrouwen.
Student B is iets minder slim. Hij heeft 80% van de vragen goed. Maar hij is heel goed in het inschatten van zijn eigen kennis. Bij een makkelijk vraag zegt hij: "Ik ben 95% zeker!" Bij een lastig vraag zegt hij: "Ik ben maar 60% zeker."

De oude manier van testen (zoals de "ECE-metriek" in de paper) zou Student A de prijs geven, omdat zijn gemiddelde zekerheid perfect overeenkomt met zijn gemiddelde score. Maar voor jou als gebruiker is Student B veel waardevoller! Hij vertelt je precies wanneer hij twijfelt.

De nieuwe manier: Een "Spiegel" voor het zelfvertrouwen

De auteurs van dit paper gebruiken een oude psychologische methode (Signal Detection Theory) om te kijken of een AI-model weet wat het weet.

Ze gebruiken een metafoor van een spiegel:

Type-1 (De kennis): Hoe goed ziet de AI het beeld? (Kan hij het verschil zien tussen een kat en een hond?)
Type-2 (De spiegel): Hoe goed ziet de AI dat hij het beeld goed ziet? (Zegt hij: "Ik zie een kat, en ik weet dat ik dat goed zie"?)

Ze meten dit met een nieuwe score, de M-ratio.

M = 1: De spiegel is perfect. Het model weet precies wat het weet.
M < 1: De spiegel is wazig. Het model heeft de kennis, maar zijn zelfvertrouwen is een leugen of een willekeurige gok.
M > 1: De spiegel is te scherp (zeldzaam).

Wat hebben ze ontdekt? (De verrassingen)

Ze hebben vier populaire AI-modellen getest op 224.000 vragen. Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse taal:

1. De "Slimste" is niet altijd de "Zekerste"
Een van de modellen (Mistral) was de allerbeste in het beantwoorden van vragen (hij had de hoogste kennis). Maar hij had de slechtste spiegel. Hij wist niet goed wanneer hij het fout had.
Een ander model (Gemma) was iets minder goed in feiten, maar had een perfecte spiegel. Hij wist precies wanneer hij twijfelde.

Les: Als je een AI wilt gebruiken die moet beslissen of hij iets mag zeggen of niet, kies dan voor de "spiegel", niet voor de "slimste".

2. Het hangt af van het onderwerp
Sommige modellen zijn goede "spiegels" over geschiedenis, maar slechte spiegels over wetenschap. Andere zijn juist het omgekeerde.

Les: Als je een AI gebruikt voor medische vragen, moet je kijken of hij daar goed in is, niet alleen of hij over het algemeen slim is. Een gemiddelde score bedekt deze gevaren.

3. Temperatuur is een "stemmingswisseling", geen "slimheidswisseling"
AI-modellen hebben een instelling genaamd "temperatuur" (hoe creatief of willekeurig ze zijn).
De studie toont aan dat je de temperatuur kunt veranderen om het model zekerder of onzekerder te laten klinken (alsof je de stem van de assistent verandert), maar dat dit zijn vermogen om zijn eigen fouten te zien niet verbetert.

Les: Je kunt een onzeker model niet "zekerder" maken door de temperatuur te draaien. Je moet het model zelf verbeteren.

4. De ranglijst is volledig omgekeerd
Als je modellen rangschikt op basis van hun "zekerheid" (zoals de oude methodes doen), krijg je de exact tegenovergestelde lijst dan wanneer je kijkt naar hun "spiegel-vermogen" (de nieuwe M-ratio).

Les: De huidige manier van testen leidt je misschien naar het verkeerde model voor jouw specifieke taak.

Waarom is dit belangrijk voor jou?

Stel je voor dat je een AI gebruikt om belangrijke beslissingen te nemen (bijvoorbeeld: "Is deze e-mail een spam?" of "Is dit medicijn veilig?").

Als je een model kiest dat hoog scoort op kennis maar laag op zelfkennis, zal het vol vertrouwen fouten maken.
Als je een model kiest dat hoog scoort op zelfkennis, zal het zeggen: "Ik denk dat dit goed is, maar ik ben niet 100% zeker, check het nog even."

Deze studie zegt: Stop met kijken naar hoe zeker een AI lijkt. Begin te kijken naar hoe goed hij zijn eigen onzekerheid kan meten. Dat is de echte sleutel tot een veilige en betrouwbare AI.

Kortom: Een slimme AI die niet weet dat hij het fout heeft, is gevaarlijker dan een minder slimme AI die eerlijk zegt: "Ik weet het niet."

1. Het Probleem: De Beperkingen van Bestaande Evaluatiemetrics

Huidige evaluaties van het vertrouwen (confidence) van Large Language Models (LLMs) vertrouwen voornamelijk op kalibratiemetrics zoals de Expected Calibration Error (ECE) en de Brier-score. Het artikel stelt dat deze metrics fundamenteel tekortschieten omdat ze twee verschillende capaciteiten verwarren:

Type-1 sensitiviteit: Hoe goed het model correcte antwoorden onderscheidt van incorrecte antwoorden (de feitelijke prestatie).
Type-2 metacognitieve sensitiviteit: Hoe goed het model zijn eigen prestatie monitort via zijn vertrouwenssignaal (het "weten wat het weet").

Het kernprobleem: Een model kan perfect gekalibreerd zijn (bijvoorbeeld altijd 90% vertrouwen geven en 90% correct zijn), maar dit vertrouwen bevat dan geen informatie over welke specifieke antwoorden juist zijn. ECE straalt dit model beloning uit, terwijl een model dat wel onderscheid maakt tussen zeker en onzeker (maar minder gekalibreerd is) voor praktische toepassingen veel waardevoller is. Bestaande metrics zoals AUROC meten de rangschikking, maar verwarren nog steeds de kwaliteit van de prestatie met de kwaliteit van de monitoring.

2. Methodologie: Type-2 Signaal Detectie Theorie (SDT)

De auteur introduceert een evaluatiekader gebaseerd op Type-2 Signal Detection Theory (SDT), een psychofysisch raamwerk dat decennia lang is gebruikt om menselijke metacognitie te bestuderen.

De Metriek: De kern van de methode is de metacognitive efficiency ratio (M-ratio), gedefinieerd als $M = \text{meta-}d' / d'$ $M = meta- d^{'} / d^{'}$ .
- $d'$ (Type-1 sensitiviteit): Meet hoe goed de normalised log-probability (NLP) correcte van incorrecte antwoorden scheidt.
- $\text{meta-}d'$ : De theoretische $d'$ die een ideaal observer zou nodig hebben om het waargenomen patroon van vertrouwen te produceren.
- Interpretatie: Een $M$ -ratio van 1 betekent optimale metacognitie (het vertrouwen signaal bevat alle beschikbare informatie). $M < 1$ duidt op metacognitief verlies (het vertrouwen is minder informatief dan de onderliggende bewijslast zou toelaten). $M > 1$ suggereert dat het vertrouwen extra informatie benut.
Data en Experiment:
- Modellen: Vier LLM's (Llama-3-8B-Instruct, Llama-3-8B-Base, Mistral-7B-Instruct-v0.3, Gemma-2-9B-Instruct).
- Dataset: 224.000 trials over twee feitelijke QA-datasets (TriviaQA en Natural Questions), verdeeld over verschillende kennisdomeinen (Geschiedenis, Kunst, Geografie, Wetenschap).
- Variabelen: De experimenten werden uitgevoerd bij zeven verschillende temperaturen ( $T \in \{0.1, \dots, 2.0\}$ ).
- Vertrouwenssignaal: In plaats van verbale schattingen (die vaak discretiseringsartefacten vertonen), wordt de normalised log-probability (NLP) van de gegenereerde tokens gebruikt als een continue vertrouwensvariabele.
Validatie: De auteurs verifiëren dat NLP monotoon correleert met nauwkeurigheid, wat het valideert als een bewijsvariabele voor SDT-analyse.

3. Belangrijkste Bijdragen

Nieuw Evaluatiekader: Introductie van $\text{meta-}d'$ en de M-ratio als standaard voor het evalueren van LLM-vertrouwen, wat structuren blootlegt die onzichtbaar zijn voor ECE, Brier-score en AUROC.
Domein-specifieke Inzicht: Het aantonen dat metacognitieve efficiëntie per domein verschilt, wat door geaggregeerde metrics wordt gemaskeerd.
Dissociatie van Strategie en Capaciteit: Het bewijzen dat temperatuurmanipulatie de Type-2 criterium (vertrouwensbeleid) kan verschuiven zonder de onderliggende metacognitieve capaciteit ( $\text{meta-}d'$ ) te beïnvloeden bij bepaalde modellen.
Inversie van Rankings: Het aantonen dat modellen die hoog scoren op traditionele metrics (zoals AUROC2) laag kunnen scoren op metacognitieve efficiëntie, wat leidt tot tegenstrijdige aanbevelingen voor modelselectie.

4. Resultaten

De analyse van 224.000 trials leverde vier cruciale bevindingen op:

Variatie in Efficiëntie: Er is een sterke dissociatie tussen Type-1 prestatie en Type-2 monitoring.
- Mistral-7B had de hoogste Type-1 sensitiviteit ( $d'$ ), maar de laagste M-ratio (0.852). Het is de beste feitelijke discriminator, maar de slechtste metacognitieve monitor.
- Gemma-2 had de laagste $d'$ , maar een optimale M-ratio (1.048).
- Dit betekent dat Mistral's vertrouwen minder informatief is dan zijn feitelijke kennis zou toelaten, terwijl Gemma's vertrouwen zeer efficiënt is.
Inversie van Rankings: De rangschikking van modellen gebaseerd op AUROC2 (een maat voor rangschikking) was volledig omgekeerd ten opzichte van de rangschikking op basis van de M-ratio. Voor toepassingen die vertrouwen gebruiken voor selectieve voorspelling (bijv. "abstain" bij laag vertrouwen) zou de keuze van het model volledig anders uitvallen.
Domein-specifieke Blinde Vlekken: Verschillende modellen hadden hun zwakste prestaties in verschillende domeinen. Bijvoorbeeld, Mistral was het minst efficiënt in "Kunst & Literatuur", terwijl Llama-3 en Gemma-2 het slechtst scoorden in "Wetenschap & Technologie". Aggregate metrics verbergen deze specifieke kwetsbaarheden.
Temperatuur en Dissociatie: Bij Mistral en Gemma bleek dat het veranderen van de temperatuur de Type-2 criterium (hoe "hoog" of "laag" het model vertrouwen geeft) verschuift, terwijl de $\text{meta-}d'$ (de intrinsieke kwaliteit van het monitoringssignaal) stabiel blijft. Dit toont aan dat vertrouwen en metacognitieve capaciteit onafhankelijk instelbare parameters zijn. Bij Llama-3-Base was deze dissociatie niet aanwezig.

5. Significantie en Implicaties

De bevindingen hebben directe gevolgen voor de selectie en implementatie van LLM's:

Modelselectie: Voor systemen die vertrouwen gebruiken om beslissingen te nemen (bijvoorbeeld: een model mag een antwoord geven of "ik weet het niet" zeggen), is een hoge M-ratio belangrijker dan een lage ECE of hoge AUROC. Een model met hoge nauwkeurigheid maar lage metacognitieve efficiëntie (zoals Mistral in dit onderzoek) zal in een selectief systeem slechter presteren dan een model met iets lagere nauwkeurigheid maar hogere efficiëntie.
Kalibratie vs. Capaciteit: Het artikel onderscheidt tussen een model dat "slecht kalibreert" (bias) en een model dat "slecht monitort" (geen informatie in het vertrouwen). Temperatuur tuning kan bias corrigeren, maar lost geen fundamenteel gebrek aan metacognitieve capaciteit op.
Toekomstige Evaluatie: De auteurs bevelen aan om $\text{meta-}d'$ en M-ratio te rapporteren naast ECE. Evaluaties moeten gedesaggregeerd worden per domein om specifieke blindvlekken te detecteren.

Conclusie:
Het artikel concludeert dat vertrouwen in LLM's niet monolithisch is. De Type-2 SDT-decompositie onthult dat modellen die ogenschijnlijk goed presteren, fundamenteel verschillende vermogens hebben om te weten wat ze weten. De M-ratio biedt een robuustere maatstaf voor de bruikbaarheid van vertrouwen in mens-AI samenwerking en veilige implementatie dan traditionele kalibratiemetrics.