Technische Samenvatting: De Metacognitieve Probe

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) (bijv. MMLU, BIG-Bench, HELM, GPQA) meten voornamelijk of een model een correcte reactie op een prompt produceert. Ze blijven stil over een kritieke vraag voor de implementatie: weet het model wanneer zijn reactie fout is?

Hoewel er geaggregeerde kalibratiemetrics bestaan, kunnen deze "zakken" van systematische oververtrouwen maskeren, waarbij een model zeer zeker is van onjuiste antwoorden. Het artikel betoogt dat een model hoog kan scoren op samengestelde benchmarks terwijl het faalt om vertrouwen te moduleren op basis van taakmoeilijkheid of juistheid. Dit faaltype vormt risico's voor veiligheidssystemen die vertrouwen als poort gebruiken (bijv. escalatieprotocollen). De auteurs stellen voor dat "metacognitie" in deze context moet worden behandeld als een gedragsmatige alignatie tussen gerapporteerd vertrouwen en externe juistheid, in plaats van als een meting van een interne staat.

Methodologie

Het artikel introduceert De Metacognitieve Probe, een verkennend, vijfdelig diagnostisch instrument dat is ontworpen om LLM-vertrouwensgedrag te ontleden in vijf distincte dimensies. De studie evalueert een panel van $N=8$ toonaangevende modellen (waaronder Claude Opus/Sonnet 4.6, Gemini 2.5 Pro/Flash, GLM-5, DeepSeek-R1, Qwen 3 Next 80B en Gemma 3 27B) en een kalibratiepanel van $N=69$ mensen.

De Vijf Diagnostische Taken

Het instrument operationaliseert vertrouwensgedrag via de volgende taken, gescoord op een schaal van 0–100:

1. T1-CC (Vertrouwenskalibratie): Meet monitoring binnen de taak. Het model beantwoordt 24 items met een vertrouwensscore (1–10). De score is de Pearson-correlatie ($r$) tussen de gestelde zekerheid en de binaire juistheid, gemapt naar een schaal van 0–100.
2. T2-EV (Epistemische Waakzaamheid): Meet het vermogen om feitelijke fouten te detecteren en de betrouwbaarheid van de bron in vraag te stellen in verstrekte redeneringen. Dit is een binaire juistheidstaak zonder vertrouwenscomponent.
3. T3-KB (Kennisgrens): Een verkennende taak (v75) waarbij het model moet onderscheid maken tussen items die het kan beantwoorden en die welke het niet kan, en de grenstype moet articuleren.
4. T4-CR (Kalibratiebereik): Meet monitoring tussen taken. Het model beantwoordt 12 feiten met een vertrouwensscore van 0–100. De score is gebaseerd op een bestraft Brier-score. Cruciaal bevat het anti-spelpenalties:
   • Straf voor plat profiel: Trekt punten af als de standaardafwijking van het vertrouwen ($\sigma_{conf}$) te laag is (wat aangeeft dat het model hetzelfde vertrouwen rapporteert ongeacht de moeilijkheid).
   • Straf voor smal bereik: Trekt punten af als het bereik van het vertrouwen te klein is.
5. T5-RCV (Validatie van Redeneringsketens): Meet het vermogen om gebreken in verstrekte redeneringsketens te detecteren. Dit is een binaire juistheidstaak zonder vertrouwenscomponent.

Betrouwbaarheidskader

De studie houdt zich aan een vooraf gespecificeerde betrouwbaarheidsdrempel: $\alpha \ge 0,25$ (Krippendorff's alpha) EN %-akkoord $\ge 0,90$.

• T4-CR is de enige taak die de alpha-drempel haalt ($\alpha = 0,66$), hoewel hij de %-akkoord-doelstelling net mist (0,83).
• De andere vier taken (T1-CC, T2-EV, T3-KB, T5-RCV) vallen significant onder de betrouwbaarheidsdrempel ($\alpha < 0,15$) en worden strikt gerapporteerd als diagnostische probes in afwachting van het pitchen van de rubriek.
• De menselijke baseline ($N=69$) is gerekruteerd uit een gespecialiseerde, STEM-gescheefde steekproef en wordt niet bewaard als een populatievalidatie.

Belangrijkste Resultaten

De "Flash Dissociatie"

De hoofdconclusie is een dissociatie van 47 punten binnen het model die is waargenomen bij Gemini 2.5 Flash:

• T1-CC (Beste in Panel): Flash behaalde een score van 88 (Spearman $\rho = +0,551$, $p=0,005$), wat wijst op sterke modulatie van item-niveau vertrouwen op de specifieke taakset.
• T4-CR (Slechtste in Panel): Flash behaalde een score van 41. Ondanks dat het 8/12 feiten correct beantwoordde, rapporteerde het een vertrouwen van $\approx 100$ op 11 van de 12 items en 95 op het laatste. Dit resulteerde in een bijna-nul vertrouwensmodulatie ($\sigma_{conf} = 1,4$), wat beide anti-spelpenalties activeerde.
• Betekenis: De kloof toont aan dat hoge kalibratie binnen een taak (T1-CC) geen garantie biedt voor kalibratie tussen taken (T4-CR). Een systeem dat vertrouwen als poort gebruikt en vertrouwt op de gerapporteerde zekerheid van Flash, zou niet escaleren bij onjuiste antwoorden, omdat het model ongeacht de juistheid oververtrouwd blijft.

Secundaire Bevindingen

• Inverse Sonnet 4.6: Sonnet 4.6 toont het omgekeerde profiel, met T4-CR (88) > T1-CC (76), wat suggereert dat het vertrouwen tussen taken beter moduleert dan dat het juistheid item-voor-item bijhoudt.
• DeepSeek-R1 Paradox: DeepSeek toont een grote kloof tussen Epistemische Waakzaamheid (T2-EV = 74) en Validatie van Redeneringsketens (T5-RCV = 47), wat suggereert dat het lokale fouten in vrije tekst detecteert maar faalt in het detecteren van globale coherentiefouten in verstrekte ketens.
• Externe Validiteit: Bij $N=8$ is geen enkele correlatie op samengesteld niveau met externe benchmarks (MMLU, enz.) onderscheidbaar van nul. De MMLU-correlatie ($\rho = +0,643$) heeft een 95% betrouwbaarheidsinterval dat nul overspant.
• Menselijke Baseline: De vooraf gespecificeerde hypothese dat het opleidingsniveau correleert met metacognitieve kalibratie (H2) werd weerlegd met het verkeerde teken ($\tau = -0,071$). Het instrument meet momenteel geen ontwikkelingsstadia.

Betekenis en Aanspraken

Het artikel positioneert zichzelf expliciet als een verkennende diagnose, niet als een gevalideerde psychometrische schaal.

1. Ontleding boven Aggregatie: De primaire bijdrage is de demonstratie dat samengestelde scores kritieke faalmodi wissen. De "Flash Dissociatie" bewijst dat een model goed gekalibreerd kan zijn op specifieke items terwijl het catastrofaal oververtrouwd is over een spectrum van moeilijkheidsgraden.
2. Relevantie voor Implementatie: De T4-CR-metric (specifiek de anti-spelpenalties) brengt risico's aan het licht voor veiligheidskritieke implementaties waarbij vertrouwensdrempels menselijke review activeren. Een model als Flash zou dergelijke review nooit activeren, ondanks dat het fout is.
3. Beperkingen en Bescheidenheid:
   • Het instrument is niet gevalideerd als een maatstaf voor metacognitie tussen soorten; de hypothese over soorten werd weerlegd.
   • Alleen T4-CR voldoet aan de vooraf gespecificeerde betrouwbaarheidsdrempel; de andere taken zijn voorlopig.
   • Het panel van $N=8$ modellen is onderbezet voor claims tussen modellen (effectieve $N \approx 5$ trainingslijnen).
   • De studie vertrouwt op gedragsoutput (gerapporteerd vertrouwen) in plaats van interne staten (logits/entropie), die vaak ontoegankelijk zijn via API's.

De auteurs concluderen dat de 47-punten kloof een robuust, item-niveau fenomeen is dat verdere verkenning vereist via een geplande replicatie met $N \ge 20$ modellen en $N \ge 100$ gestratificeerde menselijke beoordelaars, samen met een cyclus voor het pitchen van de rubriek om de betrouwbaarheid op de niet-T4-CR-taken te verbeteren.