Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report

1. Het Probleem

Huidige evaluaties van Large Language Models (LLM's) vertrouwen op het vertrouwenssignaal (confidence signal) van het model voor downstream taken zoals abstentie (het niet beantwoorden van een vraag), routing en menselijke tussenkomst. Een fundamenteel probleem is dat er geen validiteitscontrole plaatsvindt voordat deze signalen worden geïnterpreteerd.

In de klinische psychometrie (bijv. PAI, MMPI-3) is het standaard om eerst "validiteitsschalen" te gebruiken om te detecteren of een respondent verdraaide antwoordpatronen vertoont (bijv. liegen, overdrijven of willekeurig antwoorden). Als de validiteit niet in orde is, wordt de inhoudelijke interpretatie als ongeldig beschouwd. LLM-evaluatie mist deze stap volledig. Het artikel stelt dat veel LLM's vertrouwenssignalen produceren die geen item-specifieke informatie bevatten over de juistheid van het antwoord, maar eerder het resultaat zijn van vaste antwoordstrategieën (response sets) veroorzaakt door training (zoals RLHF) of architectuur.

2. Methodologie

De auteur past het validiteitskader uit de klinische psychometrie (PAI en MMPI-3) toe op metacognitieve data van LLM's. De kernaanname is dat de mapping structureel is, niet psychologisch: het gaat om het detecteren van antwoordpatronen die item-informatie onderdrukken, ongeacht of de "respondent" een mens of een algoritme is.

Data:

• Steekproef: 20 frontier-LLM's van 6 providers (o.a. Anthropic, Google, OpenAI, Qwen, DeepSeek).
• Dataset: 524 items verdeeld over 6 cognitieve domeinen (leren, metacognitie, sociale cognitie, etc.).
• Probes: Na elke reactie kregen modellen twee vragen: "KEEP" (behoud antwoord) of "WITHDRAW" (trek antwoord in), en "BET" (zet in op juistheid) of "NO BET".

Operationalisatie van 6 Validiteitsindices:
De indices zijn gekalibreerd tegen klinische schalen:

1. L (Lie/Under-reporting): $P(\text{KEEP} | \text{incorrect})$. Meet het behoud van vertrouwen ondanks fouten (oververtrouwen).
2. K (Defensiveness): $P(\text{BET} | \text{incorrect})$. Sterk, ongerechtvaardigd vertrouwen.
3. F (Over-reporting): $P(\text{WITHDRAW} | \text{consensus})$. Het intrekken van antwoorden waar het collectief (consensus) het mee eens is.
4. Fp (False Positive): $P(\text{WITHDRAW} | \text{correct})$. Het intrekken van correcte antwoorden.
5. RBS (Randomized Bias Scale): $P(\text{WD}|\text{correct}) - P(\text{WD}|\text{incorrect})$. Een positieve waarde duidt op "inverted monitoring" (correcte antwoorden intrekken, fouten behouden).
6. TRIN (True/False Inconsistency): Maat voor vastgezet antwoorden (fixed responding), ongeacht de richting.

Classificatiesysteem:

• Tier 1 (Construct-level invalid): Modellen die specifieke drempels overschrijden (bijv. $L \geq 0.95$ of $F \geq 0.50$) worden als ongeldig gemarkeerd, ongeacht de steekproefverdeling.
• Tier 2 (Sample-referenced): Modellen die afwijken van het gemiddelde binnen de geldige groep ($M + 1.5$ SD).
• Validatie: Het systeem is getest met 8 synthetische antwoordpoliën (van "altijd KEEP" tot "perfecte monitor") om te bewijzen dat het alleen informatieve signalen doorlaat.

3. Belangrijkste Bijdragen

1. Validiteitskader voor LLM's: De eerste formele operationalisatie van validiteitsindices voor metacognitieve probe-data van LLM's.
2. Classificatiesysteem: Een getierd systeem dat modellen filtert voordat inhoudelijke interpretatie plaatsvindt.
3. Empirisch bewijs: Het aantonen dat "geldige" modellen item-gevoelige vertrouwenssignalen produceren, terwijl "ongeldige" modellen dit niet doen.
4. Effect van Chain-of-Thought (CoT): Het in kaart brengen van hoe CoT-training twee tegenovergestelde vervormingen kan veroorzaken (systematische intrekking vs. blanket vertrouwen).
5. Nieuwe inconsistentie-index: De "WITHDRAW+BET" contradictie (een model trekt een antwoord in maar zet er toch op in dat het correct is), specifiek voor dual-probe designs.
6. Item-sensitiviteit: Identificatie van 161 items die geldige van ongeldige profielen kunnen onderscheiden, wat de basis legt voor een korte screener.

4. Resultaten

• Psychometrische Kwaliteit: De indices tonen sterke convergente validiteit (bijv. $L$ en $K$ correleren met $r = .82$; $F$ en $Fp$ met $r = .99$) en een geschikte discriminerende structuur.
• Factorstructuur: Een Principal Component Analysis (PCA) toont twee onderliggende dimensies die 94,6% van de variantie verklaren: een "over-reporting" blok (F, Fp) en een "under-reporting" blok (L, K). Dit spiegelt de klinische structuur exact.
• Classificatie van Modellen:
  • 4 Modellen (Tier 1 Ongeldig): DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think, Gemma 1B. Deze modellen vertonen patronen zoals "blanket confidence" of "inverted monitoring".
  • 2 Modellen (Tier 2 Verhoogd): GPT-5.4 nano, Gemma 12B.
  • 14 Modellen (Geldig): De overige modellen.
• Item-Sensitiviteit (Kernresultaat):
  • Geldige modellen tonen een significante positieve correlatie tussen hun "KEEP"-beslissing en de feitelijke juistheid ($r = .18$).
  • Ongeldige modellen tonen geen correlatie of een negatieve correlatie ($r = -.20$).
  • Het verschil tussen de groepen is groot ($d = 2.17, p = .001$).
• Specifieke Vervormingen:
  • DeepSeek-R1: Toont extreme "inverted monitoring" en een hoge contradictiegraad (37% van de correcte items wordt ingetrokken terwijl er toch op wordt ingezet).
  • Qwen Think: Toont "blanket confidence" ($L = .974$), waarbij fouten niet worden gedetecteerd.
  • Familie-effecten: De Google-Gemini familie toont een uniform defensief profiel (hoge L en K), wat lijkt op een RLHF-effect.

5. Betekenis en Conclusie

Het artikel concludeert dat de overgang van klinische validiteit naar LLM-evaluatie structureel is, niet antropomorf. Het doel is niet om te zeggen dat LLM's een persoonlijkheid hebben of twijfelen, maar om te detecteren of hun vertrouwenssignaal informatief is voor downstream toepassingen.

• Voor Implementatie: Systemen die vertrouwen gebruiken voor abstentie of veiligheid, moeten eerst een validiteitscheck uitvoeren. Een model dat 94% accuraat is maar een ongeldig vertrouwenssignaal heeft, is gevaarlijker dan een model met lagere accuraatheid maar een betrouwbaar signaal, omdat het eerste model valse zekerheid biedt.
• Voor Benchmarking: Validiteitscreening moet de eerste stap zijn in elke metacognitieve evaluatie.
• Voor Training: Chain-of-Thought training kan leiden tot tegenovergestelde vervormingen afhankelijk van de implementatie, wat aantoont dat training niet per se "beter" metacognitie oplevert, maar soms nieuwe, systematische bias introduceert.

De auteur pleit voor een nieuwe standaard: "Screen before you interpret". Zonder deze validiteitscheck zijn alle verdere interpretaties van LLM-vertrouwen wetenschappelijk onhoudbaar. De code en data zijn openbaar beschikbaar.