Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

1. Het Probleem: Ongescrende Vertrouwenssignalen

Huidige evaluaties van Large Language Models (LLMs) vertrouwen op metacognitieve signalen (het vertrouwen dat een model heeft in zijn antwoord) voor kritieke taken zoals:

• Abstentie: Het model weigert een antwoord als het niet zeker is.
• Routing: Het sturen van vragen naar menselijke reviewers of gespecialiseerde modellen.
• Veiligheid: Het detecteren van potentieel schadelijke output.

De huidige literatuur gaat er echter zonder meer van uit dat deze vertrouwenssignalen informatief zijn (d.w.z. dat ze correleren met de juistheid van het antwoord). Er is geen standaardpraktijk om te verifiëren of een vertrouwenssignaal daadwerkelijk item-specifieke informatie bevat voordat het wordt gebruikt. Veel modellen vertonen responssetten (zoals "blanket endorsement" – altijd hoog vertrouwen, of "blanket withdrawal" – altijd laag vertrouwen) die de relatie tussen vertrouwen en juistheid verstoren. Als deze signalen niet worden gescreend, leiden downstream-metrics (zoals AUROC of selectieve voorspelling) tot misleidende conclusies en valse zekerheid.

2. Methodologie: Een Twee-staps Protocol

De auteur introduceert een portabel validiteitsprotocol dat is gebaseerd op klinische persoonlijkheidsbeoordeling (specifiek de MMPI-3 en PAI). Het protocol is ontworpen om te bepalen of een vertrouwenssignaal interpreteerbaar is voordat substantieve analyses worden uitgevoerd.

Architectuur

Het protocol bestaat uit twee fasen:

• Fase A (Validiteitscreening): Bepaalt of het signaal interpreteerbaar is. Alleen als dit slaagt, gaat men door naar Fase B.
• Fase B (Substantieve Analyse): Berekening van metrics zoals AUROC, kalibratie, of selectieve voorspellingswinst, maar alleen voor modellen die Fase A hebben doorstaan.

De Indices en Berekening

Het protocol vereist een 2x2 contingentietabel gebaseerd op item-juistheid (Correct/Incorrect) en vertrouwen (Hoog/Laag, binariseerd). Uit deze tabel worden drie kernindices berekend:

1. L (Low Confidence on Errors / Under-reporting): $P(\text{hoog vertrouwen} | \text{fout})$. Meet of het model vertrouwen behoudt ondanks fouten (vergelijkbaar met de L-schaal in MMPI).
2. Fp (False Positive / Over-reporting): $P(\text{laag vertrouwen} | \text{correct})$. Meet of het model onterecht weinig vertrouwen heeft in juiste antwoorden (vergelijkbaar met de Fp-schaal).
3. RBS (Response Bias Scale): $Fp - (1 - L)$. Meet inversie: is het model vaker onzeker bij juiste antwoorden dan bij fouten? Een positieve waarde duidt op een omgekeerd signaal.

Daarnaast worden twee aanvullende statistieken berekend:

• TRIN (True Response Inconsistency): Een structurele indicator voor vastgezet antwoordgedrag (bijv. altijd "Ja" of "Nee").
• $r(\text{confidence}, \text{correct})$: De punt-bisariale correlatie tussen vertrouwen en juistheid op item-niveau.

Classificatie (Drie-niveausysteem)

In plaats van een binair "goed/slecht" oordeel, gebruikt het protocol een drie-traps systeem, gebaseerd op klinische richtlijnen:

1. Invalid (Ongeldig): Duidelijke schending van drempels (bijv. $L \geq 0.95$, $Fp \geq 0.50$, of $RBS > 0$). Het signaal is niet interpreteerbaar. Substantieve metrics mogen niet worden geïnterpreteerd.
2. Indeterminate (Onbepaald): De punt-schatting schendt de drempel, maar het betrouwbaarheidsinterval (CI) omvat nog geldige waarden, of het signaal is marginaal. Resultaten moeten met grote voorzichtigheid worden geïnterpreteerd.
3. Valid (Geldig): Geen drempeloverschrijdingen. Het signaal draagt item-specifieke informatie. Substantieve analyse is toegestaan.

Drempelwaarden

De drempels zijn logisch afgeleid, niet empirisch getuned:

• $L \geq 0.95$: Een model dat 95% van de fouten met hoog vertrouwen beantwoordt, heeft geen nuttig detectievermogen.
• $Fp \geq 0.50$: Een model dat de meerderheid van de juiste antwoorden met laag vertrouwen beantwoordt, is overmatig terughoudend.
• $RBS > 0$: Het signaal wijst gemiddeld de verkeerde kant op.

3. Belangrijkste Bijdragen

1. Protocol Architectuur: Een gestructureerde, twee-staps aanpak die validiteitsscreening verplicht stelt vóór elke interpretatie van vertrouwen.
2. Minimale Indexset: Een set van indices die berekenbaar is uit één enkele 2x2 tabel, zonder toegang tot interne logit-waarden (zwarte doos-vriendelijk).
3. Klinische Overdracht: De eerste toepassing van klinische validiteitsprincipes (MMPI-3/PAI, MCMI, Jacobson-Truax) op LLM-evaluatie.
4. VRS Tabel (Validity Report for Screening): Een gestandaardiseerd rapportageformaat dat verplicht is voor elk onderzoek dat vertrouwensmetrics rapporteert.
5. Foutmodus-demonstratie: Bewijs dat ongescreende "ongeldige" modellen metrics produceren die lijken op toeval (AUROC ~0.5) of catastrofaal verkeerd zijn (AUROC < 0.1), wat leidt tot valse beveiliging.

4. Resultaten

Het protocol werd gevalideerd op 20 frontier LLMs over 524 items (6 cognitieve domeinen).

• Classificatie:
  • 4 Modellen werden geclassificeerd als Invalid (o.a. DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think, Gemma 3 1B). Deze toonden patronen van "blanket confidence" of "blanket withdrawal".
  • 2 Modellen werden Indeterminate.
  • 14 Modellen werden Valid.
• Empirische Validatie:
  • Geldige modellen hadden een gemiddelde correlatie $r \approx 0.18$ (significant positief).
  • Ongeldige modellen hadden een gemiddelde $r \approx -0.20$ (negatief of nul).
  • Het verschil was statistisch significant ($d = 2.48, p = .001$).
• Stabiliteit: De classificatie is stabiel bij 100-150 items voor duidelijke gevallen. Bij modellen met zeer hoge nauwkeurigheid (weinig fouten) is de schatting van $L$ echter inherent onstabiel.
• Cross-Benchmark Validatie:
  • Toepassing op externe data (Yang et al., 2024) bevestigde de resultaten.
  • Een cruciale bevinding: Validiteit is een eigenschap van de interactie tussen model, probe en taak. Modellen die "Invalid" waren op een binaire probe (KEEP/WITHDRAW), werden soms "Valid" op een verbale probe (0-100%), wat aantoont dat het responspatroon afhankelijk is van de vraagstelling.

5. Betekenis en Conclusie

De paper concludeert dat screenen voor interpretatie een noodzakelijke stap is, analoog aan de klinische praktijk.

• Noodzaak: Zonder screening kunnen downstream-metrics (zoals selectieve voorspelling) volledig misleidend zijn. Een model met een "ongeldig" signaal kan een AUROC van 0.50 hebben (toeval), maar als dit niet wordt opgemerkt, denkt men dat het systeem werkt.
• Kosten: De kosten zijn minimaal (berekening van een paar waarden uit een 2x2 tabel).
• Impact: Het protocol biedt een defensieve basis voor onderzoek en implementatie. Het maakt onderscheid tussen echte metacognitie en artefacten van responsstijlen (zoals RLHF-geoptimaliseerd "zeker" gedrag).

De auteur stelt dat elk onderzoek dat vertrouwensgebaseerde metrics rapporteert, de VRS Tabel moet publiceren. Zonder deze validiteitsdocumentatie is het onmogelijk om te onderscheiden tussen echte bevindingen en artefacten van responsstijlen. Het protocol is niet bedoeld om modellen te ranken, maar om te bepalen of hun vertrouwenssignalen überhaupt bruikbaar zijn voor verdere analyse.