🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Dit artikel toont aan dat Large Language Models een gebrek hebben aan werkelijke epistemische zelfbewustheid op klinische tabeldata, aangezien hun verbaal geuite vertrouwen niet informatief is en hun nauwkeurigheid invers correleert met de taakcomplexiteit, maar stelt voor dat cross-model attributiedivergentieanalyse gecombineerd met few-shot prompting en feature-bewijsvoering effectief deze blinde vlekken kan detecteren en zowel de nauwkeurigheid als de kalibratie aanzienlijk kan verbeteren zonder hertraining.

Oorspronkelijke auteurs: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Overmoedige Stagiar"

Stel je voor dat je een briljante medische student inhuurt (de LLM) die alle medische tekstboeken ter wereld heeft gelezen, maar nog nooit echt in een ziekenhuis heeft gewerkt. Je hebt ook een ervaren, op data gebaseerde verpleegkundige (het XGBoost-model) die jarenlang patiëntgegevens heeft bijgehouden en precies weet welke cijfers een specifieke ziekte (Acute Nierinsufficiëntie) voorspellen.

De onderzoekers stelden een simpele vraag: Weet de medische student wanneer hij aan het gokken is?

Ze ontdekten dat de student gevaarlijk overmoedig is. Hoe fout hij ook zit, hij zegt: "Ik ben 90% zeker!" Het artikel noemt dit "Epistemische Blinde Vlekken" — de student weet niet wat hij niet weet.

Het Experiment: Vier Manieren om de Vraag te Stellen

De onderzoekers testten de medische student (met behulp van een model genaamd Qwen 2.5) op 300 patiëntendossiers. Ze probeerden vier verschillende manieren om om een diagnose te vragen:

Het Onbeschreven Blad (Zero-Shot): Alleen de gegevens van de patiënt geven en vragen: "Heeft deze persoon nierinsufficiëntie?"
- Resultaat: De student gokte willekeurig (49% nauwkeurigheid), maar beweerde toch 85% zeker te zijn.
Het Spiekbriefje (Zero-Shot + SHAP): De student de gegevens geven plus een lijst met de top 5 getallen die de verpleegkundige belangrijk vindt.
- Resultaat: De student gokte nog steeds slecht (52% nauwkeurigheid) en beweerde nog steeds 85% zeker te zijn. Hij keek naar de juiste getallen, maar begreep niet hoe hij ze moest gebruiken.
De Voorbeelden (Few-Shot): De student de gegevens geven plus vier voorbeelden van eerdere patiënten met hun correcte diagnoses.
- Resultaat: De student werd veel beter (68% nauwkeurigheid) en beweerde 93% zeker te zijn.
De Super Combinatie (Few-Shot + SHAP): De student de voorbeelden geven en de lijst van de verpleegkundige met belangrijke getallen.
- Resultaat: De student werd erg goed (75% nauwkeurigheid) en beweerde 93% zeker te zijn.

De Vier Grote Ontdekkingen

1. De "Kapotte Thermometer" (Vertrouwen is Nutteloos)

De meest schokkende bevinding is dat de "vertrouwensscore" van de student een kapotte thermometer is.

De Analogie: Stel je een thermometer voor die altijd "37°C" aangeeft, of je nu gezond bent of een koorts van 40°C hebt.
De Realiteit: Of de student het antwoord nu goed of fout had, makkelijk of moeilijk, hij zei altijd ongeveer 85% tot 93% zeker te zijn. Zijn vertrouwen werd volledig bepaald door hoe de vraag gesteld was, niet door hoe goed het antwoord was. Het zegt niets over de vraag of de voorspelling correct is.

2. Het "Inverse Moeilijkheids-effect" (Ze falen waar de expert zeker is)

De onderzoekers merkten een vreemd patroon op:

Wanneer de Verpleegkundige 99% zeker was (omdat de data heel duidelijk en specifiek was), was de Student slechts 65% correct.
Wanneer de Verpleegkundige onzeker was (omdat de data rommelig was), deed de Student het eigenlijk net zo goed als de verpleegkundige (ongeveer 74% correct).
De Analogie: De student is goed in algemene medische theorie, maar slecht in de specifieke, vreemde patronen van deze specifieke ziekenhuisdata. De student blinkt uit wanneer de data vaag is en algemene kennis helpt, maar faalt wanneer de data specifieke, aangeleerde patronen vereist.

3. De "Magische Combinatie" (1 + 1 = 3)

De onderzoekers ontdekten dat het geven van voorbeelden (Few-Shot) en het geven van de lijst met belangrijke getallen van de verpleegkundige (SHAP) samen beter werkten dan de som van hun delen.

De Analogie: Stel je voor dat je probeert te leren autorijden.
- Voorbeelden alleen zijn als het kijken naar een video van iemand die rijdt. Je begrijpt het doel, maar weet niet welke pedalen je moet indrukken.
- De Lijst alleen is als iemand die naar de pedalen wijst en zegt: "Druk hierop." Je weet wat je moet aanraken, maar niet waarom of wanneens.
- Samen begrijp je eindelijk de hele auto. De onderzoekers vonden dat het combineren van deze twee methoden het redeneren van de student veel meer verbeterde dan alleen het toevoegen van de twee verbeteringen bij elkaar.

4. De "Vertaler" (Het Vertrouwen Herstellen)

Omdat het eigen vertrouwen van de student nutteloos is, bouwden de onderzoekers een kleine "Vertaler" (een kalibrator).

Hoe het werkt: Deze Vertaler kij{%ing naar het verschil tussen wat de Student belangrijk vindt en wat de Verpleegkundige belangrijk vindt.
Het Resultaat: Als de Student en de Verpleegkundige van mening verschillen over wat belangrijk is, zegt de Vertaler: "Hey, deze voorspelling is riskant." Als ze het eens zijn, zegt hij: "Dit is waarschijnlijk veilig."
De Impact: Dit verving het valse vertrouwen van de student door een echte, patiëntspecifieke betrouwbaarheidsscore. Het hoefde niet in de hersenen van de student te kijken of de test twee keer te draaien; het vergeleek simpelweg de redenering van de twee modellen.

De Conclusie: Het "Cold Start" Probleem

Het artikel concludeert dat het plaatsen van een LLM op gestructureerde data (zoals spreadsheets met patiëntgegevens) lijkt op een Cold Start.

De student heeft de kennis (hij kent de geneeskunde).
Maar hij mist de richting (hij weet niet naar welke getallen hij moet kijken).
En hij mist zelfbewustzijn (hij weet niet wanneer hij aan het gokken is).

Het artikel suggereert dat we de slimme, op data gebaseerde verpleegkundige (XGBoost) niet hoeven te vervangen. In plaats daarvan moeten we de verpleegkundige gebruiken om de student te begeleiden (door te laten zien welke kenmerken belangrijk zijn) en om de student te kalibreren (door aan te geven wanneer de redenering van de student afdwaalt). Dit creëert een systeem waarin de student leert echt bewust te worden van zijn eigen grenzen.

Technische Samenvatting: Detectie van Epistemische Blinde Vlekken via Cross-Model Attributie-divergentie

Probleemstelling

Hoewel Large Language Models (LLM's) veelbelovend zijn voor medische vraagbeantwoording en het samenvatten van klinische aantekeningen, blijft hun toepassing op gestructureerde klinische tabelgegevens (bijv. Electronic Health Records) onderbelicht wat betreft epistemische zelfbewustheid. Eerdere onderzoeken hebben vastgesteld dat boomgebaseerde modellen (bijv. XGBoost) consequent beter presteren dan LLM's bij tabel-gebaseerde voorspellingsopdrachten, maar dit prestatieverschil is grotendeels behandeld als een monolithische geaggregeerde metriek (bijv. een lagere AUROC) zonder de onderliggende epistemische structuur te onderzoeken.

Het kernprobleem dat wordt aangepakt, is of LLM's de grenzen van hun eigen kennis kunnen herkennen bij gestructureerde taken. Specifiek onderzoekt het artikel of LLM's onderscheid kunnen maken tussen gevallen waarin ze waarschijnlijk correct versus incorrect zijn, en of hun verbaal geuite vertrouwenssignalen betrouwbare indicatoren zijn van de kwaliteit van de voorspelling in klinische settings. De auteurs kaderen dit als een "cold start"-probleem: LLM's bezitten relevante medische kennis, maar missen de richting (feature attention) en de mechanismen voor zelfevaluatie die nodig zijn om deze kennis toe te passen op gestructureerde gegevens.

Methodologie

Data en Taak

De studie maakt gebruik van de MIMIC-IV klinische database om een taak voor de voorspelling van Acute Nierinsufficiëntie (AKI) te repliceren.

Dataset: Een gebalanceerde cohort van 10.000 ontmoetingen (5.000 per klasse) afgeleid van ~209.000 opnames.
Kenmerken (Features): 321 kenmerken, waaronder vitale functies, demografische gegevens, CCS-diagnosecodes en gediscretiseerde laboratoriumwaarden.
Splitsing: Een 80/20 train-test split voor XGBoost; een subset van 15% (n=300) uit de testset werd gebruikt voor de LLM-evaluatie.
Baseline: Een XGBoost-classifier getraind op de top 50 meest invloedrijke variabelen, die een AUROC van ~0,85 en een nauwkeurigheid van ~0,823 bereikte op de evaluatiesubset.

Experimentele Opzet

De auteurs evalueerden Qwen 2.5 7B Instruct (lokaal gehost) over vier prompting-condities:

Zero-Shot (ZS): Geserialiseerde patiëntkenmerken met een voorspellingsprompt.
ZS + SHAP: ZS-prompt uitgebreid met de top-5 SHAP-kenmerken, belangscores en directionele impact van het XGBoost-model.
Few-Shot (FS): ZS-prompt met vier klasse-gebalanceerde gelabelde voorbeelden.
FS + SHAP: Combinatie van few-shot voorbeelden en SHAP-feature injectie.

Output-vereisten: Voor elk geval moest de LLM een binaire voorspelling genereren, een verbaal geuite vertrouwensscore (0–1) en een gerangschikte lijst van de top-5 kenmerken met risicorichtingen. De outputs werden afgedwongen via gestructureerde JSON.

Metrieken en Analyse

Attribution Disagreement Score (ADS): Kwantificeert de afstemming tussen de SHAP-attributies van XGBoost en de door de LLM zelf gerapporteerde kenmerken-rangschikkingen met behulp van de Kendall's rangcorrelatie ( $\tau$ ). $ADS = 1 - \tau$ .
Kalibratie: Gemeten via de Expected Calibration Error (ECE) en AUROC voor het onderscheiden van correcte versus incorrecte voorspellingen.
Cross-Model Kalibrator: Een lichtgewicht model (Logistische Regressie of XGBoost) getraind om de waarschijnlijkheid van de LLM-correctheid te voorspellen ( $P(\text{LLM correct})$ ) met behulp van cross-model kenmerken (ADS, Jaccard-overlap, directionele overeenstemming, verschil in vertrouwen, etc.).

Belangrijkste Bevindingen

1. Verbaal geuite vertrouwensscore van de LLM is epistemisch leeg

De studie vindt dat de verbaal geuite vertrouwensscore van de LLM volledig wordt bepaald door de prompt-template, en niet door de kwaliteit van de voorspelling.

Observatie: Vertrouwensscores bleven nagenoeg constant (0,856 voor Zero-Shot; 0,937 voor Few-Shot), ongeacht of de nauwkeurigheid 49% of 75,3% was.
Implicatie: Op klinische tabelgegevens bevat de verbaal geuite vertrouwensscore nul informatie over de correctheid. Het volgt de prompt-format in plaats van de epistemische staat, wat het nutteloos maakt voor downstream besluitvorming.

2. Het inverse moeilijkheids-effect

Er is een contra-intuïtieve relatie tussen de moeilijkheidsgraad van de data en de prestaties van de LLM ten opzichte van XGBoost.

Observatie: Wanneer XGBoost zeer zeker is (>0,85) en bijna altijd correct (99% nauwkeurigheid), daalt de nauwkeurigheid van de LLM naar 64,8%. Omgekeerd, wanneer XGBoost matig onzeker is (vertrouwen 0,70–0,85), komt de LLM overeen met de prestaties van XGBoost (73,8% vs. 73,1%).
Implicatie: De modellen vertonen complementaire foutmodi. De LLM worstelt met dataspecifieke distributiepatronen die door XGBoost zijn geleerd, maar voegt echte waarde toe in de "onzekere zone" van XGBoost waar algemene medische kennis volstaat. De LLM kan deze zones echter niet zelf identificeren.

3. Super-additieve Attributie-afstemming

Few-shot voorbeelden en SHAP-afgeleide bewijsvoering fungeren als orthogonale, super-additieve interventies.

Observatie:
- Few-Shot: Verbetert het begrip van de taak (het mappen van kenmerken aan voorspellingen) maar verandert de feature-aandacht nauwelijks (de Jaccard-overlap stijgt slechts licht).
- SHAP Injectie: Stuurt de feature-aandacht effectief bij (de Jaccard-overlap springt naar 0,658) maar resulteert in "oppervlakkige adoptie" (de LLM kopieert de attributies verbaal zonder de voorspellingen significant aan te passen).
- Gecombineerd (FS + SHAP): Het gecombineerde effect op het verminderen van de ADS (reductie van 1,158) overstijgt de som van de individuele effecten (0,796). Deze combinatie bereikt een nauwkeurigheid van 75,3% en een ADS van 0,378.
Implicatie: Het oplossen van de "cold start" vereist zowel taakdemonstraties (richting) als gestructureerde modelbewijsvoering (oriëntatie).

4. Cross-Model Kalibratie via Attributie-divergentie

Attributie-divergentiesignalen kunnen effectieve externe kalibratiesystemen aandrijven.

Observatie: Een cross-model kalibrator die gebruikmaakt van attributie-divergentie-kenmerken verminderde de Expected Calibration Error (ECE) van 0,254 (ruwe LLM) naar 0,080. De kalibrator bereikte een AUROC van 0,71 bij het voorspellen of de LLM correct zou zijn.
Implicatie: Patiëntspecifieke betrouwbaarheidsschattingen kunnen worden gegenereerd zonder toegang tot de interne werking van de LLM of herhaalde inferentie, waardoor de oninformatieve constante vertrouwensscore wordt vervangen door een betekenende betrouwbaarheidsscore.

Betekenis en Claims

Het artikel kadert deze bevindingen als een karakterisering van een cold start-probleem voor LLM's op gestructureerde data. De LLM bezit latente medische kennis, maar mist het mechanisme om zichzelf binnen de feature-ruimte te oriënteren of haar eigen betrouwbaarheid te beoordelen.

Diagnostisch Fundament: Dit werk vestigt een diagnostisch kader voor het identificeren van epistemische blinde vlekken (misalignement van aandacht, afwezige zelfevaluatie) in plaats van alleen prestatiekloven te meten.
Praktisch Nut: Het toont aan dat bestaande gestructureerde modellen (zoals XGBoost) een dubbele rol kunnen spelen in klinische workflows: het bieden van richting (via injectie van attributie) en kalibratiesignalen (via cross-model divergentie) aan LLM's.
Epistemische Zelfbewustheid: De auteurs stellen dat huidige LLM's een gebrek hebben aan echte epistemische zelfbewustheid bij gestructureerde taken. De voorgestelde weg vooruit omvat het gebruik van cross-model kalibratietargets als beloningssignalen voor Reinforcement Learning (RL), wat potentieel kan helpen om LLM's in de toekomst te leren een gekalibreerde onzekerheid te internaliseren.

De studie is bescheiden in omvang, waarbij één model (Qwen 2.5 7B) op één taak (AKI) met een beperkte steekproefomvang (n=300) wordt geëvalueerd. De auteurs erkennen de beperkingen van de zelfgerapporteerde feature-attributies en het voorlopige karakter van de kalibrator, en positioneren dit werk als een fundamentele stap naar breder onderzoek naar epistemische intelligentie voor gestructureerde data.