🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Diese Arbeit zeigt auf, dass Large Language Models bei klinischen tabellarischen Daten keine echte epistemische Selbstwahrnehmung besitzen, da ihr verbalisierter Vertrauensgrad nicht informativ ist und ihre Genauigkeit invers mit der Aufgabenkomplexität korreliert, schlägt jedoch vor, dass eine Analyse der Divergenz der Cross-Model-Attribution in Kombination mit Few-Shot-Prompting und Merkmalsevidenz diese blinden Flecken effektiv erkennen und sowohl die Genauigkeit als auch die Kalibrierung ohne Nachtraining signifikant verbessern kann.

Ursprüngliche Autoren: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Der „überhebliche Praktikant“

Stellen Sie sich vor, Sie stellen einen brillanten Medizinstudenten ein (das LLM), der jedes medizinische Lehrbuch der Welt gelesen hat, aber noch nie in einem Krankenhaus gearbeitet hat. Sie haben außerdem eine erfahrene, datengesteuerte Krankenschwester (das XGBoost-Modell), die jahrelang Vitalwerte verfolgt hat und genau weiß, welche Zahlen eine bestimmte Erkrankung (akutes Nierenversagen) vorhersagen.

Die Forscher stellten eine einfache Frage: Weiß der Student, wann er nur rät?

Sie fanden heraus, dass der Student gefährlich überheblich ist. Egal wie falsch er liegt, er sagt: „Ich bin mir zu 90 % sicher!“ Die Arbeit nennt dies „epistemische Blindstellen“ – der Student weiß nicht, was er nicht weiß.

Das Experiment: Vier Wege, die Frage zu stellen

Die Forscher testeten den Medizinstudenten (unter Verwendung eines Modells namens Qwen 2.5) an 300 Patientenakten. Sie probierten vier verschiedene Arten aus, nach einer Diagnose zu fragen:

Das leere Blatt (Zero-Shot): Man gibt dem Studenten einfach die Patientendaten und fragt: „Hat die Person ein Nierenversagen?“
- Ergebnis: Der Student rät eher zufällig (49 % Genauigkeit), behauptet aber dennoch, zu 85 % sicher zu sein.
Der Spickzettel (Zero-Shot + SHAP): Man gibt dem Studenten die Daten plus eine Liste der fünf wichtigsten Zahlen, die die Krankenschwester für entscheidend hält.
- Ergebnis: Der Student rät immer noch schlecht (52 % Genauigkeit) und behauptet dennoch, zu 85 % sicher zu sein. Er schaut auf die richtigen Zahlen, versteht aber nicht, wie er sie nutzen soll.
Die Beispiele (Few-Shot): Man gibt dem Studenten die Daten plus vier Beispiele früherer Patienten mit deren korrekten Diagnosen.
- Ergebnis: Der Student wird viel besser (68 % Genauigkeit) und behauptet, zu 93 % sicher zu sein.
Das Super-Kombi-Paket (Few-Shot + SHAP): Man gibt dem Studenten sowohl die Beispiele als auch die Liste der wichtigen Zahlen der Krankenschwester.
- Ergebnis: Der Student wird sehr gut (75 % Genauigkeit) und behauptet, zu 93 % sicher zu sein.

Die vier großen Erkenntnisse

1. Das „kaputte Thermometer“ (Konfidenz ist nutzlos)

Die schockierendste Erkenntung ist, dass der „Konfidenzwert“ des Studenten ein kaputtes Thermometer ist.

Die Analogie: Stellen Sie sich ein Thermometer vor, das immer „37 °C“ anzeigt, egal ob man gesund ist oder unter 40 °C Fieber hat.
Die Realität: Egal, ob der Student die Antwort richtig oder falsch hatte, ob sie einfach oder schwer war, er sagte immer, er sei zu etwa 85 % bis 93 % sicher. Seine Konfidenz wurde ausschließlich davon bestimmt, wie die Frage gestellt wurde, und nicht davon, wie gut die Antwort tatsächlich war. Sie verrät nichts darüber, ob die Vorhersage korrekt ist.

2. Der „inverse Schwierigkeitsgrad“-Effekt (Sie scheitern dort, wo der Experte sicher ist)

Die Forscher bemerkten ein seltsames Muster:

Wenn die Krankenschwester zu 99 % sicher war (weil die Daten sehr klar und spezifisch waren), war der Student nur zu 65 % korrekt.
Wenn die Krankenschwester unsicher war (weil die Daten unklar/verrauscht waren), war der Student tatsächlich genauso gut wie die Krankenschwester (etwa 74 % korrekt).
Die Analogie: Der Student ist gut in allgemeiner medizinischer Theorie, aber schlecht in den spezifischen, eigenartigen Mustern der Daten dieses speziellen Krankenhauses. Der Student glänzt, wenn die Daten vage sind und allgemeines Wissen hilft, aber er scheitert, wenn die Daten spezifische, gelernte Muster erfordern.

3. Die „magische Kombination“ (1 + 1 = 3)

Die Forscher fanden heraus, dass es für den Studenten besser funktioniert, wenn man ihm sowohl Beispiele (Few-Shot) als auch die Liste der wichtigen Zahlen der Krankenschwester (SHAP) gibt, als wenn man diese Dinge einzeln nutzt.

Die Analogie: Stellen Sie sich vor, Sie versuchen Autofahren zu lernen.
- Beispiele allein sind wie das Anschauen eines Videos von jemandem, der fährt. Man versteht das Ziel, weiß aber nicht, welche Pedale man drücken muss.
- Die Liste allein ist wie jemand, der auf die Pedale zeigt und sagt: „Drück das.“ Man weiß, was man berühren soll, aber nicht warum oder wann.
- Zusammen versteht man schließlich das ganze Auto. Die Forscher fanden heraus, dass die Kombination dieser beiden Methoden die Argumentation des Studenten weitaus mehr verbesserte, als wenn man die beiden Verbesserungen einfach nur addiert hätte.

4. Der „Übersetzer“ (Die Konfidenz korrigieren)

Da die eigene Konfidenz des Studenten nutzlos ist, bauten die Forscher einen kleinen „Übersetzer“ (einen Kalibrator).

Wie es funktioniert: Dieser Übersetzer betrachtet den Unterschied zwischen dem, was der Student für wichtig hält, und dem, was die Krankenschwester für wichtig hält.
Das Ergebnis: Wenn der Student und die Krankenschwester uneinig darüber sind, was entscheidend ist, sagt der Übersetzer: „Hey, diese Vorhersage ist riskant.“ Wenn sie sich einig sind, sagt er: „Dies ist wahrscheinlich sicher.“
Die Auswirkung: Dies ersetzte die falsche Konfidenz des Studenten durch einen echten, patientenspezifischen Zuverlässigkeitswert. Es musste nicht in das Gehirn des Studenten schauen oder den Test zweimal durchführen; es verglich lediglich die Argumentation der beiden Modelle.

Das Fazit: Das „Cold-Start-Problem“

Die Arbeit kommt zu dem Schluss, dass das Einsatz von LLMs auf strukturierte Daten (wie Tabellen mit Vitalwerten) einem „Cold Start“ gleicht.

Der Student besitzt das Wissen (er kennt die Medizin).
Aber ihm fehlt die Orientierung (er weiß nicht, auf welche Zahlen er achten muss).
Und ihm fehlt die Selbstwahrnehmung (er weiß nicht, wann er nur rät).

Die Arbeit legt nahe, dass wir die kluge, datengesteuerte Krankenschwester (XGBoost) nicht ersetzen müssen. Stattdessen sollten wir die Krankenschwester nutzen, um den Studenten zu leiten (indem wir ihm zeigen, welche Merkmale wichtig sind) und um den Studenten zu kalibrieren (um uns zu sagen, wenn seine Argumentation vom Weg abkommt). So entsteht ein System, in dem der Student lernt, seine eigenen Grenzen wirklich zu kennen.

Technisches Resümee: Detektion epistemischer Blinde Flecken mittels Cross-Model Attribution Divergence

Problemstellung

Obwohl Large Language Models (LLMs) vielversprechende Ansätze für die Beantwortung medizinischer Fragen und die Zusammenfassung von klinischen Notizen zeigen, bleibt ihre Anwendung auf strukturierte klinische Tabellendaten (z. B. elektronische Patientenakten) hinsichtlich der epistemischen Selbstwahrnehmung untererforscht. Vorherige Forschungsarbeiten haben etabliert, dass baumbasierte Modelle (z. B. XGBoost) bei tabellarischen Vorhersageaufgaben konsistent besser abschneiden als LLMs, doch diese Performance-Lücke wurde bisher weitgehend als monolithischer Aggregatwert (z. B. niedrigerer AUROC) behandelt, ohne die zugrunde liegende epistemische Struktur zu untersuchen.

Das Kernproblem, das hier adressiert wird, ist, ob LLMs in der Lage sind, die Grenzen ihres eigenen Wissens bei strukturierten Aufgaben zu erkennen. Konkret untersucht die Arbeit, ob LLMs zwischen Fällen unterscheiden können, in denen sie wahrscheinlich korrekt oder falsch liegen, und ob ihre verbalisierten Konfidenzsignale zuverlässige Indikatoren für die Vorhersagequalität im klinischen Kontext sind. Die Autoren rahmen dies als ein „Cold Start“-Problem: LLMs besitzen zwar relevantes medizinisches Wissen, aber es mangelt ihnen an der Richtung (Feature-Attention) und den Selbstbewertungsmechanismen, die erforderlich sind, um dieses Wissen auf strukturierte Daten anzuwenden.

Methodik

Daten und Aufgabe

Die Studie nutzt die MIMIC-IV klinische Datenbank, um eine Aufgabe zur Vorhersage einer akuten Nierenschädigung (Acute Kidney Injury, AKI) zu replizieren.

Datensatz: Ein balancierter Kohortensatz von 10.000 Begegnungen (5.000 pro Klasse), abgeleitet aus ca. 209.000 Aufnahmen.
Features: 321 Features, einschließlich Vitalparametern, Demografie, CCS-Diagnosecodes und diskretisierten Laborwerten.
Split: Ein 80/20 Train-Test-Split für XGBoost; ein 15 %-Subset (n=300) aus dem Testset wurde für die LLM-Evaluierung verwendet.
Baseline: Ein XGBoost-Klassifikator, trainiert auf den 50 einflussreichsten Variablen, der einen AUROC von ~0,85 und eine Genauigkeit von ~0,823 auf dem Evaluierungs-Subset erreichte.

Experimentelles Setup

Die Autoren evaluierten Qwen 2.5 7B Instruct (lokal gehostet) über vier Prompting-Bedingungen:

Zero-Shot (ZS): Serialisierte Patientenmerkmale mit einem Vorhersage-Prompt.
ZS + SHAP: Der ZS-Prompt, ergänzt um die Top-5 SHAP-Features, deren Wichtigkeitsscores und die richtungsgebende Wirkung aus dem XGBoost-Modell.
Few-Shot (FS): Der ZS-Prompt ergänzt durch vier klassengleiche, gelabelte Beispiele.
FS + SHAP: Kombination aus Few-Shot-Beispielen und SHAP-Feature-Injektion.

Anforderungen an den Output: Für jeden Fall wurde das LLM angewiesen, eine binäre Vorhersage, einen verbalisierten Konfidenzwert (0–1) sowie eine rangierte Liste der Top-5-Features inklusive der Risikorichtungen zu generieren. Die Ausgaben wurden mittels strukturiertem JSON erzwungen.

Metriken und Analyse

Attribution Disagreement Score (ADS): Quantifiziert die Übereinstimmung zwischen den SHAP-Attributionen von XGBoost und den selbst berichteten Feature-Rankings des LLM mittels der Kendall-Rangkorrelation ( $\tau$ ). $ADS = 1 - \tau$ .
Kalibrierung: Gemessen via Expected Calibration Error (ECE) und AUROC zur Unterscheidung zwischen korrekten und inkorrekten Vorhersagen.
Cross-Model Calibrator: Ein leichtgewichtiges Modell (Logistische Regression oder XGBoost), das darauf trainiert wurde, die Wahrscheinlichkeit der LLM-Korrektheit ( $P(\text{LLM correct})$ ) unter Verwendung von Cross-Model-Features (ADS, Jaccard-Überlappung, Richtungsübereinstimmung, Differenzen in der Konfidenz etc.) vorherzusagen.

Zentrale Ergebnisse

1. Verbalisierte Konfidenz von LLMs ist epistemisch leer (vacuous)

Die Studie stellt fest, dass die verbalisierte Konfidenz des LLM vollständig durch das Prompt-Template bestimmt wird, nicht durch die Qualität der Vorhersage.

Beobachtung: Die Konfidenzwerte blieben nahezu konstant (0,856 für Zero-Shot; 0,937 für Few-Shot), unabhängig davon, ob die Genauigkeit 49 % oder 75,3 % betrug.
Implikation: Bei klinischen Tabellendaten trägt die verbalisierte Konfidenz keinerlei Information über die Korrektheit. Sie folgt dem Prompt-Format statt dem epistemischen Zustand, was sie für nachgelagerte Entscheidungsfindungen unbrauchbar macht.

2. Der inverse Schwierigkeitseffekt

Es gibt eine kontraintuitive Beziehung zwischen der Datenschwierigkeit und der Performance des LLM im Vergleich zu XGBoost.

Beobachtung: Wenn XGBoost hochkonfident (>0,85) und fast immer korrekt ist (99 % Genauigkeit), sinkt die Genauigkeit des LLM auf 64,8 %. Wenn XGBoost hingegen moderat unsicher ist (Konfidenz 0,70–0,85), erreicht das LLM eine vergleichbare Performance (73,8 % vs. 73,1 %).
Implikation: Die Modelle weisen komplementäre Fehlermodi auf. Das LLM hat Schwierigkeiten mit datenspezifischen Verteilungsmustern, die XGBoost gelernt hat, bietet aber echten Mehrwert in der „Unsicherheitszone“ von XGBoost, in der allgemeines medizinisches Wissen ausreicht. Das LLM kann diese Zonen jedoch nicht selbst identifizieren.

3. Super-additive Attributions-Ausrichtung

Few-Shot-Beispiele und SHAP-basierte Evidenz wirken als orthogonale, super-additive Interventionen.

Beobachtung:
- Few-Shot: Verbessert das Verständnis der Aufgabe (Mapping von Features zu Vorhersagen), verändert aber die Feature-Attention kaum (die Jaccard-Überlappung steigt nur geringfügig).
- SHAP-Injektion: Lenkt die Feature-Attention effektiv um (Jaccard-Überlappung springt auf 0,658), führt aber zu einer „oberflächlichen Übernahme“ (das LLM kopiert die Attributionen verbal, ohne die Vorhersagen signifikant anzupassen).
- Kombination (FS + SHAP): Der kombinierte Effekt auf die Reduktion des ADS (Reduktion um 1,158) übersteigt die Summe der Einzeleffekte (0,796). Diese Kombination erreicht eine Genauigkeit von 75,3 % und einen ADS von 0,378.
Implikation: Die Lösung des „Cold Start“-Problems erfordert sowohl Aufgaben-Demonstrationen (Richtung) als auch strukturierte Modell-Evidenz (Orientierung).

4. Cross-Model Kalibrierung via Attributionsdivergenz

Signale der Attributionsdivergenz können ein effektives externes Kalibrierungssystem speisen.

Beobachtung: Ein Cross-Model Calibrator, der Attributionsdivergenz-Features nutzt, reduzierte den Expected Calibration Error (ECE) von 0,254 (rohes LLM) auf 0,080. Der Calibrator erreichte einen AUROC von 0,71 bei der Vorhersage, ob das LLM korrekt sein würde.
Implikation: Patientenspezifische Zuverlässigkeitsschätzungen können generiert werden, ohne auf interne LLM-Prozesse zuzugreifen oder wiederholte Inferenzen durchzuführen, wodurch die uninformative konstante Konfidenz durch einen aussagekräftigen Zuverlässigkeitswert ersetzt wird.

Bedeutung und Ansprüche

Die Arbeit rahmt diese Ergebnisse als Charakterisierung eines „Cold Start“-Problems für LLMs auf strukturierten Daten. Das LLM besitzt latentes medizinisches Wissen, aber es mangelt ihm an dem Mechanismus, sich innerhalb des Feature-Raums zu orientieren oder seine eigene Zuverlässigkeit einzuschätzen.

Diagnostische Grundlage: Die Arbeit etabliert ein diagnostisches Framework zur Identifikation epistemischer Blinder Flecken (fehlgeleitete Aufmerksamkeit, fehlende Selbstbewertung) anstatt lediglich Performance-Lücken zu messen.
Praktischer Nutzen: Sie zeigt, dass bestehende strukturierte Modelle (wie XGBoost) in klinischen Workflows eine Doppelfunktion erfüllen können: als Quelle für Richtung (via Attribution-Injektion) und als Kalibrierungssignal (via Cross-Model Divergenz) für LLMs.
Epistemische Selbstwahrnehmung: Die Autoren argumentieren, dass aktuelle LLMs auf strukturierten Aufgaben keine echte epistemische Selbstwahrnehmung besitzen. Der vorgeschlagene Weg nach vorn besteht darin, Cross-Model Kalibrierungsziele als Belohnungssignale für Reinforcement Learning (RL) zu nutzen, um LLMs potenziell beizubringen, kalibrierte Unsicherheit in Zukunft zu internalisieren.

Die Studie ist in ihrem Umfang bescheiden, evaluiert ein einzelnes Modell (Qwen 2.5 7B) auf einer einzigen Aufgabe (AKI) mit einem begrenzten Stichprobenumfang (n=300). Sie räumt Limitationen ein, wie etwa die Selbstberichterstattung der Feature-Attributionen und den vorläufigen Charakter des Calibrators, und positioniert diese Arbeit als einen grundlegenden Schritt hin zu einer breiteren Forschung über epistemische Intelligenz für strukturierte Daten.