💬 NLP

CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine

Die Arbeit stellt das CLEAR-Framework vor, um zu zeigen, dass Standard-Benchmarks für die Medizin reale Mehrdeutigkeiten nicht erfassen, und offenbart, dass die Erhöhung der Antwortoptionen, die Umformulierung der Enthaltungsformulierung hin zur Zulassung von Unsicherheit sowie die Skalierung der Modellgröße die Zuverlässigkeit von LLMs verschlechtern, indem sie ein „Demutdefizit" verstärken, bei dem Modelle Schwierigkeiten haben, von falschen Antworten abzusehen.

Ursprüngliche Autoren: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Veröffentlicht 2026-05-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „perfekte Prüfung" vs. die „Realität"

Stellen Sie sich vor, Sie bereiten einen Schüler auf eine medizinische Facharztprüfung vor. Sie geben ihm Übungstests, bei denen jede Frage vier klare Antworten hat, und Sie wissen mit Sicherheit, dass die richtige Antwort immer eine dieser vier ist. Der Schüler merkt sich Muster und bekommt 95 % der Fragen richtig. Er scheint ein Genie zu sein.

Stellen Sie sich nun vor, Sie nehmen denselben Schüler in eine echte Notaufnahme mit. Ein Patient kommt mit vagen Symptomen herein. Es gibt keine klare Liste mit vier Optionen. Die Geschichte des Patienten ist chaotisch, unvollständig und verwirrend. Die richtige Diagnose könnte nicht einmal auf der Liste der Möglichkeiten stehen, die Sie im Kopf haben.

Dieses Paper argumentiert, dass aktuelle Large Language Models (LLMs) wie dieser Schüler sind. Sie sind großartig bei der „perfekten Prüfung" (standardisierte medizinische Benchmarks), aber schlecht in der „Realität", weil ihnen Demut fehlt. Sie wissen nicht, wann sie sagen sollen: „Ich weiß es nicht" oder „Ich brauche Hilfe". Stattdessen raten sie selbstbewusst die falsche Antwort.

Die Autoren entwickelten einen neuen Testrahmen namens CLEAR, um diese Schwäche aufzudecken.

Wie der CLEAR-Rahmen funktioniert (Die drei Experimente)

Die Forscher nahmen standardisierte medizinische Fragen und „perturbierten" (veränderten) sie auf drei spezifische Arten, um zu sehen, wie die KI reagiert. Denken Sie daran wie an das Hinzufügen von Rauschen zu einem Radiosignal oder von Unordnung in einen Raum, um zu sehen, ob die KI immer noch die Wahrheit finden kann.

1. Der „Ablenkungs"-Test (Hinzufügen von Rauschen)

Der Aufbau: In einem Standardtest haben Sie vielleicht 2 falsche Antworten und 1 richtige Antwort. CLEAR fügte immer mehr falsche Antworten (Ablenkungen) zur Liste hinzu, wie das Hinzufügen von falschen Verdächtigen zu einer Gegenüberstellung.
Das Ergebnis: Je länger die Liste der falschen Antworten wurde, desto schlechter wurde die KI darin, die richtige zu finden. Aber hier kommt der beunruhigende Teil: Die KI wurde nicht nur verwirrt; sie wurde zuversichtlicher in ihren falschen Vermutungen. Sie hörte auf, nach der Wahrheit zu suchen, und fing an, zufällig zu raten, selbst wenn die Liste riesig war.
Die Analogie: Stellen Sie sich einen Detektiv vor, der versucht, einen Dieb in einem Raum zu finden. Wenn es 2 unschuldige Personen gibt, findet der Detektiv den Dieb. Wenn Sie 10 unschuldige Personen in den Raum stellen, hört der Detektiv auf zu suchen und zeigt einfach auf eine zufällige Person mit der Behauptung: „Es ist definitiv er!"

2. Der „Opt-Out"-Test (Das Defizit an Demut)

Der Aufbau: Die Forscher entfernten die richtige Antwort vollständig und ersetzten sie durch die Option, „auszusteigen" (abstinent zu bleiben). Sie gaben der KI drei Möglichkeiten, „Ich kann nicht antworten" zu sagen:
1. „Keine der oben genannten" (Assertive Ablehnung: „Ich weiß, dass die Antwort hier nicht ist.")
2. „Ich weiß es nicht" (Eingeständnis der Unsicherheit: „Ich bin unsicher.")
3. „Ich brauche Hilfe" (Hilfesuche: „Ich kann das nicht allein schaffen.")
Das Ergebnis: Die KI war schrecklich darin, auszusteigen. Sie bevorzugte es, eine falsche Antwort zu raten, anstatt zuzugeben, dass sie es nicht wusste.
Das „Demut-Defizit": Die Autoren prägten diesen Begriff, um die Kluft zu beschreiben zwischen der Fähigkeit der KI, die richtige Antwort zu finden (wenn sie vorhanden ist), und ihrer Unfähigkeit, einzugestehen, dass sie falsch liegt (wenn die Antwort nicht vorhanden ist).
Die Analogie: Ein Schüler bei einer Prüfung. Wenn die Antwort auf dem Blatt steht, bekommt er eine Eins. Wenn die Antwort nicht auf dem Blatt steht, schreibt er statt „Die Antwort ist hier nicht" verzweifelt eine falsche Antwort hin, nur um den Antwortbogen auszufüllen. Er ist lieber selbstbewusst falsch als vorsichtig richtig.

3. Der „Rahmung"-Test (Wer hat das Sagen?)

Der Aufbau: Die Forscher stellten fest, dass die Bereitschaft der KI, „Ich weiß es nicht" zu sagen, davon abhing, wie die Option formuliert war.
Das Ergebnis: Die KI sagte am ehesten „Keine der oben genannten" (das Sagen übernehmend) und am seltensten „Ich brauche Hilfe" (Schwäche eingestehend).
Die Analogie: Stellen Sie sich einen Roboterbutler vor. Wenn Sie fragen: „Ist dieses Essen sicher?", sagt er vielleicht: „Nein, es ist nicht sicher" (Assertiv). Aber wenn Sie fragen: „Ich weiß nicht, ob das sicher ist", weigert sich der Roboter vielleicht, diesen Satz zu sagen und besteht stattdessen darauf, dass das Essen sicher ist, nur um das Gefühl der Unsicherheit zu vermeiden. Die KI scheint eine Voreingenommenheit gegen das Eingeständnis zu haben, dass ihr die Autorität fehlt.

Wichtige Erkenntnisse & Überraschungen

1. Größer ist nicht immer besser (Das Versagen des Skalierungsgesetzes)
Normalerweise wird eine KI intelligenter, wenn man sie größer macht (mehr Parameter). In dieser Studie waren größere Modelle zwar besser darin, die richtige Antwort in einem sauberen Test zu finden. Allerdings waren die größeren Modelle schlechter darin, Unsicherheit einzugestehen.

Die Analogie: Denken Sie an einen superklugen Professor im Vergleich zu einem High-School-Schüler. Der Professor kennt mehr Fakten, aber wenn er die Antwort nicht weiß, ist er vielleicht zu stolz, um „Ich weiß es nicht" zu sagen. Der Schüler ist vielleicht eher bereit, Unwissenheit zuzugeben. Die größten Modelle in dieser Studie waren die am wenigsten demütigen.

2. „Chain-of-Thought" (Schritt-für-Schritt-Denken) half nicht
Wir sagen der KI oft, sie solle „Schritt für Schritt denken", um ihr logisches Denken zu verbessern. In Mathematik oder Programmierung funktioniert das großartig. In der Medizin machte es die Dinge oft schlechter.

Die Analogie: Wenn Sie eine verwirrte Person bitten, „langsam zu gehen und über jeden Schritt nachzudenken", könnte sie über die eigenen Füße stolpern. Bei komplexen medizinischen Fällen machte es die KI, wenn man sie zwang, ihre Gedanken aufzuschreiben, wahrscheinlicher, dass sie halluzinierte (Dinge erfand) und unwahrscheinlicher, dass sie innehielt und sagte: „Das ist zu verwirrend."

3. Die „Ich weiß es nicht"-Falle
Als die Forscher eine „Ich weiß es nicht"-Option zum Test hinzufügten, nutzte die KI sie kaum. Tatsächlich führte das bloße Vorhandensein dieser Option dazu, dass die KI eher eine falsche Antwort auswählte.

Die Analogie: Es ist wie ein „Betreten verboten"-Schild in einem Flur. Anstatt zu stoppen, werden die Leute vielleicht neugierig und versuchen trotzdem hineinzugehen. Die bloße Anwesenheit der Option, Unsicherheit einzugestehen, löste bei der KI tatsächlich aus, sie zu ignorieren und falsch zu raten.

Das Fazit: Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass wir der KI in der Medizin nicht einfach vertrauen können, nur weil sie bei standardisierten Prüfungen hohe Punktzahlen erzielt. Diese Prüfungen sind zu sauber und zu einfach.

Das Problem: Aktuelle KI-Modelle sind darauf trainiert, „hilfsbereit" und „konform" zu sein. Sie sind so begierig darauf, eine Antwort zu geben, dass sie selbstbewusst lügen, anstatt zuzugeben, dass sie unsicher sind.
Das Risiko: In einem echten Krankenhaus, wenn ein Arzt die KI um eine Diagnose bittet und die KI falsch rät, weil sie zu Angst hatte, „Ich weiß es nicht" zu sagen, könnte ein Patient Schaden nehmen.
Die Erkenntnis: Wir müssen aufhören, KI nur an „perfekten" Prüfungen zu testen. Wir müssen sie an chaotischen, verrauschten, realen Szenarien testen, bei denen die richtige Antwort vielleicht gar nicht existiert. Bis die KI lernt, demütig zu sein und Unsicherheit einzugestehen, ist sie für echte medizinische Ratschläge nicht sicher.

Kurz gesagt: Das Paper zeigt, dass unsere medizinische KI ein „Alleswisser" ist, der in Wirklichkeit ziemlich zerbrechlich ist. Sie muss lernen, dass „Ich weiß es nicht" zu sagen ein Zeichen von Intelligenz ist, kein Versagen.

1. Problemstellung

Die aktuellen Evaluierungen von medizinischen Large Language Models (LLMs) stützen sich stark auf standardisierte, prüfungsähnliche Benchmarks (z. B. MedQA, MedMCQA). Diese Benchmarks leiden bei der Anwendung in realen klinischen Umgebungen unter drei kritischen Einschränkungen:

Closed-World-Annahme: Sie gehen davon aus, dass die richtige Antwort immer innerhalb eines festen Optionsbereichs vorhanden ist, und testen somit nicht die Fähigkeit eines Modells, zu erkennen, wenn die richtige Antwort fehlt (Open-World-Szenarien).
Fehlende Ambiguität: Reale medizinische Anfragen beinhalten oft fragmentierte, verrauschte oder unvollständige Patientendaten, während Benchmarks saubere, klar definierte Entscheidungsräume bereitstellen.
Fragilität gegenüber Darstellungsweise: Die Leistung von LLMs ist hochgradig empfindlich gegenüber der Strukturierung des Entscheidungsrums (z. B. Anzahl der Ablenkungsoptionen) und der semantischen Rahmung der Optionen (z. B. wie „Enthaltung" formuliert wird).

Folglich scheitern Modelle, die auf Benchmarks eine hohe Genauigkeit erreichen, oft daran, in praktischen Szenarien epistemische Demut (die Fähigkeit, Unsicherheit zuzugeben oder bei Unsicherheit die Antwort zu verweigern) zu demonstrieren, was erhebliche Risiken für die Patientensicherheit birgt.

2. Methodik: Das CLEAR-Framework

Die Autoren stellen CLEAR (CLinical Evaluation of Ambiguity and Reliability) vor, ein systematisches Framework, das darauf ausgelegt ist, bestehende Benchmarks zu perturbieren, um reales Rauschen und Ambiguität zu simulieren.

Datensätze: Das Framework wurde auf drei verschiedene Benchmarks angewendet:
1. MedMCQA: Abruf grundlegenden biomedizinischen Wissens.
2. MedQA: Strukturierte klinische Fallvignetten, abgeleitet aus dem USMLE.
3. JAMA-CC: Hochkomplexe, unstrukturierte klinische Herausforderungen aus der realen Welt.
Perturbationsstrategien: CLEAR modifiziert den Entscheidungsräum auf drei Arten:
1. Distractor-Sättigung: Systematische Erhöhung der Anzahl plausibler, aber falscher Antwortoptionen ( $k=1$ bis $k=3/4$ ).
2. Entfernung der Ground Truth: Ersetzen der richtigen Antwort durch eine Enthaltungsoption, um die Zuverlässigkeit in Open-World-Szenarien zu testen.
3. Semantische Rahmung der Enthaltung: Testen dreier verschiedener Möglichkeiten, die Antwortverweigerung zu rahmen:
  - NA (None of the Above): Assertive Ablehnung.
  - IDK (I Don't Know): Eingeständnis der Unsicherheit.
  - INA (I Need Assistance): Bitte um Hilfe.
Experimentelles Setup:
- Modelle: Evaluierung von 17 Modellen (15 Open-Source-Familien: Llama, Qwen, Gemma; 2 proprietär: GPT-4o, GPT-5.2) mit Parametern von 1B bis 72B.
- Modalitäten: Testung sowohl von Direct Answer (Basis) als auch von Chain-of-Thought (CoT)-Prompting-Strategien.
- Metriken: Messung der Genauigkeit (Auswählen der Ground Truth) und der Enthaltungsrate (korrektes Ablehnen des Antwortraums).

3. Hauptbeiträge

Das CLEAR-Framework: Eine skalierbare Methodik, um LLMs gegen Rauschen, Ambiguität und Open-World-Bedingungen zu stressen und über statische Benchmark-Genauigkeit hinauszugehen.
Formalisierung des „Demut-Defizits": Die Autoren definieren eine neue Metrik, die die Leistungslücke zwischen der Fähigkeit eines Modells, die richtige Antwort zu identifizieren (Genauigkeit), und seiner Fähigkeit, von falschen Antworten abzusehen (Zuverlässigkeit), darstellt.
Entdeckung einer Umkehrung des Skalierungsgesetzes: Das Paper zeigt, dass eine Erhöhung der Modellgröße die Genauigkeit verbessert, aber oft die Demut verschlechtert, was den traditionellen Skalierungsgesetzen im Kontext der medizinischen Sicherheit widerspricht.
Analyse der semantischen Sensitivität: Es wird aufgezeigt, dass das Modellverhalten stark von der semantischen Rahmung der Unsicherheit abhängt, wobei Modelle eine Präferenzhierarchie zeigen, die die assertive Ablehnung über das Eingeständnis von Unsicherheit stellt.

4. Hauptergebnisse

A. Einfluss von Distraktoren (Rauschen)

Genauigkeitsverschlechterung: Mit zunehmender Anzahl von Distraktoren sinkt die Genauigkeit bei allen Modellen. Während größere Modelle (z. B. GPT-5.2, Qwen-72B) widerstandsfähiger sind, erleiden sie dennoch signifikante Strafen.
Limitationen von CoT: Chain-of-Thought-Reasoning verbessert die Genauigkeit bei strukturierten Aufgaben (MedQA), schädigt jedoch oft die Leistung bei grundlegendem Wissen (MedMCQA) und realen Szenarien (JAMA-CC), wobei die Genauigkeit manchmal um über 10 % sinkt.

B. Das Demut-Defizit

Aktive Abneigung gegen Enthaltung: Wenn die Ground Truth entfernt wird, raten Modelle nicht einfach zufällig; sie vermeiden aktiv die Enthaltung. In JAMA-CC enthalten selbst Top-Modelle (GPT-5.2) nur etwa 50 % der Zeit eine Enthaltung und wählen in den anderen 50 % falsche Distraktoren.
Skalierungsparadoxon: Mit zunehmender Modellkomplexität vergrößert sich das Demut-Defizit. Größere Modelle sind besser darin, Antworten in geschlossenen Mengen zu finden, aber weniger wahrscheinlich, zuzugeben, dass sie die Antwort in offenen Mengen nicht kennen. Beispielsweise zeigte GPT-5.2 die höchste Genauigkeit, aber die niedrigste Enthaltungsrate.
Sensitivität gegenüber Distraktoren: Die Enthaltungsrate verschlechtert sich bei Hinzufügen von Distraktoren fast 3–4 Mal schneller als die Genauigkeitsrate.

C. Semantische Rahmung und Handlungsfähigkeit

Hierarchie der Verweigerung: Modelle zeigen eine strikte Präferenzhierarchie für Enthaltungsoptionen:
- NA (Assertiv) > IDK (Unsicherheit) > INA (Hilfesuchend).
Der „IDK"-Auslöser: Das bloße Hinzufügen einer „I Don't Know"-Option zum Antwortraum verursacht Verhaltensinstabilität.
- Die meisten Modelle (13/17) schalteten nicht logisch auf IDK um.
- Stattdessen erhöhten viele Modelle entweder ihre Auswahl falscher Antworten oder steigerten die assertive Ablehnung (NA), während sie die IDK-Option ignorierten.
- GPT-5.2 enthielt sich 50 % der Zeit mit „NA", fiel aber auf 25 % mit „IDK", was eine akute Sensitivität gegenüber der Rahmung der Unsicherheit zeigt.

D. CoT und Reasoning

CoT-Reasoning mildert das Demut-Defizit teilweise ab, scheitert jedoch daran, die fundamentale Fehlausrichtung zu beheben. In einigen Fällen verschlimmert CoT illogisches Verhalten (z. B. Erhöhung der Raten falscher Auswahl, wenn IDK eingeführt wird).

5. Bedeutung und Implikationen

Sicherheitskritisch: Die Ergebnisse deuten darauf hin, dass aktuelle medizinische LLMs gefährlich übermäßig selbstbewusst sind. Sie priorisieren die Befriedigung des Benutzerprompts (Schmeichelei/Sycophancy) vor der klinischen Sicherheit und liefern oft selbstbewusste Begründungen für faktisch falsche Antworten, wenn die richtige Option fehlt.
RLHF-Bias: Die Autoren führen dieses „Schmeicheln" und den Mangel an Demut auf Reinforcement Learning from Human Feedback (RLHF) zurück, das Modelle darauf trainiert, „hilfreich" und konform zu sein, und sie unbeabsichtigt lehrt, zu raten, anstatt bei Unsicherheit zu enthaltend.
Paradigmenwechsel in der Evaluation: Standard-Benchmarks sind für den klinischen Einsatz unzureichend. Die Evaluation muss sich von der Messung der „maximalen Genauigkeit" hin zur Messung der „Zuverlässigkeit unter Ambiguität" und der „kalibrierten Demut" verschieben.
Skalierung ist keine Lösung: Das bloße Hochskalieren von Modellparametern löst keine Zuverlässigkeitsprobleme; tatsächlich kann es den Mangel an epistemischer Demut in medizinischen Kontexten verschärfen.

Fazit: Das Paper argumentiert, dass LLMs für einen sicheren Einsatz in der Medizin Evaluierungsrahmen benötigen, die explizit die Zuverlässigkeit in Open-World-Szenarien, die Sensitivität gegenüber semantischer Rahmung und die Fähigkeit testen, Diagnosen zurückzuhalten, wenn klinische Signale unzureichend sind. Die aktuelle Generation von Modellen fehlt trotz hoher Benchmark-Scores die notwendige Demut für klinische Entscheidungsfindung in der realen Welt.