💬 NLP

Mitigating Hallucinations in Healthcare LLMs with Granular Fact-Checking and Domain-Specific Adaptation

Dieser Beitrag stellt ein llspezifisches Framework für das Gesundheitswesen vor, das ein auf MIMIC-III trainiertes, mit LoRA feinabgestimmtes Zusammenfassungsmodell mit einem unabhängigen, granular arbeitenden Faktenprüfmodul kombiniert, um Halluzinationen signifikant zu reduzieren und die Zuverlässigkeit klinischer Ausgaben sicherzustellen.

Ursprüngliche Autoren: Musarrat Zeba, Abdullah Al Mamun, Kishoar Jahan Tithee, Debopom Sutradhar, Mohaimenul Azam Khan Raiaan, Saddam Mukta, Reem E. Mohamed, Md Rafiqul Islam, Yakub Sebastian, Mukhtar Hussain, Sami Azam

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Musarrat Zeba, Abdullah Al Mamun, Kishoar Jahan Tithee, Debopom Sutradhar, Mohaimenul Azam Khan Raiaan, Saddam Mukta, Reem E. Mohamed, Md Rafiqul Islam, Yakub Sebastian, Mukhtar Hussain, Sami Azam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „selbstbewusste, aber falsche" Arzt

Stellen Sie sich einen brillanten, schnell redenden Medizinstudenten vor, der jedes Buch in der Bibliothek gelesen hat. Er kann den gesamten Krankenhausaufenthalt eines Patienten in Sekunden zusammenfassen. Allerdings hat dieser Student eine gefährliche Angewohnheit: er erfindet manchmal Dinge.

In der Welt der Künstlichen Intelligenz (KI) nennt man dies eine „Halluzination". Die KI könnte selbstbewusst behaupten, ein Patient habe 50 mg eines Medikaments erhalten, obwohl er tatsächlich nur 10 mg bekam, oder sie könnte behaupten, ein Patient habe eine Operation gehabt, die nie stattgefunden hat. Im Gesundheitswesen können diese kleinen Lügen zu großen, gefährlichen Fehlern führen.

Die Lösung: Ein zweistufiges Sicherheitssystem

Die Autoren dieses Papiers haben ein System entwickelt, um diese Lügen zu stoppen. Stellen Sie es sich als ein Zwei-Personen-Team vor, das zusammenarbeitet:

Der Geschichtenerzähler (Der Generator): Dies ist eine spezialisierte KI, die speziell auf medizinische Aufzeichnungen trainiert wurde. Ihre Aufgabe ist es, eine Zusammenfassung dessen zu verfassen, was mit einem Patienten geschehen ist.
Der strenge Redakteur (Der Faktenprüfer): Dies ist der Star der Show. Im Gegensatz zum Geschichtenerzähler verwendet der Redakteur keine KI, um die Arbeit zu überprüfen. Stattdessen nutzt er einen starren Satz von Logikregeln, wie ein Detektiv mit einer Lupe.

Wie der „strenge Redakteur" funktioniert

Der Redakteur liest nicht einfach die Zusammenfassung und rät, ob sie sich richtig anfühlt. Er zerlegt die Geschichte in winzige, atomare Fakten, die „Propositionen" genannt werden.

Die Analogie: Stellen Sie sich die medizinische Aufzeichnung des Patienten (die Quelle der Wahrheit) als einen riesigen, organisierten Aktenschrank vor. Die Zusammenfassung ist ein handschriftlicher Zettel.
Der Prozess: Der Redakteur nimmt jeden einzelnen Satz aus dem handschriftlichen Zettel, zerlegt ihn in Teile (z. B. „Patient nahm 50 mg Lisinopril ein") und geht dann zum Aktenschrank, um die passende Datei zu finden.

Sobald er die passende Datei gefunden hat, führt er eine Reihe von Logiktests durch:

Der Mathe-Test (Numerische Prüfung): Stimmt die Zahl? Wenn der Zettel „50 mg" sagt, die Datei aber „10 mg" angibt, schlägt der Redakteur einen roten Stempel darauf: FEHLGESCHLAGEN.
Der Zeitreise-Test (Temporale Prüfung): Passen die Ereignisse in der richtigen Reihenfolge? Wenn der Zettel sagt „Der Patient wurde entlassen, bevor das Fieber sank", die Datei aber besagt, das Fieber sank nach der Entlassung, markiert der Redakteur dies. FEHLGESCHLAGEN.
Der „Ja/Nein"-Test (Verneinungsprüfung): Sagte der Zettel „Keine Antibiotika", während die Datei eindeutig „Antibiotika verabreicht" besagt? FEHLGESCHLAGEN.
Der Logik-Test (Implikationsprüfung): Wenn der Zettel besagt, der Patient hatte Lungenentzündung, so folgt logisch, dass ihm Antibiotika verabreicht werden mussten. Wenn der Zettel Lungenentzündung erwähnt, aber die Antibiotika vergisst, fängt der Redakteur das fehlende Stück auf. FEHLGESCHLAGEN.
Der „Hast du vergessen?"-Test (Vorhandenheitsprüfung): Wenn die Datei eine große Operation erwähnt, die Zusammenfassung aber gar nichts davon sagt, markiert der Redakteur das Auslassen. FEHLGESCHLAGEN.

Wenn eine Tatsache all diese Tests besteht, erhält sie einen grünen Stempel: Unterstützt. Wenn sie auch nur einen Test nicht besteht, erhält sie einen roten Stempel: Nicht unterstützt.

Warum das besonders ist

Die meisten anderen Systeme versuchen, dieses Problem zu lösen, indem sie eine andere KI bitten, die erste KI zu überprüfen. Aber das ist so, als würde man einen Schüler bitten, seine eigene Hausaufgaben zu korrigieren; beide könnten denselben Fehler machen oder zu höflich sein, um Fehler zu erkennen.

Das System dieses Papiers ist einzigartig, weil der Faktenprüfer „LLM-frei" ist. Er rät nicht oder „fühlt" nicht, ob etwas richtig ist. Er verwendet harte, mathematische Logik und direkte Vergleiche mit den ursprünglichen medizinischen Aufzeichnungen. Es ist wie ein Taschenrechner, der eine Matheaufgabe überprüft, anstatt dass ein Mensch die Antwort rät.

Die Ergebnisse

Das Team testete dieses System an Tausenden von echten Patientenakten (aus einer Datenbank namens MIMIC-III).

Der Geschichtenerzähler wurde sehr gut darin, Zusammenfassungen zu verfassen, die natürlich und genau klangen (hohe Punktzahlen bei standardisierten Sprachtests).
Der strenge Redakteur war unglaublich effektiv darin, Lügen aufzudecken. Er identifizierte unterstützte Fakten in 89 % der Fälle korrekt und fängt nicht unterstützte Lügen mit hoher Genauigkeit auf.

Das Fazit

Dieses Papier präsentiert ein Sicherheitsnetz für medizinische KI. Es hofft nicht nur, dass die KI die Wahrheit sagt; es zwingt die KI, jeden einzelnen Fakt gegen die ursprünglichen medizinischen Aufzeichnungen unter Verwendung strenger, nicht-KI-basierter Logik zu beweisen. Dies macht die endgültige Zusammenfassung für Ärzte viel sicherer, wenn sie Entscheidungen über die Patientenversorgung treffen.

Hinweis zu Einschränkungen: Die Autoren geben zu, dass dies zwar hervorragend für gängige medizinische Situationen funktioniert, aber bei extrem seltenen Krankheiten oder sehr komplexen, spezialisierten Fällen, bei denen die „Regeln" der Logik nicht so eindeutig sind, Schwierigkeiten haben könnte. Sie weisen auch darauf hin, dass das System derzeit Fehler nur markiert, aber sie nicht automatisch korrigiert; ein Mensch muss die roten Flaggen immer noch überprüfen.

Technische Zusammenfassung: Minderung von Halluzinationen in Gesundheitswesen-LLMs durch granulare Faktenprüfung und domänenspezifische Anpassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) in das Gesundheitswesen bietet erhebliches Potenzial zur Automatisierung klinischer Aufgaben, wie etwa der Zusammenfassung von Elektronischen Gesundheitsakten (EHR). Ein kritischer Hemmschuh für die Adoption ist jedoch die Neigung von LLMs, „Halluzinationen" zu erzeugen – selbstbewusst formulierte, aber faktisch falsche oder nicht verifizierte Informationen. In sicherheitskritischen Bereichen wie der Medizin können bereits geringfügige Ungenauigkeiten hinsichtlich Medikamentendosierungen, Diagnosen oder Laborwerten die Patientensicherheit gefährden und das Vertrauen der Kliniker untergraben.

Bestehende Ansätze zur Minderung von Halluzinationen stützen sich häufig auf LLM-basierte Evaluatoren, Retrieval-Augmented Generation (RAG) oder komplexe neuronale Verifizierungspipelines. Diese Methoden leiden oft unter Intransparenz, hohen Rechenkosten und einem Mangel an Nachvollziehbarkeit, da sie häufig von den probabilistischen Modellen abhängen, die sie eigentlich verifizieren sollen. Darüber hinaus operieren viele Evaluierungsrahmenwerke auf einer grobgranularen Ebene (z. B. PICO-Strukturen oder Ähnlichkeit auf Satzebene) und erkennen spezifische, granulare faktische Fehler wie falsche zeitliche Abfolgen oder numerische Diskrepanzen nicht.

2. Methodik

Der vorgeschlagene Rahmen adressiert diese Einschränkungen durch eine zweistufige, modulare Pipeline: einen domänenspezifischen Zusammenfassungs-Generator und ein unabhängiges, LLM-freies Faktenprüfmodul.

2.1. Domänenspezifische Zusammenfassung (Generator)

Um klinisch kohärente Zusammenfassungen zu generieren, wurde das LLaMA-3.1-8B-Modell mittels Low-Rank Adaptation (LoRA) feinabgestimmt.

Datensatz: Das Modell wurde auf 26.104 Entlassungsberichten trainiert, die aus der MIMIC-III-Datenbank extrahiert wurden und über 40.000 Patientenakten abdecken.
Technik: LoRA wurde eingesetzt, um trainierbare Low-Rank-Matrizen in die vortrainierten Gewichte einzufügen, wobei spezifisch die Query- ( $W_q$ ) und Value- ( $W_v$ ) Projektionsschichten des Aufmerksamkeitsmechanismus (Attention) angesprochen wurden. Dieser Ansatz ermöglicht eine effiziente Domänenanpassung, während der Großteil der Parameter eingefroren bleibt, was den Rechenaufwand und den Speicherverbrauch reduziert.
Optimierung: Das Modell wurde mit dem AdamW-Optimierer und einem Cosine-Learning-Rate-Scheduler optimiert, unter Verwendung von Mixed-Precision-Training (bfloat16) und Gradient Checkpointing.

2.2. LLM-freies Faktenprüfmodul (Verifizierer)

Die Kerninnovation ist ein Verifizierungssystem, das während der Evaluierungsphase unabhängig von jedem LLM operiert. Es fungiert als deterministische, regelbasierte Schicht, die generierte Zusammenfassungen gegen Ground-Truth-EHR-Daten validiert.

Propositionsextraktion: Sowohl die generierte Zusammenfassung als auch die Quell-EHR werden in atomare Propositionen zerlegt, definiert als Tupel: $p = (e, a, v, t)$ , repräsentierend Entität (z. B. Medikament), Attribut (z. B. Dosierung), Wert (z. B. 50 mg) und Zeit (z. B. „am Tag 2"). Diese Zerlegung erfolgt mittels deterministischer regelbasierter Pipelines und klinischer Named Entity Recognition (NER), nicht mittels generativer Modelle.
Ausrichtung: Propositionen der Zusammenfassung werden mit Propositionen der EHR unter Verwendung der Kosinusähnlichkeit auf Embeddings ausgerichtet, die von domänenspezifischen Encodern (BioClinicalBERT und Sentence-BERT) abgeleitet wurden. Dieser Schritt identifiziert den semantisch ähnlichsten Kandidaten zur Verifizierung, bestimmt jedoch für sich genommen nicht die faktische Richtigkeit.
Deterministische Konsistenzprüfungen: Sobald die Ausrichtung erfolgt ist, unterliegen Paare von Propositionen einer Reihe logischer und numerischer Prüfungen:
1. Verneinungsprüfung: Erkennt Widersprüche, bei denen eine Proposition das Vorhandensein und die andere das Fehlen behauptet (z. B. „keine Antibiotika" vs. „mit Antibiotika behandelt").
2. Implikationsprüfung: Überprüft klinisch abhängige Beziehungen (z. B. impliziert „Pneumonie" „Antibiotika").
3. Zeitliche Konsistenz: Stellt sicher, dass die chronologische Reihenfolge der Ereignisse in der Zusammenfassung mit der EHR übereinstimmt.
4. Gegenseitige Exklusivität: Markiert logisch inkompatible Zustände, die gleichzeitig auftreten (z. B. „intubiert" vs. „spontan atmend").
5. Numerische Konsistenz: Validiert exakte Übereinstimmungen für quantitative Werte und Einheiten (z. B. Kreatininwerte).
6. Vorhandenseinsprüfung: Erkennt klinisch signifikante Auslassungen, bei denen ein Schlüsselevent der EHR in der Zusammenfassung fehlt.
Urteilsbildung: Jede Proposition erhält ein binäres Urteil: Unterstützt (besteht alle Prüfungen) oder Nicht Unterstützt (besteht eine oder mehrere Prüfungen nicht).

3. Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

LLM-freies Faktenprüfmodul: Ein Verifizierungssystem, das diskrete Logik (Verneinungs-, Implikations-, Zeit-, numerische und Vorhandenseinsprüfungen) anwendet, um Propositionen unabhängig von LLMs zu evaluieren und somit Transparenz und Reproduzierbarkeit sicherstellt.
Deterministischer Verifizierungsmechanismus: Eine Pipeline, die Text in atomare Propositionen zerlegt, um einen Eins-zu-Eins-Vergleich zu ermöglichen und eine granulare Faktenprüfung zu erlauben, die über eine oberflächliche semantische Ähnlichkeit hinausgeht.
Domänenspezifische Anpassung: Ein feinabgestimmtes Zusammenfassungsmodell unter Verwendung von LoRA auf MIMIC-III-Daten, das klinisch genaue Zusammenfassungen mit reduzierten Halluzinationsraten generiert und dabei die Recheneffizienz beibehält.

4. Experimentelle Ergebnisse

Der Rahmen wurde auf einer Teilmenge von 104 Entlassungsberichten aus MIMIC-III evaluiert, die 3.786 extrahierte Propositionen umfassen.

4.1. Leistung der Zusammenfassung

Das mit LoRA feinabgestimmte LLaMA-3.1-8B-Modell zeigte eine starke Übereinstimmung mit Referenz-Zusammenfassungen:

ROUGE-1: 0,5797
ROUGE-2: 0,5580
ROUGE-L: 0,5618
BERTScore (F1): 0,9120
Diese Metriken deuten auf eine hohe lexikalische und semantische Treue zu den ursprünglichen klinischen Narrativen hin.

4.2. Leistung der Faktenprüfung

Das unabhängige Verifizierungsmodul erreichte auf dem Testset auf Propositionenebene folgende Metriken:

Präzision: 0,8904
Recall: 0,8234
F1-Score: 0,8556
Genauigkeit: 0,7913
Spezifität (Nicht-Unterstützt): 0,6949

4.3. Ablationsstudie

Eine Ablationsanalyse bestätigte die Notwendigkeit aller sechs Konsistenzprüfungen. Das Entfernen einer einzelnen Prüfung (insbesondere der Verneinungs- und der numerischen Konsistenzprüfung) führte zu einem signifikanten Leistungsabfall (z. B. sank die Präzision um über 8 %, wenn die numerische Prüfung entfernt wurde).

4.4. Expertenbewertung

Zwei klinische Experten bewerteten die generierten Zusammenfassungen und Propositionen:

Klinische Konsistenz: 93,27 % (97/104) der Zusammenfassungen wurden als klinisch korrekt eingestuft.
Richtigkeit der Propositionen: 95,8 % der extrahierten Propositionen waren korrekt.
Uneinigkeiten waren minimal und betrafen vorwiegend seltene Krankheiten oder komplexe zeitliche Abhängigkeiten.

4.5. Vergleich mit dem State-of-the-Art

Das vorgeschlagene Modul erreichte eine Genauigkeit von 79,13 % bei der MIMIC-III-Anspruchsverifizierungsaufgabe und übertraf mehrere bestehende Modelle, darunter:

Claude-2 (DOSSIER): 78,62 %
Claude-2: 70,65 %
CodeLlama-13B (DOSSIER): 65,76 %
MedAlpaca 7B: 46,74 %

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit eine transparente, reproduzierbare und interpretierbare Lösung für LLM-Halluzinationen im Gesundheitswesen bietet. Durch die Entkopplung des Verifizierungsprozesses von generativen Modellen vermeidet das System den „Black-Box"-Charakter LLM-basierter Evaluatoren. Der Rahmen ist als post-hoc-Sicherheitsschicht konzipiert, die Widersprüche (z. B. nicht übereinstimmende Dosierungen, ausgelassene Behandlungen) markieren kann, bevor ein Kliniker ein Dokument unterzeichnet.

Die Arbeit räumt bescheiden mit Einschränkungen ein und stellt fest, dass die Robustheit des Systems in hochspezialisierten Bereichen (z. B. seltene onkologische Subtypen oder komplexe Transplantationsfälle) abnehmen kann, wo Trainingsdaten spärlich sind oder domänenspezifische Ontologien unzureichend sind. Die Autoren betonen, dass das System zwar Inkonsistenzen effektiv identifiziert, derzeit jedoch als Detektor und nicht als selbstkorrigierender Agent fungiert, wobei die endgültige Entscheidung und etwaige Überarbeitungen klinischen Fachkräften vorbehalten bleiben.

Zusammenfassend zeigt die Studie, dass die Kombination eines parametereffizienten, domänenangepassten Generators mit einem deterministischen, propositionsebenenbasierten Faktenprüfer die Zuverlässigkeit KI-gestützter klinischer Zusammenfassungen erheblich steigern kann und einen gangbaren Weg zu einem sichereren Einsatz von LLMs in kritischen Gesundheitsumgebungen bietet.