💻 computer science

Retrieval, not hallucinations, will be the limiting factor for LLM-based clinical AI tools

Dieses Paper argumentiert, dass die primäre Einschränkung für auf LLMs basierende klinische KI-Werkzeuge nicht Halluzinationen sind, sondern das Versagen bei der präzisen Abfrage notwendiger patientenbezogener Daten, und drängt auf eine Verlagerung des Fokus hin zur Verbesserung von Recall und der Evaluierung von Retrieval-Prozessen.

Ursprüngliche Autoren: Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

Veröffentlicht 2026-07-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber anstelle eines Detektivs haben Sie einen superintelligenten Roboter-Assistenten. Dieser Roboter hat fast jedes Buch gelesen, das jemals geschrieben wurde, und kann wie ein Mensch sprechen. In der Welt der Medizin werden diese Roboter als Large Language Models (LLMs) bezeichnet. Man versucht, sie darauf zu trainieren, Ärzten zu helfen, indem sie Patientenakten lesen, zusammenfassen, was das Problem ist, und Behandlungen vorschlagen. Aber hier liegt der Haken: Der Roboter kann nicht die gesamte Datenbank des Krankenhauses auf einmal lesen, weil sie zu riesig ist. Bevor er also eine Frage beantwortet, muss er eine „Suchmannschaft“ ausschicken, um die spezifischen Seiten aus der Krankengeschichte des Patienten zu finden, die relevant sind. Dieser Prozess wird als Retrieval (Abruf) bezeichnet.

Betrachten Sie den Roboter als einen brillanten Koch und die Krankengeschichte des Patienten als eine riesige, chaotische Speisekammer. Der Koch (die KI) ist fantastisch im Kochen, aber wenn die Suchmannschaft (das Retrieval-System) vergisst, die Eier zurückzubringen, kann der Koch kein Omelett zubereiten, egal wie talentiert er ist. Lange Zeit war alle besorgt, dass der Koch einfach Zutaten erfinden könnte, die gar nicht existieren – wie zum Beispiel zu behaupten, er hätte „Einhorn-Eier“ verwendet, obwohl es keine gab. Dies nennt man eine Halluzination. Aber dieses Paper legt nahe, dass das Erfinden von Dingen zwar schlecht ist, die eigentliche, stille Gefahr aber darin besteht, dass der Koch reale Zutaten übersieht, weil die Suchmannschaft sie nicht gefunden hat. Wenn der Roboter vergisst, den Arzt darüber zu informieren, dass ein Patient allergisch gegen Penicillin ist, weil er diese Notiz in der riesigen Speisekammer nicht finden konnte, können die Folgen viel schlimmer sein als ein alberner erfundenen Fakt.

Die große Idee des Papers: Der stille Killer in der Speisekammer

Dieses Paper argumentiert, dass der größte Engpass für medizinische KI nicht die Tatsache ist, dass der Roboter Dinge erfindet (Halluzinationen), sondern dass der Roboter von vornherein nicht die richtigen Informationen findet (Recall-Fehler). Die Autoren, ein Team von Experten aus Universitäten und Kliniken, wollen die Diskussion von „Lügt die KI?“ hin zu „Hat die KI etwas Entscheidendes übersehen?“ verschieben.

Die zwei Arten von Fehlern

Um ihren Punkt zu verdeutlichen, vergleichen die Autoren KI-Fehler mit zwei klassischen Arten von Fehlern:

Der „Fehlalarm“ (Präzisionsfehler): Dies ist, wenn die KI etwas als wahr bezeichnet, das eigentlich falsch ist. In der medizinischen Welt ist dies die berühmte Halluzination. Zum Beispiel könnte die KI sagen: „Der Patient hat eine seltene tropische Krankheit“, obwohl er sie eigentlich nicht hat. Das ist beängstigend, aber meistens leicht zu erkennen. Wenn die KI etwas Abwegiges sagt, kann ein Arzt in die Quelldokumentation schauen und sagen: „Warte, das steht nicht in der Akte.“ Es ist, als würde der Koch behaupten, er habe ein geheimes Gewürz verwendet, das gar nicht in der Speisekammer ist; man kann einfach in die Speisekammer schauen und sehen, dass es fehlt.
Das „Stille Auslassen“ (Recall-Fehler): Dies ist, wenn die KI etwas Wichtiges weglässt, das tatsächlich in der Akte steht. Vielleicht hat der Patient eine schwere Allergie oder ein kritisches Laborergebnis von gestern, aber die KI erwähnt es einfach nicht. Dies ist der „stille Killer“. Warum? Weil die KI nichts sagt, könnte der Arzt annehmen, dass die Information nicht existiert. Es ist, als würde der Koch vergessen zu erwähnen, dass die Eier fehlen, sodass der Arzt annimmt, das Omelett sei in Ordnung, nur um später festzustellen, dass der Patient auf eine verborgene Zutat reagiert hat.

Das Paper weist darauf hin, dass wir gute Wege haben, um „Fehlalarme“ zu entlarven (indem wir die Quelldokumente prüfen), aber wir fast keine Möglichkeiten haben, um „stille Auslassungen“ zu entdecken. Wenn die Suchmannschaft eine bestimmte Notiz nicht findet, sieht die KI sie nie, und der Arzt erfährt nie, dass sie übersehen wurde. Es ist ein stilles Versagen.

Warum die Suchmannschaft das schwächste Glied ist

Die Autoren erklären, dass während der „Koch“ (das LLM) jeden Tag klüger und schneller wird, die „Suchmannschaft“ (das Retrieval-System) sich nicht annähernd so schnell verbessert.

Das Wachstum des Kochs: Die KI-Modelle entwickeln sich rasant weiter und werden besser darin, Sprache und Kontext zu verstehen.
Die Stagnation der Suchmannschaft: Die Werkzeuge, die genutzt werden, um durch Millionen von medizinischen Notizen zu suchen, verlassen sich immer noch auf ältere, langsamere Methoden. Selbst wenn wir neue Technologien einsetzen, um ihnen zu helfen, hat sich die grundlegende Art und Weise, wie sie Dokumente finden, kaum verändert.

Das Paper legt nahe, dass die Suchwerkzeuge, da sie hinterherhinken, zum schwächsten Glied werden. Da die Patientenakten länger und komplexer werden (dank besserer Technologie, die verschiedene Krankenhäuser verbindet), hat die Suchmannschaft einen noch schwierigeren Job. Wenn sie eine einzige entscheidende Notiz in einer massiven Datei übersehen, versagt das gesamte KI-System, und niemand merkt es, bis es zu spät ist.

Die Evaluierungsfalle

Einer der interessantesten Teile des Papers ist die Frage, wie schwer es ist, diese Systeme zu testen.

Den Koch testen: Es ist relativ einfach zu testen, ob ein Koch Zutaten erfindet. Man kann ihn bitten, ein Rezept zu schreiben, und prüfen, ob die Zutaten existieren.
Die Suchmannschaft testen: Es ist unglaublich schwierig zu testen, ob die Suchmannschaft etwas übersehen hat. Um zu wissen, ob sie eine Notiz übersehen hat, müssten Sie jede einzelne Notiz in der Krankengeschichte des Patienten selbst lesen, um zu sehen, was darin enthalten war. Da Patientenakten tausende von Seiten lang sein können, hat niemand die Zeit, dies für jeden KI-Test zu tun.

Die Autoren stellen fest, dass aktuelle Testmethoden oft nur prüfen, ob die KI einige gute Informationen gefunden hat, nicht aber, ob sie alle guten Informationen gefunden hat. Das bedeutet, wir könnten glauben, eine KI funktioniere perfekt, während sie in Wirklichkeit kritische Details auslässt.

Was die Autoren sagen (und nicht sagen)

Das Paper ist sehr vorsichtig darauf bedacht, nicht zu behaupten, dass Halluzinationen gelöst sind oder dass wir aufhören sollten, uns um sie zu sorgen. Sie geben zu, dass Halluzinationen ein „beunruhigendes Problem“ sind. Sie argumenten jedoch, dass wir derzeit so sehr von ihnen besessen sind, dass wir das größere, schwerer zu entdeckende Problem des Informationsverlusts ignorieren.

Sie behaupten nicht, bereits eine magische Lösung gefunden zu haben. Tatsächlich sagen sie, dass es derzeit keine perfekte Lösung für Recall-Fehler gibt. Der einzige Weg, zu 100 % sicher zu sein, dass eine KI nichts übersehen hat, besteht darin, dass ein Mensch die gesamte Patientenakte liest, was jedoch den Zweck der Nutzung von KI zur Zeitersparnis zunichtemacht. Das Paper legt nahe, dass wir neue Wege brauchen, um diese Systeme zu testen, vielleicht durch eine Mischung aus menschlichen Kontrollen und intelligenten automatisierten Werkzeugen, um sicherzustellen, dass uns keine „stillen Auslassungen“ entgleiten.

Das Fazit

Die wichtigste Erkenntnis ist eine Warnung: Achten Sie nicht nur darauf, ob die KI Sie anlügt; achten Sie darauf, ob die KI vergisst, Ihnen die Wahrheit zu sagen.

Da medizinische KI immer häufiger eingesetzt wird, glauben die Autoren, dass die größte Hürde nicht darin liegen wird, den Roboter klüger zu machen, sondern sicherzustellen, dass die Suchmannschaft des Roboters gründlich genug ist, um jedes einzelne Puzzleteil zu finden. Wenn wir das Retrieval-Problem nicht lösen, könnte selbst die fortschrittlichste KI der Welt ein lebensrettendes Detail übersehen – und wir würden es vielleicht nie erfahren.

Technisches Resümee: Retrieval als limitierender Faktor für LLM-basierte klinische KI statt Halluzinationen

Problemstellung
Der aktuelle Diskurs über Fehler in auf Large Language Models (LLM) basierender klinischer Künstlicher Intelligenz (KI) konzentriert sich überwiegend auf Präzisionsfehler, insbesondere auf „Halluzinationen“ (Typ-I-Fehler), bei denen das Modell Behauptungen generiert, die nicht durch Patientendaten gestützt werden. Dieses Paper argumentiert jedoch, dass Recall-Fehler (Typ-II-Fehler) – also Fälle, in denen das System versäumt, kritische Patienteninformationen abzurufen oder einzubeziehen, die in der elektronischen Patientenakte (EHR) vorhanden sind – eine bedeutendere und unterversäumte Limitation darstellen.

In klinischen KI-Workflows, wie etwa beim Ambient Scribing oder der problemorientierten Zusammenfassung, greifen LLMs typischerweise auf Retrieval-Augmented Generation (RAG) zurück, um aufgrund von Kontextlängenbeschränkungen auf die Patientenhistorie zuzugreifen. Das identifizierte Kernproblem besteht darin, dass Präzisionsfehler oft durch die Verknüpfung von Behauptungen mit Quelldokumenten gemildert werden können, es jedoch keine äquivalente, skalierbare Strategie zur Milderung von Recall-Fehlern gibt. Wenn ein Retrieval-System versäumt, ein relevantes Dokument abzurufen, oder wenn das LLM versäumt, die abgerufenen Informationen zu nutzen, weist das resultierende Ergebnis einen Mangel an kritischen Daten auf. Da die „Ground Truth“ dessen, was hätte abgerufen werden sollen, in großen, komplexen EHR-Datensätzen oft unbekannt ist, sind diese Auslassungen schwer zu detektieren, was potenziell zu „silentem“ klinischem Schaden führen kann.

Methodik und analytischer Rahmen
Bei diesem Paper handelt es sich um einen Perspektivartikel, der bestehende Literatur zu LLMs, Information Retrieval (IR) und klinischer KI-Evaluation synthetisiert. Die Autoren wenden folgende analytische Ansätze an:

Fehler-Taxonomie: Die Autoren ordnen klinische KI-Fehler in den statistischen Rahmen von Typ-I- (False Positives/Präzision) und Typ-II-Fehlern (False Negatives/Recall) ein.
- Präzisionsfehler: Definiert als Behauptungen im Output, die nicht durch Patientendaten gestützt werden (z. B. Halluzinationen, Konfabulationen).
- Recall-Fehler: Definiert als das Auslassen wichtiger, datengestützter Informationen (z. B. das Übersehen einer kritischen Diagnose, eines Medikaments oder eines aktuellen Laborergebnisses).
Architekturanalyse: Das Paper analysiert die generalisierte RAG-Architektur (Query $\rightarrow$ Retrieval Engine $\rightarrow$ Prompt $\rightarrow$ LLM $\rightarrow$ Output), um Fehlerquellen zu identifizieren. Es postuliert, dass Recall-Fehler an zwei Punkten entstehen können: entweder versagt die Retrieval-Engine beim Zurückgeben relevanter Dokumente, oder das LLM versäumt es, die abgerufenen Dokumente in die finale Generierung einzubeziehen.
Review von Evaluations-Benchmarks: Die Autoren prüfen den Stand der Evaluationsmetriken. Sie kontrastieren Textgenerierungs-Benchmarks (unter Verwendung von Metriken wie ROUGE/BLEU oder „Nugget“-Evaluation) mit Information-Retrieval-Benchmarks (TREC-Style Pooling). Sie heben hervor, dass die Evaluation von Retrieval inhärent schwierig ist, da die „Pooling“-Methode (Aggregation der Top-Ergebnisse aus mehreren Systemen) nicht garantieren kann, dass alle relevanten Dokumente gefunden wurden, was eine exakte Berechnung der Recall-Performance auf großen Datensätzen unmöglich macht.

Zentrale Beiträge

Fokusverschiebung: Der primäre Beitrag ist der Aufruf, den Forschungs- und klinischen Fokus vom gut untersuchten Problem der Halluzinationen auf das unteruntersuchte Problem des Retrieval-Recalls zu verlagern. Die Autoren stellen fest, dass Recall-Fehler in qualitativen Interviews mit Klinikern zunächst übersehen wurden, bis sie explizit abgefragt wurden, obwohl sie als signifikantes Risiko erkannt wurden.
Identifizierung des „Silent Killers“: Das Paper charakterisiert Recall-Fehler als einen „Silent Killer“, da im Gegensatz zu Halluzinationen, die durch Quellenangaben markiert werden können, fehlende Informationen keine Spur im Output hinterlassen, was sie für den Endnutzer unsichtbar und schwer auditierbar macht.
Analyse der technologischen Disparität: Die Autoren argumenten, dass sich die Leistung im Kernbereich des Information Retrieval langsamer verbessert als die Fähigkeiten der LLMs. Während LLMs rasant fortschreiten, basieren Kern-Retrieval-Engines oft auf etablierten Methoden (z. B. BM25, Dense Vector Retrieval), die hinterherhinken. Infolgedessen wird sich der Flaschenhals für klinische KI, während die LLMs leistungsfähiger werden, zunehmend auf die Fähigkeit der Retrieval-Komponente verschieben, die richtigen Daten zu finden.
Kritik der Evaluation: Das Paper kritisiert aktuelle Evaluationsparadigmen und stellt fest, dass Standardmetriken (wie BLEU/ROUGE) und selbst die „Nugget“-Evaluation Schwierigkeiten haben, den Recall in offenen klinischen Aufgaben effektiv zu messen. Es argumentiert weiter, dass „LLM-as-a-judge“ nicht als Goldstandard für die Retrieval-Evaluation dienen kann, da Retrieval und Evaluation im Kern dasselbe Problem darstellen.

Ergebnisse und Befunde
Als Perspektivartikel präsentiert das Paper keine neuen experimentellen Ergebnisse oder quantitativen Daten. Stattdessen leiten sich seine „Befunde“ aus einer Synthese aktueller Trends ab:

Asymmetrie der Milderung: Für Präzisionsfehler existieren etablierte Minderungsstrategien (Quellenverlinkung), während für Recall-Fehler keine vergleichbare, effiziente Lösung existiert, die nicht den Zweck der KI (Zeitersparnis) untergraben würde.
Retrieval-Verzug: Verbesserungen im Bereich Retrieval werden wahrscheinlich hinter den Fortschritten der LLMs zurückbleiben, was bedeutet, dass Recall-Fehler zum dominierenden limitierenden Faktor werden, wenn das Volumen der EHR-Daten wächst.
Durchführbarkeit der Evaluation: Es ist derzeit nicht machbar, dass jede Institution für jede klinische KI-Implementierung rigorose, TREC-Style-Recall-Evaluationen durchführt, da dies zu viel manuellen Aufwand erfordert und es an generalisierbaren öffentlichen Datensätzen mangelt.

Bedeutung und Thesen
Das Paper behauptet, dass der limitierende Faktor für die Zuverlässigkeit und Sicherheit zukünftiger LLM-basierter klinischer KI-Tools nicht die Tendenz der Modelle zu Halluzinationen sein wird, sondern ihre Unfähigkeit, die korrekten patientenbezogenen Daten abzurufen.

Die Autoren behaupten, dass die Forschung zur Reduzierung von Halluzinationen zwar fortgesetzt werden sollte, sie aber durch die Forschung zur Recall-Evaluation und -Minderung verstärkt werden muss. Sie kommen zu dem Schluss, dass klinische KI-Tools ohne die Adressierung der grundlegenden Schwierigkeit, einen hohen Recall beim Abruf von Patientendaten zu messen und sicherzustellen, das Risiko bergen, durch unentdeckte Auslassungen Patienten zu schaden. Das Paper plädiert für hybride Evaluationsansätze, die menschliche Einschätzungen mit automatisierten Methoden kombinieren, um Recall-Fehler in klinischen Anwendungen besser zu identifizieren und zu minimieren.