💻 computer science

Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit

Diese Studie zeigt, dass aktuelle große Sprachmodelle und Retrieval-Augmented-Generation-Systeme signifikant daran scheitern, Widersprüche zwischen generierten biomedizinischen Antworten und abgerufenen Belegen zu erkennen, indem sie diese oft fälschlicherweise als unzureichend klassifizieren, was verdeutlicht, dass solche automatisierten Verifizierer noch nicht bereit für die klinische autonome Überprüfung sind.

Ursprüngliche Autoren: xinzheng Chen

Veröffentlicht 2026-07-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: xinzheng Chen

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein strenger Editor bei einer medizinischen Fachzeitschrift. Sie haben ein Team von KI-Schreibern (Large Language Models), die versuchen, komplexe medizinische Fragen zu beantworten. Um sicherzustellen, dass ihre Antworten vertrauenswürdig sind, geben Sie ihnen einen Stapel medizinischer Forschungsarbeiten (Evidenz), die sie zuerst lesen müssen. Dies wird als Retrieval-Augmented Generation (RAG) bezeichnet.

Die zentrale Frage, die diese Arbeit stellt, lautet: Wenn ein KI-Schreiber eine Antwort gibt, die tatsächlich den Forschungsarbeiten widerspricht, die er gerade gelesen hat, kann ein zweiter KI-"Prüfer" die Lüge erkennen?

Hier ist eine Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien.

1. Das Setup: Das „Faktenchecker“-Experiment

Die Forscher richteten einen Test mit 150 medizinischen Fragen ein. Für jede Frage hatten sie:

Die Frage: Eine medizinische Anfrage.
Die Evidenz: Ein Ausschnitt aus einem medizinischen Abstract.
Die Antwort: Eine von einer KI generierte Antwort.
Die Wahrheit: Ein menschlicher Experte hat die Antwort als Unterstützt (die Arbeit bestätigt sie), Unzureichend (die Arbeit ist vage) oder Widersprüchlich (die Arbeit sagt das Gegenteil!) eingestuft.

Sie fragten dann verschiedene KI-„Prüfer“ (einschließlich Top-Modellen wie GPT-5.5, DeepSeek und spezialisierten Klassifikatoren), um die Evidenz und die Antwort zu betrachten und zu sagen: „Passt das zusammen?“

2. Die Hauptentdeckung: Der „blinde Fleck“

Die Ergebnisse waren überraschend und etwas besorgniserregend. Die KI-Prüfer waren schrecklich darin, Widersprüche aufzuspüren.

Die Analogie: Stellen Sie sich einen Sicherheitsmann vor, dessen Aufgabe es ist, Leute zu erwischen, die versuchen, einen verbotenen Gegenstand in ein Gebäude zu schmuggeln. In diesem Test versuchten 23 Personen, verbotene Gegenstände einzuschmuggeln (Widersprüche). Der beste Sicherheitsmann (das Top-KI-Modell) hat nur 5 von ihnen erwischt. Die anderen wurden einfach durchgelassen.
Der Fehler: Wenn die KI-Prüfer einen Widerspruch übersahen, sagten sie meistens nicht „Das ist falsch“, sondern sagten: „Dies ist Unzureichend“ (was bedeutet: „Ich kann nicht sagen, ob es richtig oder falsch ist, also spiele ich auf Nummer sicher“). Sie behandelten eine klare Lüge lediglich als eine „vage“ Aussage.
Das Ausmaß: Selbst die klügsten Modelle erkannten nur etwa 17 % bis 22 % der tatsächlichen Widersprüche. Der Rest wurde übersehen.

3. Der „menschliche“ Faktor: Sind Menschen besser?

Die Forscher ließen auch einen zweiten menschlichen Editor die Arbeit überprüfen.

Blindtest: Als der menschliche Editor eine zufällige Gruppe von Fragen betrachtete, ohne zu wissen, welche davon knifflig waren, übersah er null Widersprüche. Er war genauso „blind“ wie die KI.
Fokussierter Test: Als der menschliche Editor jedoch die Anweisung erhielt: „Hey, schau dir speziell diese 23 Fragen an; ich weiß, dass sie Lügen enthalten“, fand er 13 von 23.
Die Lektion: Einen Widerspruch zu erkennen, hängt nicht nur davon ab, wie klug man ist, sondern darum, wie man sucht. Wenn man nicht gezielt nach Lügen jagt, neigt man dazu, sie zu übersehen. Sowohl Menschen als auch KIs haben einen „konservativen Bias“ – sie bevorzugen es zu sagen „Ich weiß es nicht“, als zu sagen „Das ist eine Lüge“.

4. Das „Knowledge Graph“-Experiment

Die Forscher versuchten auch einen ausgeklügelten Trick. Sie bauten einen „Knowledge Graph“ (eine riesige Karte, die medizinische Begriffe wie einen U-Bahn-Plan verbindet), um der KI zu helfen, die besten Forschungsarbeiten zu finden, die sie lesen sollte. Sie hofften, dass dies die Antworten genauer machen würde.

Das Ergebnis: Es funktionierte nicht. Die Verwendung dieses ausgeklügelten Kartenmodells machte die Antworten nicht besser als die Verwendung von Standard-Suchmethoden. Es war, als würde man einem Fahrer ein GPS geben, das genauso gut ist wie sein eigener Orientierungssinn, aber eben nicht besser.

5. Das Fazit

Aktuelle KI-Prüfer sind noch nicht bereit für den Einsatz. Wenn Sie sich auf diese KI-Systeme verlassen, um im Krankenhaus automatisch medizinische Widersprüche aufzuspüren, werden sie die meisten von ihnen übersehen.
Sie sind gut darin, „Unterstützung“ zu finden, aber schlecht darin, „Lügen“ zu finden. Sie sind sehr gut darin zu sagen: „Ja, diese Arbeit unterstützt diese Antwort“, aber sie sind sehr schlecht darin zu sagen: „Nein, diese Arbeit sagt tatsächlich das Gegenteil.“
Die „Unzureichend“-Falle: Das größte Problem ist, dass die KI einen „Widerspruch“ mit „nicht genügend Informationen“ verwechselt. Es ist für die KI sicherer zu sagen „Ich bin mir nicht sicher“, als das Risiko einzugehen, zu sagen „Das ist falsch“, aber in einem medizinischen Kontext ist das Übersehen eines Widerspruchs gefährlich.

Kurz gesagt: Die Arbeit kommt zu dem Schluss, dass diese KI-Werkzeuge zwar nützlich sind, um Informationen zu organisieren, aber noch nicht zuverlässig genug sind, um als autonome Polizei zu fungieren, um medizinische Widersprüche aufzuspüren. Sie benötigen eine menschliche Aufsicht, um die Fehler zu finden, die sie derzeit übersehen.

Technische Zusammenfassung: Können Large Language Models widersprüchliche biomedizinische Evidenz erkennen?

Problemstellung
Systeme zur Beantwortung biomedizinischer Fragen (Question Answering, QA) verlassen sich zunehmend auf Retrieval-Augmented Generation (RAG), um Antworten auf Basis abgerufener Literatur zu begründen. Es existiert jedoch ein kritischer Fehlermodus, bei dem die generierten Antworten entweder nicht durch die abgerufene Evidenz gestützt werden oder dieser aktiv widersprechen. Diese Studie adressiert zwei spezifische Lücken in der aktuellen Evaluierung: (1) ob die Integration von Wissensgraph-Signalen (Knowledge Graph, KG) in das Retrieval die Antwortgenauigkeit verbessert, und (2) ob automatisierte Verifizierer (LLMs und Klassifikatoren) zuverlässig erkennen können, wenn die Evidenz einer generierten Antwort widerspricht. Die Autoren merken an, dass die Genauigkeit auf Antwortebene zwar eine Standardmetrik ist, jedoch unzureichend ist, um die Vertrauenswürdigkeit eines Systems zu bewerten, wenn die zugrunde liegende Evidenz die Schlussfolgerung nicht stützt.

Methodik
Die Studie verwendete ein zweigleisiges experimentelles Design unter Verwendung des PubMedQA-Datensatzes:

KG-gestützte Retrieval-Audit (KG-RRAG):
- Setup: Ein Reranking-Modul (KG-RRAG) wurde im Vergleich zu Standard-Vektor-Ähnlichkeits-RAG an 300 geschichteten PubMedQA-Fragen getestet.
- Mechanismus: KG-RRAG konstruierte abfragespezifische biomedizinische Graphen (die Entitäten mit UMLS-Konzepten verknüpfen) und fusionierte drei Signale für das Reranking: Vektorähnlichkeit ( $\alpha$ ), Entitätenüberlappung ( $\beta$ ) und Graphstruktur-Zentralität ( $\gamma$ ).
- Generierung: Beide Systeme nutzten glm-5.1 als Generator. Die Studie kontrollierte die Generationsvariablen, um den Einfluss des Evidence-Rankings zu isolieren.
Benchmark zur Verifizierung von Evidenz und Antwort:
- Datensatz: Ein Held-out-Set (Set B, $n=150$ ) wurde mit menschlichen Goldstandard-Labels erstellt: Unterstützt (81), Unzureichend (46) und Widersprüchlich (23).
- Verifizierer: Die Studie evaluierte ein Spektrum von Architekturen:
  - LLM-basiert: GPT-5.5, DeepSeek-v4-pro und glm-5.1 unter Verwendung zweier Prompting-Strategien: eine einfache direkte Klassifizierung (E1) und ein „Widerspruch-fokussierter“ strukturierter Prompt (V2.1).
  - Klassifikator-basiert: DistilBERT-MNLI (Allgemeindomäne) und PubMedBERT-MedNLI (biomedizinische Domäne).
  - Baselines: Regelbasierte Heuristiken (V1.6), hybride Regel/LLM-Fusion (V3.1) und ein Mehrheitsklassen-Proxy.
- Menschliche Kalibrierung: Ein zweiter menschlicher Annotator (Human2) führte zwei Protokolle durch: einen blinden Erstdurchgang an einer 30-Einheiten-Stichprobe und eine gezielte Überprüfung aller 23 bekannten widersprüchlichen Fälle zur Bewertung der Protokollsensitivität.

Wichtigste Ergebnisse

KG-RRAG Nullergebnis: Die Integration von KG-Signalen verbesserte die Antwortgenauigkeit nicht. KG-RRAG erreichte eine Genauigkeit von 0,500 gegenüber 0,510 für Standard-RAG ( $\Delta = -0,010$ , McNemar $p=0,766$ ). Das 95%-Konfidenzintervall für die Differenz lag bei $[-0,053, +0,033]$ , was auf keinen statistisch signifikanten Vorteil hindeutet.
Systematische Untererkennung von Widersprüchen: Alle automatisierten Verifizierer hatten erhebliche Schwierigkeiten mit der Klasse „Widersprüchlich“.
- Beste automatisierte Leistung: Die E1-glm-5.1-Konfiguration erkannte nur 5 von 23 Gold-Widersprüchen (Recall $\approx$ 21,7 %).
- Andere Modelle: GPT-5.5 erkannte 4/23; DeepSeek-Varianten erkannten 1–3/23; spezialisierte NLI-Klassifikatoren (PubMedBERT-MedNLI) erkannten nur 2/23.
- Fehlermuster: Das dominante Fehlermuster war das Aufsaugen von widersprüchlichen Fällen in die Kategorie „Unzureichend“, anstatt sie als aktive Konflikte zu identifizieren.
Protokollsensitivität der menschlichen Annotation:
- In einem blinden Erstdurchgang erkannte Human2 0/7 widersprüchliche Fälle in einer Stichprobe.
- In einer gezielten Überprüfung, bei der der Annotator wusste, dass es sich um Gold-Widersprüche handelte, erkannte Human2 13/23 (Recall $\approx$ 56,5 %).
- Dies zeigt, dass die Erkennung von Widersprüchen nicht spontan erfolgt, sondern explizite, kriteriengeleitete Protokolle erfordert.
Modell- vs. Prompt-Effekte: Die Effekte des Prompt Engineerings waren modellabhängig. Ein Prompt, der bei glm-5.1 besser abschnitt, schnitt bei DeepSeek-v4-pro schlechter ab, was darauf hindeutet, dass die Modellauswahl ein signifikanterer Faktor als das Prompt-Design innerhalb des getesteten Bereichs ist.

Wesentliche Beiträge

Kontrolliertes Nullergebnis für KG-RAG: Die Studie liefert empirische Belege dafür, dass die Hinzunahme von KG-abgeleiteten Signalen (Entitätenüberlappung und Graphzentralität) zur Standard-Vektor-Retrieval in der PubMedQA-Umgebung die Antwortgenauigkeit nicht verbesserte, was die Annahme infrage stellt, dass strukturiertes Wissen das RAG-Verhalten immer verbessert.
Audit der Untererkennung von Widersprüchen: Sie stellt fest, dass aktuelle State-of-the-Art LLMs und NLI-Klassifikatoren nicht in der Lage sind, Widersprüche in biomedizinischen Evidenz-Antwort-Paaren zuverlässig zu erkennen, wobei sie diese häufig fälschlicherweise als „unzureichend“ klassifizieren.
Evidenz zur Protokollsensitivität: Die Arbeit zeigt, dass die Erkennung von Widersprüchen hochsensibel gegenüber Annotationsprotokollen ist. Die Diskrepanz zwischen blindem und fokussiertem menschlichem Review legt nahe, dass die Feststellung von „Ground Truth“ bei der Widerspruchserkennung ohne explizite, gezielte Kriterien schwierig ist.

Bedeutung und Ansprüche
Die Autoren beanspruchen bescheiden, dass ihre Arbeit als Audit aktueller Fähigkeiten dient und nicht als Demonstration eines gelösten Problems.

Klinische Einsatzbereitschaft: Die Ergebnisse deuten darauf hin, dass die aktuelle LLM-basierte Verifizierung nicht bereit für die autonome Widerspruchsprüfung in Hochrisiko-Biomedizin-Kontexten ist. Das Versagen bei der Erkennung aktiver Widersprüche stellt ein Sicherheitsrisiko dar.
Evaluierungswechsel: Die Studie argumentt, dass die Antwortgenauigkeit allein eine unvollständige Metrik für biomedizinisches RAG ist. Systeme können korrekte Antworten aus falschen oder nicht gestützten Beweisen generieren; daher muss die Konsistenz zwischen Evidenz und Antwort separat evaluiert werden.
Praktischer Nutzen: Obwohl noch nicht bereit für den autonomen Einsatz, kann die LLM-basierte Verifizierung dennoch als Werkzeug für das Offline-Auditing und den Systemvergleich dienen, sofern die hohe Rate an falsch-negativen Ergebnissen (übersehene Widersprüche) berücksichtigt wird.

Die Arbeit schließt mit dem Hinweis, dass die Schwierigkeit der Widerspruchserkennung über Modellskalen, Architekturen und Prompting-Strategien hinweg bestehen bleibt, was wahrscheinlich auf die inhärente Ambiguität biomedizinischer Texte, spezialisierte Terminologie und die Unterscheidung zwischen „Abwesenheit von Evidenz“ und „Evidenz der Abwesenheit“ zurückzuführen ist.