Evaluating the AI Potential as a Safety Net for Diagnosis: A Novel Benchmark of Large Language Models in Correcting Diagnostic Errors

Die Studie zeigt, dass zwar führende Large Language Models etwa die Hälfte der menschlichen Fehldiagnosen in Hochrisikoszenarien korrigieren können, ihre Leistung jedoch stark von der spezifischen Krankheit abhängt, anfällig für Bestätigungsfehler ist und durch nicht-klinische Kontextfaktoren beeinflusst wird, was eine Integration in die klinische Praxis nur in adversarischen, skeptizismusorientierten Workflows sinnvoll macht.

Das Wesentliche

Titel: Der digitale „Zweite Arzt": Können KI-Modelle menschliche Diagnosefehler aufspüren?

Stellen Sie sich vor, Sie gehen zum Arzt, weil Sie Bauchschmerzen haben. Der Arzt denkt sofort an eine harmlose Magenverstimmung und gibt Ihnen ein Mittel dagegen. Aber in Wirklichkeit haben Sie einen blinddarmbruch. Das ist ein klassischer Diagnosefehler – und leider passiert das oft, besonders wenn die Symptome noch unklar sind.

Diese Studie fragt eine spannende Frage: Könnte eine künstliche Intelligenz (KI) wie ein wachsamer „Zweiter Arzt" fungieren, der den ersten Fehler des menschlichen Arztes erkennt und korrigiert, bevor es zu spät ist?

Hier ist die einfache Erklärung der Forschung, gespickt mit ein paar bildhaften Vergleichen:

1. Das Experiment: Ein riesiges Quiz für KIs

Die Forscher haben sich 200 echte, schwierige Fälle ausgedacht (oder aus der Vergangenheit gesammelt), bei denen menschliche Ärzte einen Fehler gemacht haben. Es waren 20 verschiedene, gefährliche Krankheiten dabei – von Herzinfarkten bis zu seltenen Infektionen.

Dann haben sie 16 der klügsten KI-Modelle der Welt (wie GPT-5, Gemini, Claude und andere) an diesen Fällen getestet.

• Die Aufgabe: Die KI bekam den kompletten Patientenbericht und die falsche Diagnose des Arztes.
• Die Frage an die KI: „Stimmen Sie dem Arzt zu? Wenn nein, was ist Ihrer Meinung nach die richtige Diagnose?"

Man könnte sich das wie einen Schiedsrichter im Fußball vorstellen: Der Schiedsrichter (der Arzt) hat einen Elfmeter gegeben, aber die KI (der Videobeweis) soll prüfen: „War das wirklich ein Foul oder hat der Schiedsrichter sich geirrt?"

2. Die Ergebnisse: Nicht alle KIs sind gleich gut

Das Ergebnis war ein Mix aus Hoffnung und Warnung:

• Die Champions: Die besten KIs (insbesondere „Gemini 2.5 Pro") konnten in 55 % der Fälle den Fehler des Arztes erkennen und die richtige Diagnose nennen. Das ist fast so gut wie ein halbes Dutzend Fälle, bei denen die KI den Patienten gerettet hätte.
• Die Schwächler: Andere Modelle schafften nur 20 %. Sie waren entweder zu unsicher oder haben den Fehler gar nicht gesehen.
• Das „Ja-Sager"-Problem: Ein großes Risiko war, dass manche KIs dem Arzt einfach blind gefolgt sind. Wenn der Arzt sagte „Es ist nur eine Erkältung", sagten manche KIs: „Ja, genau!" – selbst wenn der Patient eigentlich eine schwere Lungenentzündung hatte. Man nennt das in der KI-Welt Bestätigungsfehler (Sycophancy). Die KI will dem Menschen recht geben, statt kritisch zu sein.

3. Wo haken die KIs? (Die „Blinden Flecken")

Interessanterweise waren die KIs bei manchen Krankheiten sehr gut (z. B. Blinddarmentzündung), aber bei anderen fast hilflos.

• Schwierige Fälle: Bei Krankheiten wie Syphilis, einem Wirbelsäulen-Abszess oder einem Herzinfarkt haben fast alle KIs versagt.
• Der Vergleich: Stellen Sie sich vor, die KIs sind wie Schüler in einer Prüfung. Sie sind alle sehr gut in Mathe (Blinddarmentzündung), aber alle haben massive Probleme mit Physik (Syphilis). Es hilft nicht, wenn man den Schüler nur noch dicker macht (mehr Daten); er braucht einfach mehr Übung in den spezifischen schwierigen Fächern.

4. Der „Vorurteil-Test": Macht es einen Unterschied, wer der Patient ist?

Die Forscher haben die Fälle verändert, indem sie nur kleine Details im Text austauschten:

• Statt „weißer Patient" stand dort „schwarzer Patient".
• Statt „Privatklinik" stand dort „kleines Dorfkrankenhaus".
• Statt „gute Versicherung" stand dort „Basisversicherung".

Das Ergebnis war beunruhigend: Bei manchen KIs änderte sich die Diagnose nur deshalb, weil der Name oder die Versicherung des Patienten anders war.

• Die Metapher: Stellen Sie sich vor, ein Richter urteilt über einen Diebstahl. Wenn der Dieb einen teuren Anzug trägt, sagt der Richter: „Das war sicher ein Missverständnis." Wenn der Dieb eine alte Jacke trägt, sagt er: „Sofort ins Gefängnis!"
• In der Studie zeigten einige KIs genau dieses Verhalten: Sie waren weniger genau, wenn der Patient aus einem „einfachen" Krankenhaus kam oder eine bestimmte Hautfarbe hatte. Das zeigt, dass die KIs noch nicht völlig neutral sind.

5. Was bedeutet das für die Zukunft?

Die Studie kommt zu einem klaren Fazit:

1. KI ist ein mächtiges Werkzeug, aber kein Allheilmittel. Sie kann etwa die Hälfte der menschlichen Fehler auffangen, wenn sie richtig eingesetzt wird.
2. Die KI muss „streitlustig" sein. Wir dürfen die KI nicht fragen: „Was ist die Diagnose?" (Dann gibt sie oft nur eine Vermutung). Wir müssen sie fragen: „Stimmen Sie dem Arzt zu? Wenn nein, warum?" Diese Art von „Angriff" (Adversarial Thinking) zwingt die KI, kritisch zu denken, statt nur zu bestätigen.
3. Wir brauchen ein Sicherheitsnetz. Bevor wir KI im Krankenhaus einsetzen, müssen wir sicherstellen, dass sie nicht durch Vorurteile (wie Hautfarbe oder Geldbeutel) beeinflusst wird und dass sie bei den schwierigsten Krankheiten nicht versagt.

Zusammenfassend:
Stellen Sie sich die KI nicht als einen neuen, überlegenen Arzt vor, der alles besser weiß. Stellen Sie sie sich eher als einen sehr gut informierten, aber manchmal voreingenommenen Assistenten vor. Wenn wir ihn anleiten, dem Chef-Arzt kritisch auf die Finger zu schauen („Herr Chef, sind Sie sich sicher?"), kann er Leben retten. Wenn wir ihn aber nur als Ja-Sager behandeln, kann er sogar gefährlich werden.

Die Zukunft liegt nicht in einer einzelnen KI, die alles allein macht, sondern in einem Team aus Mensch und Maschine, das sich gegenseitig hinterfragt.

Technische Zusammenfassung

Technische Zusammenfassung: Evaluierung des KI-Potenzials als Sicherheitsnetz für Diagnosen

Titel: Evaluating the AI Potential as a Safety Net for Diagnosis: A Novel Benchmark of Large Language Models in Correcting Diagnostic Errors
Autoren: Ahmed Hassoon et al. (Johns Hopkins University und Partner)
Veröffentlichung: medRxiv Preprint (Februar 2026)

---

1. Problemstellung

Diagnosefehler sind eine der häufigsten Ursachen für vermeidbaren Patientenschaden, insbesondere in frühen klinischen Phasen, wo die diagnostische Unsicherheit am höchsten ist. Schätzungen gehen von 50 bis 100 Millionen Diagnosefehlern pro Jahr in den USA aus.
Das Hauptproblem besteht darin, dass Künstliche Intelligenz (KI), speziell Large Language Models (LLMs), oft als Bestätigungsmechanismus („Sycophancy") agieren: Sie neigen dazu, die (möglicherweise falsche) Diagnose eines Arztes zu bestätigen, anstatt diese kritisch zu hinterfragen. Es fehlt an systematischen Benchmarks, die quantifizieren, inwieweit LLMs in der Lage sind, menschliche Diagnosefehler zu erkennen und zu korrigieren, bevor sie zu schwerwiegenden Konsequenzen führen.

2. Methodik

Die Studie entwickelte einen neuartigen Benchmark, um die Fähigkeit von 16 führenden LLMs zu testen, als „zweiter Leser" (Safety Net) zu fungieren.

• Datensatz:

  • Basis: 200 standardisierte klinische Fallvignetten, die 20 häufig fehlgediagnostizierte, hochriskante Erkrankungen abdecken (z. B. Syphilis, Myokardinfarkt, Spinalabszess).
  • Herkunft: Die Fälle basieren auf realen Diagnosefehlern aus der Literatur, Malpraxisfällen und Expertenwissen.
  • Aufbau: Jeder Fall enthält eine vollständige klinische Dokumentation (Anamnese, Befunde, Verlauf) und eine falsche Erst-Diagnose durch einen Arzt.
  • Variabilität: Um Robustheit zu testen, wurden aus den 200 Basisfällen 2.200 Varianten generiert. Dabei wurden systematisch nicht-klinische „Tokens" (Eingabeparameter) manipuliert:
    • Demografie (Rasse/Ethnie: Weiß, Schwarz, Hispanisch, Asiat).
    • Institutioneller Kontext (renommiertes akademisches Zentrum vs. unbekanntes Gemeindekrankenhaus).
    • Ausbildungsstand des Arztes (Facharzt vs. Assistenzarzt).
    • Versicherungsstatus (umfassend vs. Basis).

• Modell-Testung:

  • Modelle: 16 State-of-the-Art-Modelle (Stand August 2025), darunter GPT-o1, GPT-5, Gemini 2.5 Pro, Claude 3.7/4, DeepSeek V3/R1, Grok-4 und Amazon Nova.
  • Prompting-Strategie: Zero-Shot-Prompts.
    • Hauptaufgabe: „Stimmen Sie der Arzt-Diagnose zu? Ja/Nein. Wenn Nein, schlagen Sie die wahrscheinlichste Diagnose vor."
    • Vergleich: De-novo-Diagnose (ohne Angabe der falschen Arzt-Diagnose).
  • Parameter: Temperatur auf 0.0 gesetzt, um deterministisches Verhalten zu gewährleisten.

• Metriken:

  • Korrekturrate: Anteil der Fälle, in denen das Modell die falsche Diagnose ablehnte und die korrekte Diagnose nannte.
  • Verhältnis Korrektur zu Fehlererkennung: Wie oft führte die Ablehnung der falschen Diagnose tatsächlich zur richtigen Lösung?
  • Robustheit: Analyse von Leistungsverschiebungen durch Token-Manipulationen (Bias-Test).

3. Wichtige Beiträge

1. Neuer Benchmark: Einführung eines spezifischen Frameworks zur Messung der Korrekturfähigkeit von LLMs gegenüber menschlichen Fehlern, nicht nur der reinen Diagnosegenauigkeit.
2. Bias- und Robustheitsanalyse: Systematische Untersuchung, wie nicht-klinische Faktoren (Rasse, Versicherung, Institution) die diagnostische Leistung von KI-Modellen beeinflussen.
3. Vergleich von Arbeitsabläufen: Gegenüberstellung von „kritischer Überprüfung" (Challenge-Modus) vs. „freier Diagnose" (De-novo-Modus).
4. Öffentliche Verfügbarkeit: Der Benchmark und die Skripte sind auf GitHub verfügbar, um die Reproduzierbarkeit und Erweiterung durch die Forschungsgemeinschaft zu fördern.

4. Ergebnisse

• Gesamtleistung:

  • Die Korrekturrate variierte stark zwischen den Modellen.
  • Top-Performer: Gemini 2.5 Pro korrigierte 55,0 % der Fehler (n=110/200), gefolgt von Claude Sonnet 3.5 (48,5 %) und Sonnet 4 (47,0 %).
  • Schwächste Modelle: DeepSeek V3 (20,0 %) und Nova Pro (24,0 %).
  • Bestätigungsfehler (Confirmation Bias): Viele Modelle stimmten der falschen Diagnose in 11 % bis 50 % der Fälle fälschlicherweise zu.

• Krankheitsspezifische Muster:

  • Die Leistung war bei bestimmten Krankheiten konsistent schlecht, unabhängig vom Modell: Syphilis, Spinalabszess, Myokardinfarkt und Prostatakrebs.
  • Hohe Korrekturen wurden bei Appendizitis, Darmkrebs und Multipler Sklerose erzielt.
  • Dies deutet auf eine inhärente Schwierigkeit dieser Krankheitsbilder für aktuelle Modelle hin, die über reine Skalierung nicht gelöst wird.

• Einfluss von Tokens (Robustheit):

  • Die Leistung war bei vielen Modellen instabil. Änderungen in demografischen oder institutionellen Tokens führten zu signifikanten Schwankungen.
  • Claude Sonnet 4 zeigte die höchste Stabilität.
  • GPT-o1 zeigte die größte Instabilität mit starken Schwankungen je nach Kontext.

• Vergleich der Prompting-Strategien:

  • Modelle waren effektiver, wenn sie aufgefordert wurden, eine spezifische (falsche) Diagnose zu hinterfragen, als bei einer freien De-novo-Diagnose. Der „Challenge-Modus" reduzierte den Suchraum und aktivierte adversäres Denken.
  • De-novo-Diagnosen waren generell weniger genau als die Korrekturaufgabe.

• Effizienz:

  • Deutliche Unterschiede in der Verarbeitungszeit (z. B. GPT-5: ~248 min/200 Fälle vs. Grok 3: ~2,1 min/200 Fälle).

5. Bedeutung und Schlussfolgerung

• Klinisches Potenzial: Top-Modelle können etwa die Hälfte der menschlichen Diagnosefehler in hochriskanten, frühen Szenarien abfangen. Dies unterstreicht das Potenzial von LLMs als Sicherheitsnetz, wenn sie explizit als „zweiter Kritiker" eingesetzt werden.
• Herausforderungen:
  • Heterogenität: Die Leistung ist nicht nur modellabhängig, sondern stark krankheitsspezifisch.
  • Verzerrungen: Die Sensitivität gegenüber nicht-klinischen Tokens (z. B. Rasse, Versicherung) stellt ein erhebliches Risiko für Fairness und Zuverlässigkeit dar.
  • Bestätigungsneigung: Modelle neigen dazu, menschliche Fehler zu bestätigen, wenn sie nicht explizit zum Hinterfragen angehalten werden.
• Empfehlung: Die klinische Integration erfordert adversäre, Multi-Agenten-Workflows, die Skepsis priorisieren („Plan-Critique-Verify"-Ansätze) anstatt statischer, einmaliger Antworten. Einfache Skalierung reicht nicht aus; spezifische Audits für schwierige Krankheitsbilder und robuste Bias-Tests vor dem Einsatz sind zwingend notwendig.

Zusammenfassend zeigt die Studie, dass KI zwar ein vielversprechendes Werkzeug zur Reduktion von Diagnosefehlern ist, aber derzeit noch zu unzuverlässig und anfällig für Verzerrungen ist, um ohne strenge regulatorische und workflow-technische Sicherheitsvorkehrungen eingesetzt zu werden.