GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

Technisches Resümee: GPT-5 im Vergleich zu Assistenzärzten der Anästhesiologie und Intensivmedizin bei sequenziellen klinischen Fällen

Problemstellung
Obwohl Large Language Models (LLMs) eine hohe Genauigkeit bei medizinischen Zulassungsprüfungen nachweisen konnten, geben Leistungsmetriken in Multiple-Choice-Tests nicht an, wie explizit eine Antwort den zugrunde liegenden klinischen Denkprozess dokumentiert. Klinisches Denken ist eine kontextabhängige kognitive Aktivität, die die Problemdarstellung, Hypothesengenerierung und Evidenzinterpretation umfasst. Die bestehende Literatur lässt oft rigorose empirische Designs vermissen, die LLMs hinsichtlich dieser spezifischen Fähigkeiten zur Dokumentation des klinischen Denkens vergleichen. Zudem mangelt es an Belegen für die Leistung von LLMs in französischsprachigen postgradualen Ausbildungsumgebungen, insbesondere im nordafrikanischen medizinischen Kontext. Diese Studie adressiert die Lücke zwischen „korrekten Antworten“ und „dokumentiertem Denken“, indem sie die Qualität der schriftlichen Outputs des klinischen Denkens zwischen einem hochmodernen LLM (GPT-5) und medizinischen Auszubildenden vergleicht.

Methodik
Die Studie war eine zentrenübergreifende, einmalige, kreuzsektionelle Pilotstudie am Centre Hospitalier Universitaire Ibn Rochd in Casablanca, Marokko.

• Teilnehmer: Die Studie nutzte eine vollständige Erhebung von 14 Assistenzärzten des vierten Jahres der Anästhesiologie und Intensivmedizin (100 % Teilnahmequote).
• Stimuli: Zwanzig reale, vollständig anonymisierte klinische Fälle (2020–2024) wurden ausgewählt und standardisiert. Die Fälle wurden in zwei sequentielle Teile unterteilt: Teil 1 (Anamnese, Hintergrund, körperliche Untersuchung) und Teil 2 (Labor- und Bildgebungsbefunde).
• Aufgabenverteilung: Jeder Assistenzarzt bearbeitete vier verschiedene Fälle (insgesamt 56 Antworten der Assistenzärzte). GPT-5 bearbeitete alle 20 Fälle einmalig. Das Design war eine unvollständige Blockstruktur, bei der jeder Assistenzarzt für die Primäranalyse mit GPT-5 auf dieselben vier Fälle gematcht wurde.
• Prompt Engineering: GPT-5 wurde über die OpenAI API (Modell-Alias gpt-5, Temperatur 0,3, Reasoning Effort „medium“) aufgerufen. Der Prompt wies dem Modell die Rolle eines Anästhesisten/Intensivmediziners zu und forderte explizit einen strukturierten Output an, der die Komponenten des Revised-IDEA (R-IDEA) widerspiegelt: eine konzeptionelle Checkliste, eine prägnante Problemdarstellung, prioritäre Untersuchungen sowie eine Differenzialdiagnose mit expliziter Evidenz für und gegen jede Hypothese. Dem Modell wurden die Referenzdiagnose und das Bewertungsrubrum nicht zur Verfügung gestellt.
• Evaluierung: Zwei Fakultätsmitglieder entwickelten fallspezifische Referenzrubriken basierend auf dem R-IDEA-Instrument. Ein maskierter Evaluator bewertete alle Antworten (Assistenzärzte und GPT-5) anhand dieser Rubriken. Der R-IDEA-Score (0–10) bewertet vier Domänen: Interpretative Zusammenfassung, Differenzialdiagnose, Erklärung der Hauptdiagnose und Erklärung der Alternativdiagnosen.
• Statistische Analyse: Die Primäranalyse verwendte einen gepaarten t-Test nach Student, um die mittleren R-IDEA-Scores jedes Assistenzarztes (über seine vier Fälle hinweg) mit dem mittleren Score von GPT-5 für dieselben vier Fälle zu vergleichen. Die diagnostische Genauigkeit wurde deskriptiv angegeben.

Wichtigste Ergebnisse

• Primäres Outcome: GPT-5 erreichte einen signifikant höheren mittleren Gesamt-R-IDEA-Score (9,5; SD 0,9) im Vergleich zu den Assistenzärzten (7,0; SD 2,4). Die mittlere gepaarte Differenz betrug 2,5 Punkte zugunsten von GPT-5 (95 % KI 1,4–3,6; p < 0,00 1). Die Effektstärke war groß (gepaartes d_z = 1,39).
• Domänenleistung: GPT-5 übertraf die Assistenzärzte in allen vier R-IDEA-Domänen. Die größte absolute Differenz trat in der Domäne „Interpretative Zusammenfassung“ auf (Differenz von 1,0 Punkt). Die Scores von GPT-5 konzentrierten sich nahe am Maximum der Skala, was auf einen potenziellen Deckeneffekt hindeutet, während die Scores der Assistenzärzte eine größere Variabilität zeigten (Variationskoeffizient: 34 % für Assistenzärzte gegenüber 9 % für GPT-5).
• Diagnostische Genauigkeit: GPT-5 identifizierte die Referenzdiagnose der Fakultät in 75 % der Fälle (15/20), während die mittlere diagnostische Genauigkeit der Assistenzärzte bei 68 % lag. Das Studiendesign verhinderte einen inferentiellen statistischen Vergleich dieser Prozentsätze aufgrund nicht-unabhängiger Beobachtungen und ungleicher Fallreplikation.

Wesentliche Beiträge

• Konzeptionelle Replikation in einem neuen Kontext: Diese Studie erweitert frühere Befunde (z. B. Cabral et al.) bezüglich generativer KI und klinischen Denkens auf ein französischsprachiges Setting, ein marokkanisches akademisches Zentrum und eine Kohorte erfahrener Anästhesisten.
• Differenzierung von Dokumentation vs. Kompetenz: Die Studie unterscheidet explizit zwischen der Qualität des dokumentierten Denkens (in dem GPT-5 unter dem spezifischen Prompt exzellierte) und der tatsächlichen klinischen Kompetenz oder der Leistung am Krankenbett.
• Methodischer Rahmen: Sie demonstriert ein Protokoll zum Vergleich von LLM-Outputs mit schriftlichen Arbeiten von Auszubildenden unter Verwendung strukturierter Rubriken (R-IDEA) und Quellen-Maskierung, was die Bedeutung der Prompt-Ausrichtung auf die Bewertungskriterien hervorhebt.

Bedeutung und Behauptungen
Die Autoren kommen zu dem Schluss, dass GPT-5 unter einem auf R-IDEA-Komponenten ausgerichteten Prompt eine schriftliche Dokumentation des klinischen Denkens produziert, die in den Scores höher liegt als die der erfahrenen Assistenzärzte. Die Arbeit wahrt jedoch eine moderate Haltung hinsichtlich der Implikationen dieses Ergebnisses:

• Keine Behauptung überlegener Kompetenz: Die Autoren stellen explizit klar, dass höhere Dokumentationsscores keine überlegene klinische Kompetenz, diagnostische Äquivalenz oder pädagogische Effektivität begründen.
• Pädagogische Hypothese: Die primäre Bedeutung liegt im Potenzial von GPT-5 als „Gerüst für die Dokumentation des Denkens“ (reasoning-documentation scaffold). Die Autoren schlagen vor, dass durch Fakultätsmitglieder geprüfte und validierte GPT-5-Outputs als gelöste Beispiele (worked examples) dienen könnten, um Assistenzärzten zu helfen, ihre eigenen Problemdarstellungen mit einem strukturierten Modell zu vergleichen, wodurch das Denken sichtbarer gemacht wird.
• Limitierungen und zukünftige Richtungen: Die Studie räumt Einschränkungen ein, darunter das Single-Center-Design, die Verwendung eines einzelnen Bewertungsmodells, die fehlende zweite Modell-Durchlauf zur Bewertung der stochastischen Variabilität sowie die spezifische Ausrichtung des Prompts auf das Rubrik, was das Modell begünstigt haben könnte. Die Autoren schlagen vor, dass zukünftige Forschung prospektive, Multi-Rater-Bildungsstudien beinhalten sollte, um zu testen, ob die Verwendung modellgenerierter Beispiele tatsächlich die Lernergebnisse verbessert, ohne einen Automation Bias zu induzieren.