Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

Technisches Resümee: Leistung eines Large Language Models bei realen Patientengeschichten zur Beurteilung der Bildgebungsangemessenheit

Problemstellung
Lage Rückenschmerzen (LBP) sind eine weit verbreitete globale muskuloskelettale Beschwerde, die zu häufigen Anfragen für MRT-Untersuchungen der Lendenwirbelsäule führt. Systematische Übersichtsarbeiten zeigen, dass etwa 29–34 % dieser Bildgebungsanfragen unangemessen sind, da sie oft keine „Red Flags“ wie Infektionen, Malignome oder Traumata aufweisen. Unnötige MRTs erhöhen die Gesundheitskosten, die Patientenangst und das Risiko einer Überdiagnose. Obwohl klinische Entscheidungsunterstützungswerkzeuge und Leitlinien existieren, wird deren Implementierung in der Praxis durch Herausforderungen bei der Workflow-Integration und Alert-Fatigue erschwert. Während Large Language Models (LLMs) als skalierbare Alternative zur Reduzierung unnötiger Inanspruchnahme in Erscheinung getreten sind, stützten sich vorangegangene Studien weitgehend auf hypothetische klinische Szenarien statt auf reale Patientengeschichten, nutzten einen einzelnen Radiologen als Referenzstandard und konzentrierten sich auf frühere Modellversionen (z. B. GPT-4), ohne den Zusammenhang zwischen der Qualität der Argumentation und der Entscheidungszuverlässigkeit systematisch zu evaluieren.

Methodik
Diese Querschnittsstudie evaluierte die diagnostische Genauigkeit von GPT-5.2 bei der Klassifizierung der Angemessenheit von MRT-Untersuchungen der Lendenwirbelsäule unter Verwendung realer Patientengeschichten und der Kriterien des American College of Radiology (ACR).

• Datenerhebung: Die Daten wurden retrospektiv von 160 Erwachsenen (mittleres Alter 48 ± 15 Jahre; 58 % männlich) erhoben, die zwischen September und November 2025 eine MRT der Lendenwirbelsäule erhielten. Patienten mit unzureichender Anamnese, vorangegangenen Wirbelsäulenoperationen, Verdacht auf Infektionen oder akuten Traumata wurden ausgeschlossen. Ein durch fünf Spezialisten validierter strukturierter Fragebogen wurde verwendet, um die klinischen Anamnesen vor der Bildgebung zu erfassen.
• Modell-Prompting: Die Patientengeschichten wurden via strukturierter Prompts in GPT-5.2 eingespeist, wobei dem Modell die Rolle eines Radiologen zugewiesen wurde und es angewiesen wurde, die Indikation für das MRT basierend auf ACR-Leitlinien als „Normalerweise angemessen“ (UA), „Kann angemessen sein“ (MBA), „Normalerweise nicht angemessen“ (UNA) oder „Unzureichende klinische Informationen“ (ICI) zu klassifizieren, einschließlich einer expliziten Begründung.
• Referenzstandard: Zwei unabhängige Radiologen (mit 5 bzw. 10 Jahren Erfahrung) dienten als Referenzstandard.
  • Phase 1: Die Radiologen bewerteten die Angemessenheit basierend auf denselben Prompts, die auch für das LLM verwendet wurden, wobei sie blind gegenüber der Ausgabe des Modells waren.
  • Phase 2: Die Radiologen bewerteten die Genauigkeit der Empfehlungen des LLMs sowie die Qualität seiner klinischen Argumentation mittels einer 5-stufigen Likert-Skala (1–5), wobei sie blind gegenüber den Bewertungen des jeweils anderen waren.
• Statistische Analyse: Die Übereinstimmung wurde mittels gewichteter Cohens Kappa ($\kappa_w$) und des Bowker-Tests auf Asymmetrie gemessen. Für die binäre Analyse wurden UA und MBA zu „Angemessen“ zusammengefasst und UNA als „Unangemessen“. Zu den Leistungsmetriken gehörten Sensitivität, Spezifität, PPV, NPV und die Fläche unter der Kurve (AUC). Subgruppenanalysen wurden basierend auf der radiologisch bewerteten Argumentationsqualität (Hoch: $\ge$4 vs. Niedrig: <4) durchgeführt.

Wesentliche Ergebnisse

• Übereinstimmung: GPT-5.2 zeigte eine moderate Übereinstimmung mit beiden Radiologen ($\kappa_w = 0,58$ vs. Radiologe 1; $\kappa_w = 0,50$ vs. Radiologe 2). Dieses Übereinstimmungsniveau war vergleichbar mit der Inter-Radiologen-Übereinstimmung ($\kappa_w = 0,575$).
• Binäre Klassifizierung: Das Modell zeigte eine hohe Sensitivität (~85 % gegenüber beiden Radiologen), aber eine variable Spezifität (92,9 % vs. Radiologe 1; 61,7 % vs. Radiologe 2). Der negative Vorhersagewert (NPV) war moderat (57,8 % vs. R1; 64,4 % vs. R2), was auf eine Tendenz zur konservativen (restriktiven) MRT-Nutzung hindeutet.
• Diskriminierungsfähigkeit: Die ROC-Analyse zeigte eine gute bis exzellente Diskriminierung gegenüber Radiologe 1 (AUC 0,891) und eine gute bis faire Diskriminierung gegenüber Radiologe 2 (AUC 0,751).
• Korrelation der Argumentationsqualität: Ein entscheidender Befund war der starke Zusammenhang zwischen der Qualität der Argumentation und der Zuverlässigkeit der Entscheidung. Wenn die Radiologen die Qualität der Argumentation des Modells als hoch bewerteten ($\ge$4), war die exakte Übereinstimmung bei der Angemessenheit hoch (83,3 % vs. R1; 90,4 % vs. R2) und die gegensätzliche Diskrepanz (der gefährlichste Fehlertyp) gering (2,3–4,7 %). Im Gegensatz dazu sank bei einer als niedrig bewerteten Argumentation (<4) die exakte Übereinstimmung auf 0–7,1 % und die gegensätzliche Diskrepanz stieg auf 71,4–92,8 % an.
• Expertenbewertung: Die Radiologen bewerteten die Qualität der Modellausgabe hoch, mit medianen Likert-Scores von 5 (Maximum) sowohl für die Angemessenheit als auch für die Argumentation.

Bedeutung und Behauptungen
Die Autoren behaupten, dass GPT-5.2 im Bereich der Inter-Radiologen-Variabilität liegt, wenn es die Angemessenheit von MRT-Untersuchungen der Lendenwirbelsäule unter Verwendung realer Patientengeschichten klassifiziert. Die Studie hebt hervor, dass die Qualität der Argumentation des Modells ein robuster Prädiktor für dessen Entscheidungszuverlässigkeit ist. Insbesondere korreliert eine qualitativ hochwertige Argumentation mit einer hohen Konkordanz mit dem Expertenurteil, während eine qualitativ minderwertige Argumentation mit signifikanter Diskordanz korreliert.

Das Paper postuliert, dass LLMs wie GPT-5.2 das Potenzial haben, als Vorab-Screening-Unterstützungswerkzeuge zur Reduzierung unnötiger Bildgebungsanfragen zu dienen. Die Autoren betonen jedoch, dass dieses Potenzial von der Argumentationsqualität des Modells abhängt, was einen hybriden Workflow nahelegt, bei dem Ausgaben mit geringer Argumentationsqualität zur Expertenprüfung eskaliert werden. Die Studie kommt zu dem Schluss, dass das Modell zwar vielversprechend ist, eine sichere klinische Integration jedoch eine kontinuierliche menschliche Aufsicht, prospektive Multizenter-Validierungen und die Etablierung von Konsensus-Referenzstandards zur Adressierung der Inter-Beobachter-Variabilität in ambivalenten Fällen erfordert.