High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

Technisches Resümee: Querschnittliche Evaluierung von ChatGPT bei pathologischen Frakturen bei Plasmozytom-Erkrankungen

Problemstellung
Große Sprachmodelle (LLMs) werden zunehmend von Patienten genutzt, um Zugang zu medizinischen Informationen zu erhalten; dennoch bleibt deren Leistungsfähigkeit in komplexen, multidisziplinären onkologischen Szenarien unterbewertet. Während vorangegangene Studien KI in fachspezifischen Einzeldisziplinen untersucht haben, besteht eine Lücke im Verständnis darüber, wie diese Modelle die koordinierte Entscheidungsfindung bewältigen, die für pathologische Frakturen im Zusammenhang mit Plasmozytom-Erkrankungen (z. B. solitäres Plasmozytom und Multiples Myelom) erforderlich ist. Diese Zustände erfordern eine komplexe Zusammenarbeit zwischen orthopädischen Chirurgen und Radioonkologen hinsichtlich der chirurgischen Stabilisierung, des Zeitpunkts der Strahlentherapie und der Behandlungssequenzierung. Die Studie adressiert die Notwendigkeit zu bestimmen, ob KI-generierte Antworten in der Lage sind, patientenorientierte Fragen über diese divergierenden klinischen Domänen hinweg präzise und konsistent zu beantworten.

Methodik
Diese Querschnittsstudie evaluierte die Leistung von ChatGPT-5.1 (OpenAI) anhand eines strukturierten Rahmens:

• Fragengenerierung: Ein multidisziplinäres Panel aus vier erfahrenen Spezialisten (zwei orthopädische Chirurgen und zwei Radioonkologen mit jeweils >20 Jahren Erfahrung) entwickelte 25 patientenorientierte Fragen. Diese wurden aus realen ambulanten Begegnungen und Tumorboard-Diskussionen abgeleitet und in fünf Domänen kategorisiert: (1) Diagnose und Verständnis, (2) Chirurgische Stabilisierung, (3) Strahlentherapie, (4) Behandlungssequenzierung sowie (5) Genesung und Nachsorge.
• Antwortgenerierung: Die Fragen wurden einzeln über einen standardisierten neutralen Prompt („Bitte beantworten Sie die folgende Frage so, dass ein Patient sie leicht verstehen kann“) in separaten temporären Chats an die KI übermittelt, um Gedächtniseffekte zu minimieren. Nur die erste generierte Antwort wurde aufgezeichnet.
• Evaluierung: Vier Fachärzte (dasselbe Panel) evaluierten die Antworten unabhängig voneinander mittels einer 5-stufigen Likert-Skala anhand von fünf Kriterien: Wissenschaftliche Genauigkeit, Informationsgehalt, Patientenverständlichkeit, klinische Relevanz und Aktualität der Information. Die Evaluatoren waren sich gegenseitig hinsichtlich ihrer Bewertungen nicht bekannt (Blinding).
• Statistische Analyse: Die Interrater-Reliabilität wurde mittels Intraklassen-Korrelationskoeffizienten (ICC) basierend auf einem Modell mit zufälligen Effekten zweier Wege bewertet. Unterschiede zwischen den Evaluatoren und Kriterien wurden mittels des Friedman-Tests analysiert. Die Lesbarkeit wurde mittels Flesch–Kincaid-Metriken bestimmt.

Wesentliche Ergebnisse

• Gesamtleistung: Die KI erreichte einen hohen Mittelwert der Gesamtpunktzahl von 21,90 ± 0,83 von 25, was auf eine generell hohe Leistung in Bezug auf Genauigkeit und Klarheit hindeutet.
• Domänenvariabilität: Die Leistung war am höchsten in den Bereichen „Diagnose und Verständnis“ (22,55 ± 0,62) und „Strahlentherapie“ (22,15 ± 0,74). Etwas niedrigere Werte wurden in multidisziplinären Domänen beobachtet, die komplexes Denken erfordern, insbesondere in den Bereichen „Chirurgische Stabilisierung“ (21,60 ± 0,72) und „Behandlungssequenzierung“ (21,65 ± 0,42).
• Evaluationskriterien: Die „Patientenverständlichkeit“ erhielt konsistent die höchsten Bewertungen (bis zu 4,80 ± 0,21), während der „Informationsgehalt“ durchgehend das am niedrigsten bewertete Kriterium war (Mittelwert ≈ 3,95), insbesondere in chirurgischen und sequenziellen Kontexten. Dies deutet darauf hin, dass die Antworten zwar klar, aber möglicherweise nicht tief genug in der technischen Materie sind.
• Interrater-Reliabilität: Die Übereinstimmung unter den Experten-Evaluatoren war insgesamt gering, mit ICC-Werten, die von negativ bis moderat reichten. Bemerkenswerterweise wurden negative ICC-Werte in den Bereichen „Chirurgische Stabilisierung“ und „Behandlungssequenzierung“ beobachtet, was darauf hindeutet, dass die Urteile der Evaluatoren signifikant divergierten und oft über die Zufallserwartung hinausgingen.
• Lesbarkeit: Das Flesch–Kincaid Grade Level wurde mit 8,05 berechnet, was einer 10. bis 12. Klasse entspricht.

Zentrale Beiträge

1. Multidisziplinärer Rahmen: Im Gegensatz zu bisherigen fachspezifischen Evaluierungen untersuchte diese Studie explizit die KI-Leistung an der Schnittstelle zwischen orthopädischer Chirurgie und Radioonkologie und hob hervor, wie fachdisziplinäre Erwartungen die Bewertung der KI-Outputs beeinflussen.
2. Identifizierung von Variabilität als Merkmal: Die Studie interpretiert die beobachtete niedrige Interrater-Reliabilität nicht bloß als statistischen Mangel, sondern als Reflexion der inhärenten Komplexität und Kontextabhängigkeit multidisziplinärer klinischer Urteilskraft. Die Divergenz in der Bewertung unterstreicht, dass „klinische Angemessenheit“ von verschiedenen Fachrichtungen unterschiedlich interpretiert wird.
3. Differenzierung der Fähigkeiten: Die Forschung zeichnet eine klare Unterscheidung zwischen der Stärke der KI bei der Synthese allgemeiner, patientenfreundlicher Informationen und ihrer relativen Schwäche bei der Bereitstellung der nuancierten, handlungsrelevanten Tiefe, die für komplexe Behandlungssequenzierungen und chirurgische Entscheidungsfindungen erforderlich ist.

Bedeutung und Ansprüche
Die Arbeit kommt zu dem Schluss, dass ChatGPT zwar klare, generell korrekte und patientenfreundliche Antworten generiert, die für die allgemeine Bildung und konzeptionelle Erklärungen geeignet sind, jedoch derzeit eher als „allgemeiner Erklärer“ denn als „spezialisierter Entscheidungswerkzeug“ fungiert. Die Autoren behaupten, dass KI im Kontext pathologischer Frakturen bei Plasmozytom-Erkrankungen als ergänzendes Informationswerkzeug zur Unterstützung der Gesundheitskompetenz (Health Literacy) betrachtet werden sollte, jedoch nicht ausreicht, um das fachärztliche Urteilsvermögen in komplexen multidisziplinären Szenarien zu ersetzen. Die Studie betont, dass die Variabilität der Expertenbewertungen die reale Komplexität der multidisziplinären Versorgung widerspiegelt, was darauf hindeutet, dass eine zukünftige KI-Integration diese fachspezifischen Nuancen berücksichtigen muss, anstatt sich auf einen einzigen zusammengesetzten Leistungswert zu verlassen.