Comparison of the Diagnostic Reliability of ChatGPT in Letournel–Judet Acetabulum Fracture Classification Based on Judet Radiographs According to Orthopaedic Residents
Diese Studie zeigt, dass ChatGPT-4o eine grundlegend unzureichende diagnostische Zuverlässigkeit und eine vernachlässigbare Übereinstimmung mit Expertenstandards bei der Klassifizierung von Acetabulumfrakturen nach Letournel–Judet aufweist, wobei es signifikant schlechter als orthopädische Assistenzärzte abschneidet und somit als lebensfähiges Entscheidungshilfewerkzeug für Beckentraumata ausfällt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein sehr komplexes, 3D-Puzzle aus Knochenbruchstücken im Hüftgelenk eines Menschen. Um es zu reparieren, müssen die Ärzte genau herausfinden, wie die Teile auseinandergebrochen sind. Sie verwenden eine spezielle Karte namens „Letournel–Judet-Klassifikation“, um die Art des Bruchs zu beschreiben. Diese Karte ist knifflig; sie erfordert das Betrachten von drei verschiedenen flachen Röntgenbildern (als würde man ein Gebäude von vorne, von der Seite und von hinten betrachten) und das mentale Zusammenführen dieser Bilder, um die gesamte Struktur zu verstehen.
Diese Studie stellte eine einfache Frage: Kann ein superintelligenter Computer-Chatbot (ChatGPT-4o) diesen Job genauso gut machen wie ein Arzt in der Ausbildung?
Hier ist der Ablauf der Untersuchung, unter Verwendung einfacher Analogien:
Der Aufbau: Der Test
Die Forscher nahmen Röntgenbilder von 184 Patienten mit Brüchen der Hüftpfanne. Sie richteten einen „Test“ mit drei Gruppen ein:
- Der Experte: Ein erfahrener Unfallchirurg, der die abschließenden 3D-CT-Scans und die Ergebnisse der Operation sah. Diese Person ist der „Lösungsschlüssel“.
- Die Studenten: Zwei Orthopädie-Assistenzärzte (Ärzte im letzten Jahr ihrer Ausbildung). Sie sahen nur die flachen Röntgenbilder, genau wie der Computer.
- Die KI: ChatGPT-4o. Die Forscher gaben der KI dieselben Röntgenbilder und eine spezifische Liste von Fragen (eine Checkliste), die der KI helfen sollte, die Art des Bruchs zu bestimmen.
Die Ergebnisse: Eine große Lücke
Die Ergebnisse waren ein massiver Schock für die Forscher.
- Die Studenten (Assistenzärzte): Sie waren exzellent. Sie stellten die Diagnose in 88 % bis 91 % der Fälle korrekt. Sie stimmten fast perfekt mit dem Experten überein.
- Die KI (ChatGPT): Sie hatte schwer zu kämpfen. Sie brachte die endgültige Diagnose nur in 17,9 % der Fälle richtig zustande. Das bedeutet, dass sie in fast 8 von 10 Fällen falsch lag.
Die Analogie:
Stellen Sie sich ein Spiel vor, bei dem Sie eine bestimmte Art von Autounfall identifizieren müssen, indem Sie drei unscharfe Fotos betrachten.
- Die Assistenzärzte sind wie erfahrene Mechaniker, die auf die Fotos schauen und sagen: „Das ist eine Auffahrunfall mit einem verdrehten Rahmen.“ Sie lagen fast jedes Mal richtig.
- Die KI war wie ein Schüler, der auf die Fotos schaut und sagt: „Das ist ein Auto, das von einer Klippe gestürzt ist“ oder „Das ist ein Auto, das einen Baum gerammt hat“, selbst wenn es offensichtlich nicht der Fall war. Sie rät wild herum.
Wo die KI stecken blieb
Die Studie fand heraus, dass die KI nicht völlig blind war.
- Das Gute: Die KI war tatsächlich ziemlich gut darin, einfache, isolierte Dinge zu erkennen. Sie konnte korrekt identifizieren, ob ein bestimmter Teil des Hüftknochens (der „Iliact-Flügel“) gebrochen war, und das in etwa 82 % der Fälle. Es war wie ein Schüler, der korrekt auf einen „gebrochenen Reifen“ zeigen kann, aber scheitert, das ganze Auto zu verstehen.
- Das Schlechte: Die KI versagte kläglich bei dem schwierigen Teil: die Teile zusammenzufügen. Sie konnte nicht verstehen, wie die Vorder- und Rückseite der Hüfte miteinander verbunden waren. Sie verwechselte oft einen einfachen Bruch mit einer „Beckenkammfraktur“ (einem sehr komplexen Bruch) – sie sah quasi einen einfachen Kratzer und nannte es eine totale Katastrophe.
Die Forscher merkten an, dass die KI offenbar unter „Halluzinationen“ litt. Sie sah einen Schatten auf einem Röntgenbild und behauptete voller Selbstvertrauen: „Das ist ein spezifisches Anzeichen für eine Fraktur“, selbst wenn gar nichts davon da war.
Das Fazit: Benutzen Sie es noch nicht
Die Hauptbotschaft des Papers ist deutlich: Verwenden Sie diese KI nicht zur Diagnose von Hüftbrüchen.
Die Autoren stellen fest, dass KI zwar großartig bei einfachen Aufgaben ist (wie dem Erkennen eines Knochenbruchs am Finger), aber derzeit grundsätzlich unzureichend für das komplexe, mehrstufige Denken ist, das bei Hüftpfannenfrakturen erforderlich ist. Sie kann die verschiedenen Röntgenansichten nicht zuverlässig kombinieren, um eine korrekte Diagnose zu erstellen.
Kurz gesagt: Wenn Sie diese Röntgenbilder einem menschlichen Assistenzarzt geben würden, würde er wahrscheinlich die richtige Antwort geben. Wenn Sie diese spezifische KI damit beauftragen würden, würde sie Ihnen wahrscheinlich die falsche Antwort geben, was zu einer falschen Operation führen könnte. Die Forscher sagen, wir sollten uns für diese spezifische Aufgabe an menschliche Ärzte halten, bis die KI viel klüger wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.