Concordance of a ChatGPT-4o–based triage model with emergency physician categorization in the emergency department: a prospective observational comparison with emergency medical technicians
Diese prospektive Beobachtungsstudie ergab, dass ein auf ChatGPT-4o basierendes Triage-Modell eine signifikant höhere Übereinstimmung mit der Kategorisierung durch Notfallmediziner aufwies als Rettungssanitäter, wenn identische strukturierte klinische Daten verwendet wurden, wobei diese Übereinstimmung die Konsistenz der Beurteiler und nicht die diagnostische Validität widerspiegelt und von einer Tendenz zur Über-Triage bei Patienten mit hoher Akuität begleitet wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige Notaufnahme wie einen riesigen, chaotischen Bahnhof vor. Jede Minute kommen neue Fahrgäste (Patienten) an, und jemand muss entscheiden, wer in den ersten Zug steigt (Sofortversorgung), wer auf dem Bahnsteig wartet (moderate Versorgung) und wer später zum Fahrkartenschalter gehen kann (geringe Dringlichkeit). Dieser Prozess wird als Triage bezeichnet.
Normalerweise trifft ein menschlicher Experte (ein Notfallmediziner) diese Entscheidungen. Aber Menschen werden müde, abgelenkt oder beeinflusst durch ihre Gefühle, sodass zwei verschiedene Experten denselben Fahrgast unterschiedlich sortieren könnten.
Diese Studie stellte eine einfache Frage: Kann ein superintelligentes Computerprogramm (ChatGPT-4o) diese Fahrgäste genauso gut sortieren wie ein menschlicher Experte?
Hier ist die Aufschlüsselung dessen, was die Forscher gemacht und herausgefunden haben, unter Verwendung einfacher Analogien:
Das Setup: Das „Sortierspiel“
Die Forscher setzten ein Spiel mit drei Spielern auf, die alle dieselben 788 Fahrgäste betrachteten, die in einem türkischen Krankenhaus eintrafen:
- Der menschliche Experte (Der Goldstandard): Ein einzelner, hochqualifizierter Notfallarzt. Dieser Arzt ist der „Schiedsrichter“.
- Der Computer (Der neue Spieler): Ein ChatGPT-4o Modell. Es sah die Patienten nicht persönlich; es las lediglich eine standardisierte Checkliste mit Fakten über sie (Symptome, Krankengeschichte usw.).
- Der Triage-Techniker (Der Realitätsspieler): Notfallsanitäter (EMTs). Dies sind die Personen, die normalerweise an der vorderen Tür die Sortierung vornehmen in diesem speziellen Krankenhaus. Sie sahen die tatsächlichen Menschen vor sich, genau wie im echten Leben.
Die Regeln:
- Der Arzt und der Computer betrachteten beide dieselbe geschriebene Checkliste für jeden Patienten.
- Die EMTs sahen die tatsächlichen Menschen, die vor ihnen standen.
- Alle mussten den Patienten in einen von drei farbigen Behältern einsortieren: Rot (Notfall!), Gelb (Warten Sie ein bisschen) oder Grün (Alles okay, später gehen).
Die Ergebnisse: Wer hat das Spiel gewonnen?
1. Der Computer vs. Der Arzt
Der Computer war unglaublich gut darin, den Arzt nachzuahmen.
- Die Punktzahl: Wenn man sich eine Skala vorstellt, bei der 1,0 perfekte Übereinstimmung bedeutet, stimmten der Computer und der Arzt in 84 % der Fälle überein (ein Wert von 0,84).
- Die Metapher: Es war wie ein Schüler, der die Antwortlösung des Lehrers so gründlich gelernt hat, dass er auf der Prüfung exakt dieselben Antworten schrieb. Sie waren in ihrer Art, die Patienten zu sortieren, fast identisch.
2. Der Computer vs. Der Triage-Techniker
Der Computer war auch besser als die menschlichen Techniker, die tatsächlich an der Tür standen.
- Die Punktzahl: Die Techniker stimmten in 63 % der Fälle mit dem Arzt überein.
- Die Lücke: Der Computer war signifikant besser darin, den Entscheidungen des Arztes zu entsprechen, als es die Techniker waren.
3. Das Problem mit dem „Roten“ Behälter (Der Haken)
Hier wird es knifflig. Der „Rote“ Behälter ist für lebensbedrohliche Notfälle gedacht. Einen Roten-Patienten zu übersehen, ist gefährlich.
- Die Techniker: Sie waren sehr vorsichtig. Wenn sie jemanden in „Rot“ einstuften, lagen sie meistens richtig (87 % Genauigkeit). Sie übersahen jedoch viele tatsächliche Notfälle und stuften 45 von 79 kritischen Patienten in den „Gelben“ Behälter ein. Sie waren untertriagiert (spielten es zu sicher).
- Der Computer: Er erfasste fast alle kritischen Patienten (92 % der „Roten“ Patienten wurden korrekt identifiziert). Aber er war auch sehr „paranoid“. Er steckte 28 Personen, die eigentlich „Gelb“ waren, in den „Roten“ Behälter.
- Die Metapher: Der Computer war wie ein Sicherheitsmann, der schon beim kleinsten Geruch von Rauch „FEUER!“ schreit. Er rettet alle, die tatsächlich brennen, aber er löst auch viele Fehlalarme aus und verstopft die Notausgänge mit Menschen, die sie gar nicht brauchten.
Wichtige Warnungen (Das Kleingedruckte)
Die Autoren sind sehr vorsichtig damit, zu sagen, dass der Computer im echten Leben „besser“ als ein Arzt ist. Hier ist der Grund:
- Der „Gemeinsame Lehrbuch“-Bias: Der Computer und der Arzt betrachteten beide die gleichen schriftlichen Notizen. Die Techniker sahen die Menschen. Da der Computer und der Arzt von derselben Quelle arbeiteten, war es wahrscheinlicher, dass sie übereinstimmten. Es ist, als würden zwei Personen eine Prüfung bewerten, die beide den Lösungsschlüssel haben; sie werden eher übereinstimmen als jemand, der versuchen muss, anhand einer unordentlichen Handschrift zu raten.
- Kein „Echtwelt“-Test: Die Studie hat nicht überprüft, ob die Patienten tatsächlich besser oder schlechter wurden. Es wurde nur geprüft, ob der Computer der Meinung des Arztes zustimmte. Wir wissen nicht, ob die „Roten“ Aufrufe des Computers tatsächlich Leben gerettet oder nur Ressourcen verschwendet haben.
- Das Übersehen der schlimmsten Fälle: Die Studie schloss die schwerstkranken Patienten (die bewusstlos waren oder sofortige Reanimation benötigten) aus. Wir wissen also nicht, wie der Computer mit den absolut schlimmsten Notfällen umgeht.
- Ein einziger Arzt: Der „Goldstandard“ war nur die Meinung eines einzigen Arztes. Wenn dieser Arzt einen schlechten Tag hatte oder eine spezifische Voreingenommenheit hatte, hat der Computer diese Voreingenommenheit einfach kopiert.
Das Fazit
Diese Studie ist ein Proof-of-Concept (ein Machbarkeitsnachweis). Es ist, als würde man zeigen, dass ein neuer Motortyp auf einer Teststrecke mit hoher Geschwindigkeit fahren kann.
- Was sie bewiesen hat: Ein ChatGPT-4o Modell kann eine Patientenakte lesen und sie fast exakt so in Kategorien einteilen wie ein Facharzt, und es tut dies konsistenter als die Techniker an der Front in diesem spezifischen Umfeld.
- Was sie nicht bewiesen hat: Sie hat nicht bewiesen, dass der Computer bereits sicher im Einsatz in einem echten Krankenhaus ist. Er neigt dazu, Notfälle überzubewerten (Fehlalarme), und wir wissen nicht, ob er bei den schwerstkranken Patienten oder mit verschiedenen Sprachen und Hospitalsystemen funktioniert.
Die Forscher kommen zu dem Schluss, dass diese Technologie vielversprechend ist, aber noch viel mehr Tests benötigt, bevor sie einen Menschen in einer echten Notaufnahme ersetzen oder auch nur unterstützen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.