Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set
Diese Studie benchmarkt 16 große Sprachmodelle anhand von realen Notaufnahme-Triage-Daten und stellt fest, dass strukturierte Prompting-Verfahren zwar eine erhebliche Übereinstimmung mit Pflegepersonal bei der Schweregradklassifizierung erreichen können, die meisten Modelle jedoch eine begrenzte Genauigkeit, eine mangelhafte Sektorenbestimmung, systematische Überkonfidenz und ein nicht-deterministisches Verhalten aufweisen, was darauf hindeutet, dass sie ohne weitere Validierung und Verbesserungen noch nicht bereit für den klinischen Einsatz sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige Notaufnahme eines Krankenhauses wie einen riesigen, chaotischen Bahnhof vor. Jeden Tag kommen tausende Menschen mit unterschiedlichen Problemen an, von einem aufgeschürften Knie bis hin zu einem Herzinfarkt. Die Aufgabe des „Bahnhofmeisters“ (der Triage-Pflegekraft) besteht darin, jeden Menschen zu betrachten, zu entscheiden, wie dringend sein Problem ist, und ihm zu sagen, auf welches Gleis er gehen soll: den Hochgeschwindigkeits-Expresszug (die Notaufnahme für kritische Fälle) oder die lokale Bushaltestelle (eine medizinische Bereitschaftspraxis für weniger schwere Fälle).
Dieser Job ist unglaublich schwer. Er findet schnell statt, unter Druck, und die Folgen einer falschen Entscheidung können Leben oder Tod bedeuten.
In letzter Zeit fragen die Leute: „Können wir einen superintelligenten KI-Roboter (ein Large Language Model oder LLM) einstellen, um dem Bahnhofmeister zu helfen?“ Diese KI-Roboter sind wie brillante Studenten, die fast jedes Buch in der Bibliothek gelesen haben. Aber haben sie tatsächlich gelernt, wie man einen Bahnhof leitet?
Dieses Papier ist das Zeugnis für 16 verschiedene KI-Roboter, die mit echten Daten aus einem deutschen Krankenhaus getestet wurden. Hier ist das, was sie herausgefunden haben, einfach erklärt:
1. Die „Probefahrt“
Die Forscher nahmen 16.107 echte Patientendatensätze (anonymisiert, sodass keine Namen beteiligt waren) und baten 16 verschiedene KI-Modelle, als Triage-Pflegekraft zu fungieren. Sie mussten zwei Dinge tun:
- Die Dringlichkeit bewerten: Einem Patienten einen Score von 1 (stirbt gerade) bis 5 (eine geringfügige Unannehmlichkeit) geben.
- Das Ziel auswählen: Den Patienten in die Notaufnahme (ER) oder in die medizinische Bereitschaftspraxis (Urgent Care Clinic) schicken.
Sie verglichen die Antworten der KI mit den Entscheidungen der tatsächlichen Pflegekräfte.
2. Das Ergebnis: Die meisten Roboter sind noch am Lernen
Wenn die menschlichen Pflegekräfte den „Goldstandard“ darstellten, bestanden die meisten KI-Roboter den Test nicht mit Bravour.
- Der „Durchschnittsstudent“: Die meisten KI-Modelle erhielten eine Note, die nur als „befriedigend“ bis „moderat“ bezeichnet werden kann. Sie stimmten nur etwa die Hälfte der Zeit mit den Pflegekräften überein.
- Das „selbstbewusste“ Versagen: Hier ist der beängstigende Teil. Selbst wenn die KI falsch lag, war sie sich ihrer Sache extrem sicher. Es ist wie ein Schüler, der eine Matheaufgabe falsch löst, aber die Hand hebt und ruft: „Ich bin mir zu 100 % sicher, dass das die Antwort ist!“ Das Papier fand heraus, dass das Selbstvertrauen der KI fast nichts damit zu tun hatte, ob sie tatsächlich korrekt war.
- Der „unzuverlässige“ Roboter: Wenn man derselben KI 100 Mal dieselbe Frage stellte, gab sie in 23 % der Fälle eine andere Antwort. Stellen Sie sich vor, Sie fragen ein Navigationsgerät nach dem Weg, und es sagt heute „Biegen Sie links ab“, aber morgen „Biegen Sie rechts ab“, obwohl sich der Verkehr nicht geändert hat. Dieses „nicht-deterministische“ Verhalten ist in einem Krankenhaus gefährlich.
3. Die Geheimwaffe: Die „Schritt-für-Schritt“-Anleitung
Es gab eine große Überrasung. Die Forscher probierten einen speziellen Trick mit einem der besten KI-Modelle aus. Anstatt einfach nur zu sagen: „Hier ist ein Patient, was denkst du?“, gaben sie der KI eine Checkliste.
- Schritt 1: Stirbt der Patient?
- Schritt 2: Hat der Patient Hochrisiko-Symptome?
- Schritt 3: Wie sind seine Vitalwerte?
- Schritt 4: Wie viele Ressourcen wird er benötigen?
Als die KI gezwungen wurde, dieser Schritt-für-Schritt-Logik zu folgen (so wie eine menschliche Pflegekraft es tut), sprang ihre Leistung auf „substanziell“ an. Sie wurde fast so gut wie eine menschliche Pflegekraft.
Die Lektion: Es spielte keine Rolle, wie „groß“ oder „intelligent“ die KI war. Was zählte, war, wie man die Frage stellte. Der KI ein klares, strukturiertes Regelwerk zu geben, funktionierte viel besser, als sie einfach nur raten zu lassen.
4. Das „Wohin soll ich gehen“-Problem
Während die KI ganz gut darin war, die Dringlichkeitsstufe zu erraten (manchmal), war sie schrecklich darin, zu entscheiden, wohin der Patient gehen sollte (Notaufnahme vs. Bereitschaftspraxis).
- Die KI schickte oft Menschen mit geringfügigen Problemen in die Notaufnahme (Über-Triage), was das System verstopft.
- Oder sie schickte Menschen mit ernsten Problemen in die Bereitschaftspraxis (Unter-Triage), was gefährlich ist.
- Das Papier legt nahe, dass dies daran liegt, dass die KI die „lokalen Regeln“ dieses spezifischen Krankenhauses nicht kennt, wie zum Beispiel, welche Klinik um 3 Uhr morgens geöffnet ist oder welches Gebäude über die richtige Ausrüstung verfügt.
5. Das Fazit
Das Papier kommt zu dem Schluss, dass diese KI-Roboter zwar beeindruckend sind, aber sie sind nicht bereit, den Bus alleine zu fahren.
- Sie sind zu inkonsistent (sie ändern ihre Meinung).
- Sie sind zu selbstbewusst (sie wissen nicht, wann sie im Unrecht sind).
- Sie brauchen einen menschlichen „Co-Piloten“, der ihre Arbeit überprüft.
Der einzige Weg, sie derzeit besser zu machen, besteht darin, sie nicht mehr als magische Blackboxen zu behandeln, sondern als Studenten, die ein strenges, Schritt-für-Schritt-Instruktionshandbuch benötigen. Bis wir ihre Zuverlässigkeit und ihr Selbstvertrauen beheben können, sollten sie keine Entscheidungen über Leben und Tod im Alleingang treffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.