Inconsistent and divergent large language model safety guidance during intraoperative crises: a guideline- anchored benchmark
Diese Studie zeigt auf, dass führende große Sprachmodelle bei der Bereitstellung von richtlinienbasierten Sicherheitsanweisungen während simulierter intraoperativer Krisen eine erhebliche Inkonsistenz und Divergenz aufweisen, insbesondere in Bezug auf Kommunikation und Eskalation, was die kritische Notwendigkeit unterstreicht, deren Zuverlässigkeit und Reproduzierbarkeit anstatt lediglich der aggregierten Genauigkeit für die klinische Entscheidungsunterstützung zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Umgebung eines Operationssaals zählen Sekunden. Wenn sich der Zustand eines Patienten während einer Operation plötzlich verschlechtert, muss das medizinische Team sofort handeln und dabei strengen, lebensrettenden Checklisten folgen, die über Jahrzehnte hinweg verfeinert wurden. Diese Protokolle sind darauf ausgelegt, Fehler zu erkennen, bevor sie Schaden anrichten, indem sie sicherstellen, dass das Team klar kommuniziert, das Problem an die richtigen Personen eskaliert und spezifische, kritische Manöver durchführt. Da Werkzeuge der künstlichen Intelligenz, bekannt als große Sprachmodelle, beginnen, in das medizinische Feld einzuziehen, wächst die Hoffnung, dass sie als digitaler Assistent dienen könnten, der in diesen chaotischen Momenten Echtzeit-Anleitungen bietet. Im Gegensatz zu einem menschlichen Arzt, der sich auf Ausbildung und Erfahrung verlässt, generieren diese Computerprogramme jedoch Antworten basierend auf Mustern in Daten, und sie können manchmal unterschiedliche Antworten auf dieselbe exakte Frage liefern. Die entscheidende Frage für die Patientensicherheit ist nicht nur, ob eine künstliche Intelligenz ein Problem identifizieren kann, sondern ob sie jedes einzelne Mal, wenn eine Krise auftritt, konsistent die korrekten, sicheren Maßnahmen empfehlen kann und ob man ihr vertrauen kann, dies ohne Zögern oder Widersprüche zu tun.
Ein Forscherteam der University of California San Diego unternahm den Versuch, genau diese Zuverlässigkeit zu testen. Sie entwickelten eine rigorose Simulation, die zehn verschiedene Arten chirurgischer Notfälle umfasste, die von schweren Blutungen bis hin zu Atemwegsblockaden und Herzkomplikationen reichten. Anstatt die künstliche Intelligenz einfach nur das Problem diagnostizieren zu lassen, präsentierten die Forscher den Modellen eine sich schrittweise entfaltende Krise und fragten nach jeder Phase, was das chirurgische Team als Nächstes tun sollte. Die Modelle wurden gegen eine strikte Liste von 150 spezifischen Sicherheitsmaßnahmen getestet, die aus etablierten medizinischen Leitlinien und Notfallhandbüchern abgeleitet waren. Diese Maßnahmen beinhalteten Dinge wie das Ausrufen einer Krise, das Herbeirufen von Hilfe, das Stoppen eines schädlichen Eingriffs oder das Durchführen eines lebensrettenden Manövers. Die Forscher ließen jedes Szenario dreimal mit drei verschiedenen führenden KI-Modellen durchlaufen, wobei sie die Computerprogramme so behandelten, als wären sie neue Teammitglieder, die dem Operationssaal beitreten. Das Ziel war es zu sehen, ob die Modelle jedes Mal dieselbe sichere Beratung geben würden oder ob ihre Anleitung unvorhersehbar driften und sich verändern würde.
Die Ergebnisse zeigten eine signifikante und beunruhigende Inkonsistenz. Wenn dasselbe Krisenszenario demselben Modell mehrfach präsentiert wurde, gab der Computer nicht dieselbe Antwort. In 29 von 30 Kombinationen aus Modell und Szenario änderte sich der Anteil der korrekten Sicherheitsmaßnahmen, die das Modell identifizierte, von einem Durchgang zum nächsten. Im Durchschnitt war der Unterschied in der Leistung zwischen zwei Durchläufen desselben Modells substanziell und variierte um fast 15 bis 18 Prozentpunkte. Das bedeutet: Wenn ein Chirurg während einer echten Notlage zweimal dieselbe Frage stellt, könnte der Computer beim zweiten Mal einen völlig anderen Satz an Maßnahmen vorschlagen und dadurch möglicherweise einen kritischen Schritt beim ersten Mal übersehen haben. Obwohl ein Modell, Claude Opus 4.6, insgesamt mehr korrekte Maßnahmen identifizierte als die anderen, litt auch es unter dieser gleichen Instabilität, und die Unterschiede in der Gesamtgenauigkeit zwischen den Modellen waren nicht groß genug, um einen klaren Sieger zu küren. Die gefährlichsten Abweichungen traten im Bereich der Kommunikation und Eskalation auf. Die Modelle versäumten es häufig, vorzuschlagen, dass das Team einen Notfall ausrufen oder zusätzliche Hilfe rufen sollte, und die Rate, mit der sie diese entscheidenden Schritte versäumten, variierte extrem – ein Modell versäumte diese Schritte fast dreimal so häufig wie ein anderes unter identischen Bedingungen.
Die Studie untersuchte auch, ob die Modelle Maßnahmen vorschlagen würden, die dem Patienten tatsächlich schaden könnten. Erfreulicherweise waren diese unsicheren Empfehlungen bei allen getesteten Modellen selten. Die Tatsache, dass die Modelle jedoch in ihren sicheren Empfehlungen inkonsistent waren, ist ein großes Problem. Die Forscher fanden heraus, dass die Modelle im Allgemeinen besser darin waren, spezifische medizinische Prozeduren vorzuschlagen, wie etwa die Verabreichung eines Medikaments oder das Durchführen einer Operation, aber sie hatten signifikante Schwierigkeiten mit den eher „weichen“, teambasierten Aspekten des Krisenmanagements, wie etwa der Organisation des Teams oder der Kommunikation der Schwere der Situation. Dies deutet darauf an, dass die künstliche Intelligenz zwar die medizinischen Fakten kennen mag, aber die menschliche Dynamik, die für ein sicheres Krisenmanagement erforderlich ist, nicht zuverlässig versteht. Die Forscher kamen zu dem Schluss, dass diese Werkzeuge für den Einsatz in einem Operationssaal nicht nur danach beurteilt werden müssen, ob sie meistens korrekt sind, sondern ob sie konsistent reproduzierbar sind. Ein Werkzeug, das für dasselbe Problem unterschiedliche Sicherheitsratschläge gibt, kann nicht darauf vertraut werden, ein medizinisches Team zu unterstützen, wenn das Leben eines Patienten auf dem Spiel steht. Die Studie dient als Benchmark, als Maßstab für zukünftige künstliche Intelligenz, und beweist, dass Zuverlässigkeit genauso wichtig ist wie Genauigkeit, wenn diese Systeme in Hochdrucksituationen der Medizin eingesetzt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.