Development and Validation of a Localized Large Language Model for Preoperative Anesthesia Planning: Protocol for a Retrospective Observational Study and Clinical Turing Test
Dieses Papier skizziert ein Protokoll zur Entwicklung und Validierung eines lokalisierten Large Language Models, das auf 3.000 historischen Anästhesieprotokollen des Istishari-Krankenhauses feinabgestimmt wurde, um präoperative Anästhesiepläne zu generieren, die in einem retrospektiven „Clinical Turing Test“ gegen menschliche Expertenstandards hinsichtlich Sicherheit und Genauigkeit evaluiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Bevor ein Patient einen Operationssaal betritt, muss ein Anästhesist eine komplexe mentale Aufgabe bewältigen: Er nimmt die Krankengeschichte einer Person, deren aktuelle Vitalparameter und die spezifischen Anforderungen der bevorstehenden Operation und verwebt diese Fakten zu einem einzigen, sicheren Plan, um den Patienten schlafend und schmerzfrei zu halten. Dieser Prozess erfordert schnelles Denken und tiefes Wissen, ist aber auch anfällig für menschliche Fehler, insbesondere wenn Ärzte müde sind oder wenn verschiedene Ärzte dieselben Informationen etwas unterschiedlich interpretieren. In den letzten Jahren haben Computer begonnen, bei medizinischen Aufgaben zu helfen, hauptsächlich indem sie Dinge wie Blutdruckabfälle vorhersagen oder Medikamentenpumpen automatisch steuern. Ein neuer Typ von Computerprogramm, bekannt als Large Language Model, ist jedoch mit einer anderen Fähigkeit aufgetaucht. Diese Programme können riesige Mengen an Text lesen und neuen Text schreiben, der wie der eines menschlichen Experten klingt. Während diese Werkzeuge bereits für das Studium und Testen verwendet werden, hat noch niemand bewiesen, dass sie sicher einen echten, maßgeschneiderten medizinischen Plan für ein spezifisches Krankenhaus schreiben können, das die eigenen Regeln und Gewohnheiten dieses Krankenhauses nutzt, ohne gefährliche Fehler zu machen.
Ein Forscher am Istishari Hospital in Amman, Jordanien, setzte sich zum Ziel, diese Idee zu testen. Er wollte sehen, ob er einen Computer lehren kann, wie ein erfahrener Anästhesist zu handeln, indem er ihn mit tausenden echter, vergangener Fälle aus seinem eigenen Krankenhaus füttert. Sein Ziel war es, einen „digitalen Fellow“ zu erschaffen, ein spezialisiertes Computerprogramm, das einen vollständigen Anästhesieplan entwerfen kann, genau wie ein Mensch. Um dies zu erreichen, sammelte er 3.000 historische Krankenakten von Patienten, die sich einer Operation unterzogen hatten. Diese Datensätze waren keine digitalen Dateien, sondern physische Papierdokumente, die Notizen über die Größe, das Gewicht, die Herzgeschichte, die Lungenzustände des Patienten sowie die exakten Medikamente und Atemwegswerkzeuge enthielten, die das menschliche Team während der Operation verwendet hatte. Ein Team von Assistenzärzten und Praktikanten las jede einzelne Papierakte manuell durch und kopierte die Informationen in eine sichere digitale Datenbank. Sie gingen sorgfältig vor, indem sie alle Namen und identifizierenden Details entfernten, sodass nur die medizinischen Fakten und die daraus resultierenden Behandlungspläne übrig blieben.
Sob-e diese massive Sammlung von Daten bereit war, nutzte der Forscher sie, um ein leistungsstarkes Computermodell zu trainieren. Er wies das Modell an, die Muster zu erlernen, wie sein spezifisches Krankenhaus die Anästhesie handhabt. Dem Computer wurde gesagt, er solle wie ein leitender Berater in diesem Krankenhaus agieren und für jeden Patienten einen neuen Plan basierend auf den gelernten Daten schreiben. Der Plan musste vier Hauptbereiche abdecken: die Vorbereitung des Patienten vor der Operation, die Einleitung der Narkose und die Steuerung der Atmung, die Stabilisierung während des Eingriffs sowie das Aufwachen und das Schmerzmanagement nach der Operation. Der Forscher ließ den Computer nicht einfach raten; er baute das System auf den tatsächlichen, erfolgreichen Entscheidungen der menschlichen Ärzte in ihrer eigenen Institution auf, in der Hoffnung, dass dies den Computer daran hindert, Fakten zu erfinden oder Behandlungen vorzuschlagen, die es in ihrem Krankenhaus nicht gibt.
Um zu sehen, ob die Arbeit des Computers gut war, organisierte der Forscher einen Blindtest, ähnlich einem Wettbewerb, bei dem eine Person versucht zu erraten, welcher Autor ein Mensch und welcher eine Maschine ist. Er nahm eine Reihe von Patientenfällen und zeigte sie einer Gruppe von erfahrenen Anästhesisten. Für jeden Fall erhielten die Experten zwei verschiedene Pläne: einer war der ursprüngliche Plan, den vor Jahren ein menschlicher Arzt geschrieben hatte, und der andere war der neue Plan, den der Computer geschrieben hatte. Die Experten wussten nicht, welcher welcher war. Sie wurden gebeten, die Pläne hinsichtlich der Sicherheit zu beurteilen, indem sie nach gefährlichen Fehlern suchten, sowie hinsichtlich der Vollständigkeit, um sicherzustellen, dass alle notwendigen Schritte enthalten waren. Schließlich mussten sie erraten, welcher Plan vom Computer geschrieben worden war.
Die Studie ist derzeit ein Protokoll, was bedeutet, dass es der detaillierte Plan ist, wie die Forschung durchgeführt werden soll, und kein Bericht über endgültige Ergebnisse. Der Forscher schlägt vor, dass, wenn sein Computermodell mit diesen 3.000 echten lokalen Fällen trainiert wird, es Pläne erstellt, die genauso sicher und genau sind wie die von menschlichen Experten geschriebenen. Er glaubt, dass dieser Ansatz das Risiko verringert, dass der Computer Informationen erfindet – ein Problem, das als „Halluzination“ bekannt ist –, da der Computer in der Realität der Praktiken ihres eigenen Krankenhauses verwurzelt ist. Wenn der Test zeigt, dass die Experten keinen Unterschied zwischen den menschlichen und den Computerplänen feststellen können, deutet dies darauf an, dass diese Technologie Ärzten eines Tages helfen könnte, indem sie die schwere mentale Arbeit des Schreibens routinemäßiger Pläne übernimmt, sodass sie sich mehr auf den Patienten und weniger auf den Papierkram konzentrieren können. Das Projekt zielt auch darauf ab, die schwierige Aufgabe des Lesens tausender alter Papierakten in eine Lernerfahrung für die Assistenzärzte zu verwandeln, die die Dateneingabe leisten, wodurch sie gezwungen werden, die Entscheidungen ihrer Mentoren zu studieren, während sie die Datenbank aufbauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.