Implementation Variability Makes Sepsis-3 an Inconsistent Measuring Model for Early AI Prediction on Clinical Data
Diese Arbeit zeigt, dass die Variabilität in der Implementierung von Sepsis-3-Definitionen, insbesondere im Hinblick auf den Verdacht auf eine Infektion, die Reproduzierbarkeit und die Vorhersageleistung von KI-Modellen im Vergleich zu Experten-validierten Labels signifikant untergräbt, was eine transparente Berichterstattung über Messprotokolle erforderlich macht, um die Vergleichbarkeit in der klinischen Forschung zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Hochrisikoumgebung einer Intensivstation ist Zeit oft der Unterschied zwischen Leben und Tod. Sepsis, eine gefährliche Reaktion auf eine Infektion, die zu Organversagen führen kann, ist weltweit eine der führenden Todesursachen in Krankenhäusern. Da sich der Zustand schnell verschlechtern kann, verlassen sich Ärzte auf künstliche Intelligenz, um Patientenakten zu scannen und Alarm zu schlagen, bevor ein Patient kritisch wird. Um diesen Computersystemen beizubringen, worauf sie achten müssen, müssen Forscher sie zuerst lehren, was Sepsis eigentlich ist. Sie tun dies, indem sie einen Satz vereinbarter medizinischer Regeln, bekannt als Sepsis-3, auf die Rohdaten elektronischer Gesundheitsakten anwenden. Diese Regeln fungieren als Maßstab, der komplexe Ströme von Vitalparametern und Laborergebnissen in ein einfaches Label verwandelt: Sepsis oder keine Sepsis. Die Hoffnung war, dass die resultierenden Computermodelle zuverlässig und vergleichbar sein würden, wenn alle dieselben Regeln verwenden. Eine neue Studie deutet jedoch darauf hin, dass dieser Maßstab weit weniger konsistent ist als bisher angenommen, was ernsthafte Fragen darüber aufwirft, wie wir die künstliche Intelligenz trainieren, die dazu bestimmt ist, Leben zu retten.
Ein Forscher der Universität Heidelberg beschloss zu untersuchen, wie zuverlässig diese Regeln sind, indem er die Definition von Sepsis nicht als feststehende Tatsache, sondern als ein Messmodell betrachtete. Er untersuchte, wie verschiedene Forschungsteams, die alle behaupteten, denselben Sepsis-3-Richtlinien zu folgen, diese tatsächlich auf Patientendaten anwandten. Er fand heraus, dass die Richtlinien Raum für erhebliche Interpretationen lassen. Beispielsweise besagen die Regeln, nach einer „vermuteten Infektion“ zu suchen, aber sie spezifizieren nicht genau, welche Kombination aus Antibiotika und Labortests als Verdacht gilt. Ein Team könnte entscheiden, dass eine einzige Dosis Antibiotika ausreicht, während ein anderes eine volle Woche Behandlung erfordert. Ähnlich kann die Definition von „Organfehlfunktion“ variieren, je nachdem, wie die Forscher einen spezifischen Score namens SOFA berechnen, der verfolgt, wie gut die Organe eines Patienten funktionieren. Der Forscher identifizierte sechs verschiedene Bereiche, in denen solche Entscheidungen getroffen werden konnten, und als er alle möglichen Variationen kombinierte, entdeckte er über zwei tausend unterschiedliche Wege, dieselbe einzelne Definition zu implementieren.
Um zu sehen, wie sehr diese Entscheidungen ins Gewicht fielen, führte das Team ein massives Experiment unter Verwendung von Daten aus drei verschiedenen Krankenhausdatenbanken durch. Sie nahmen exakt dieselben Patientenakten und wandten jede mögliche Version der Sepsis-3-Regeln darauf an. Die Ergebnisse waren bemerkenswert. Die unterschiedlichen Arten, eine vermutete Infektion zu definieren, waren die größte Quelle für Unstimmigkeiten, gefolgt von der Frage, wie Forscher genau entschieden, wann die Sepsis begann. In einigen Fällen änderte die Wahl der Regeln das endgültige Label für einen Patienten vollständig. Der Forscher stellte fest, dass diese Variationen nicht nur geringfügige technische Details waren; sie führten eine Inkonsistenz ein, die es schwierig machte, die Ergebnisse verschiedener Studien zu vergleichen. Ein Modell, das in einem Krankenhaus mit einem Satz von Regeln trainiert wurde, könnte sich grundlegend von einem Modell unterscheiden, das in einem anderen Krankenhaus mit einem leicht anderen Satz von Regeln trainiert wurde, selbst wenn beide behaupteten, denselben Standard zu verwenden.
Die Studie unternahm dann einen entscheidenden Schritt, indem sie diese computergenerierten Labels mit den Urteilen echter Experten verglichen. Der Forscher nutzte einen Datensatz, in dem erfahrene Ärzte die Patientenakten manuell geprüft und markiert hatten, wann sie glaubten, dass die Sepsis begann. Als er die verschiedenen Computerversionen von Sepsis-3 mit diesen menschlichen Experten verglich, hatten die Computermodelle Schwierigkeiten, mit den Ärzten übereinzustimmen. Die Diskrepanz war besonders gravierend im Bereich der Sensitivität, was bedeutet, dass die Computermodelle oft Sepsisfälle nicht erkannten, die die Ärzte eindeutig identifiziert hatten. Diese Lücke in der Übereinstimmung hatte direkte Auswirkungen auf die Leistung der künstlichen Intelligenz. Modelle, die auf den computergenerierten Sepsis-3-Labels trainiert wurden, schnitten signifikant schlechter ab als Modelle, die direkt auf den Labels der Experten trainiert wurden. In den schlimmsten Fällen waren die computergetrainierten Modelle bei ihren Vorhersagen um bis zu achtzehn Prozentpunkte ungenauer und in ihrer Fähigkeit, positive Fälle korrekt zu identifizieren, um dreizehn Punkte schwächer.
Der Forscher entdeckte, dass er diese Leistungslücke verringern konnte, indem er die Computeregeln sorgfältig an die spezifische Art und Weise anpasste, wie die lokalen Experten über die Krankheit dachten. Durch die Abstimmung der Definition von Sepsis-Beginn und Infektion auf die Experten-Labels konnte er die Genauigkeitslücke auf nur wenige Prozentpunkte reduzieren. Diese Lösung war jedoch mit einem Haken verbunden. Die spezifischen Regeln, die am besten mit den Urteilen der Experten übereinstimmten, waren oft diejenigen, die Sepsis zu einem späteren Zeitpunkt im Zeitverlauf identifizierten, was das Gegenteil dessen ist, was für Frühwarnsysteme benötigt wird. Dieser Befund legt nahe, dass es keine einzige, perfekte Version der Sepsis-3-Definition gibt, die für jeden Zweck funktioniert. Ein Regelsatz, der exzellent darin ist, vorherzusagen, wer sterben wird, könnte schrecklich darin sein, die Krankheit frühzeitig zu erkennen, und ein Regelsatz, der mit den Experten eines Krankenhauses übereinstimmt, könnte in einem anderen versagen.
Letztendlich kommt die Studie zu dem Schluss, dass die Variabilität in der Anwendung dieser Regeln ein strukturelles Merkmal der modernen Medizin ist und kein Fehler, der einfach behoben werden kann. Der Autor argumentt, dass sich das Fachgebiet zu sehr auf die Idee verlassen hat, dass eine konsensbasierte Definition eine konsistente Messung garantiert. Stattdessen zeigt er auf, dass die Entscheidungen im Code genauso wichtig sind wie die Daten selbst. Damit künstliche Intelligenz im Gesundheitswesen vertrauenswürdig und reproduzierbar ist, müssen Forscher aufhören, die Definition von Sepsis als Blackbox zu behandeln. Sie müssen transparent darüber sein, welche Version der Regeln sie genau verwendet haben und wie diese Regeln mit der lokalen klinischen Realität übereinstimmen. Ohne diese Klarheit bleibt das Versprechen der KI, die Früherkennung von Krankheiten zu revolutionieren, durch die Ungewissheit darüber getrübt, wie die Krankheit selbst gemessen wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.