A Reproducible Decomposed Large Language Model Pipeline for Structured Abstraction of Multimodal Neuroimaging Reports: Development and Independent Validation in 1,669 Emergency Department Encounters for Dizziness and Vertigo
Diese Studie zeigt, dass eine dekomponierte, eingefrorene Large-Language-Model-Pipeline zuverlässig und präzise strukturierte Variablen aus multimodalen Neuroimaging-Berichten über 1.669 Notaufnahme-Behandlungen für Schwindel und Vertigo extrahieren kann, wobei eine hohe Reproduzierbarkeit und Genauigkeit erreicht wird, die mit menschlichen Gutachtern vergleichbar ist, um skalierbare, wiederverwendbare Forschungsdatensätze zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Krankenhäuser generieren jeden Tag ein riesiges Meer an schriftlichen Aufzeichnungen, von Notaufnahme-Notizen bis hin zu detaillierten Beschreibungen von Hirnscans. Für Ärzte sind diese Erzählungen unerlässlich, um den Zustand eines Patienten zu verstehen, aber für Forscher, die versuchen, große Gruppen von Menschen zu untersuchen, stellen sie eine schwierige Barriere dar. Um Muster bei Krankheiten oder die Wirksamkeit von Behandlungen zu verstehen, müssen Wissenschaftler diese frei fließenden Geschichten in ordentliche Listen von Fakten umwandeln, einen Prozess, der als Datenabstraktion bezeichnet wird. Dies manuell zu tun, ist langsam, teuer und anfällig für menschliche Fehler, was Studien oft auf kleine Patientengruppen beschränkt. In den letzten Jahren sind leistungsstarke Computerprogramme bekannt geworden, die als große Sprachmodelle bezeichnet werden und in der Lage sind, menschliche Sprache mit bemerkenswerter Geschicklichkeit zu lesen und zu verstehen. Diese Werkzeuge bieten eine potenzielle Möglichkeit, die Extraktion medizinischer Fakten aus Texten zu automatisieren, aber damit sie in der ernsthaften Forschung vertrauenswürdig sind, müssen sie beweisen, dass sie konsistent, genau und zuverlässig genug sind, um die Komplexität realer medizinischer Unterlagen zu bewältigen.
Ein Forscherteam am Staten Island University Hospital setzte sich zum Ziel zu testen, ob ein solches Computersystem zuverlässig die komplexen, mehrteiligen Bildgebungsberichte von Patienten, die unter Schwindel leiden, in strukturierte Daten übersetzen kann. Schwindel und Vertigo gehören zu den häufigsten Gründen, warum Menschen die Notaufnahme aufsuchen, doch sie können manchmal auf einen schweren Schlaganfall im hinteren Teil des Gehirns hindeuten. Um dies zu diagnostizieren, ordnen Ärzte oft eine Reihe verschiedener Scans an, darunter CT-Scans des Kopfes, CT-Angiographien zur Untersuchung der Blutgefäße, CT-Perfusion zur Messung des Blutflusses und MRT-Scans. Jeder dieser Tests generiert seinen eigenen separaten Bericht, der mit spezialisierten medizinischen Fachbegriffen gefüllt ist. Die Forscher bauten eine spezialisierte Pipeline, eine Sequenz automatisierter Schritte, um diese Berichte zu lesen und zweiundzwanzig spezifische Informationen zu extrahieren, wie etwa, ob ein Schlaganfall vorlag oder wie eng ein Blutgefäß war. Sie verließen sich nicht auf ein einzelnes Computermodell, das die gesamte Arbeit auf einmal erledigt. Stattdessen brachen sie die Aufgabe in kleinere, fokussierte Jobs herunter und wiesen jedem spezifischen Typ von Scan einen eigenen Schritt im Prozess zu, ganz ähnlich einer Fließbandfertigung in einer Fabrik, bei der jede Station einen spezifischen Teil des Produkts bearbeitet.
Das Team testete dieses System an 1.669 Notaufnahme-Kontakten von Patienten mit Schwindel oder Vertigo. Bevor sie dem System vertrauten, mussten sie sicherstellen, dass es reproduzierbar ist, was bedeutet, dass es exakt dieselben Ergebnisse liefern müsste, wenn man dieselben Berichte erneut durch das System laufen ließe. Sie ließen das System dreimal in einer Sitzung und erneut neun Wochen später laufen und stellten fest, dass die Ausgabe des Computers jedes Mal nahezu identisch war, mit einer fast perfekten Übereinstimmung bei den Schlüsselvariablen. Sie testeten das System auch mit drei verschiedenen, erstklassigen Computermodellen unterschiedlicher Unternehmen, um zu sehen, ob die Ergebnisse von der jeweiligen Software abhingen. Die verschiedenen Modelle stimmten auf einem sehr hohen Niveau miteinander überein, was darauf hindeutete, dass das System robust war und nicht nur ein Zufallsprodukt eines bestimmten Programms. Um die Genauigkeit der Arbeit des Computers zu verifizieren, verglichen die Forscher dessen Ausgabe mit einem Goldstandard, der von menschlichen Experten erstellt wurde. Zwei Neurologie-Assistenzärzte lasen unabhängig voneinander eine Teilmenge der Berichte, und wenn sie uneinig waren, klärte ein dritter Experte den Unterschied auf. Die Fähigkeit des Computersystems, mit diesen menschlichen Experten übereinzustimmen, war vergleichbar mit der Übereinstimmung zwischen den beiden menschlichen Lesern selbst.
Die Ergebnisse zeigten, dass die dekomponierte Pipeline hochgradig genau war und die kritischen Befunde in der überwiegenden Mehrheit der Fälle korrekt identifizierte. Als die Forscher die wichtigsten Variablen betrachteten, wie etwa das Vorhandensein eines akuten Schlaganfalls oder den Schweregrad von Blockaden in großen Arterien, stimmte der Computer mit den Schlussfolgerungen der menschlichen Experten in einer Genauigkeitsrate zwischen 97 und 99 Prozent überein. Dieses hohe Leistungsniveau blieb auch bestehen, wenn das System an Fällen getestet wurde, die speziell ausgewählt worden waren, weil sie seltene oder schwierige Befunde enthielten, die normalerweise die größten Schwierigkeiten für jedes System darstellen. Die Studie hob auch hervor, dass das System über die Zeit stabil war; das erneute Durchlaufen derselben Daten durch das System Monate später lieferte dieselben Ergebnisse, eine entscheidende Voraussetzung für jedes Werkzeug, das in der langfristigen medizinischen Forschung eingesetzt wird. Die Forscher merkten an, dass das System zwar exzellent darin war, Fakten zu extrahieren, die in den Berichten klar formuliert waren, aber weniger perfekt bei der Interpretation eher ambivalenter Beschreibungen war, was eine bekannte Einschränkung eines jeden Werkzeugs ist, das Texte liest, anstatt die tatsächlichen Bilder zu betrachten.
Diese Arbeit demonstriert, dass es möglich ist, ein zuverlässiges, automatisiertes System zur Umwandlung komplexer medizinischer Narrative in strukturierte Daten in einem Maßstab aufzubauen, der zuvor unmöglich war. Indem sie die Aufgabe in kleinere, handhabbare Teile zerlegten und mehrere Modelle verwendeten, um die Arbeit gegenseitig zu überprüfen, schufen die Forscher eine Pipeline, die sowohl reproduzierbar als auch genau ist. Die Studie behauptet nicht, dass Computer die Notwendigkeit menschlicher Ärzte ersetzt haben oder dass das System für jede mögliche medizinische Frage perfekt ist. Stattdessen bietet sie einen praktischen Weg nach vorn für Forscher, die große Datensätze analysieren müssen, um Krankheitsmuster zu verstehen. Die in der Studie quantifizierten Fehlerraten geben zukünftigen Forschern ein klares Bild der Grenzen des Systems und ermöglichen es ihnen, die Daten mit Vertrauen zu nutzen, während sie genau wissen, wo zusätzliche menschliche Überprüfung erforderlich ist. Letztendlich bietet dieser Ansatz eine Möglichkeit, den Wert zu erschließen, der in Millionen von medizinischen Berichten verborgen liegt, indem unstrukturierter Text in eine Ressource verwandelt wird, die groß angelegte Entdeckungen in der Neurologie und der Notfallmedizin vorantreiben kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.