Creating A Gold Standard Annotation Guideline for Electronic Health Records

Im leisen Summen eines Krankenhauses, zwischen dem Piepen der Monitore und dem Rascheln von Papierakten, wird eine riesige Bibliothek menschlicher Erfahrung geschrieben. Seit Jahrzehnten halten Ärzte die Geschichten ihrer Patienten in elektronischen Gesundheitsakten fest und füllen digitale Dateien mit Notizen zu Symptomen, Behandlungen und der komplexen Geschichte eines Lebens, das von Krankheit geprägt ist. Diese Aufzeichnungen sind ein Schatzhaus an Informationen, doch sie sind in einer Sprache verfasst, die oft unordentlich, unstrukturiert und zutiefst persönlich ist. Während Computer exzellent darin sind, Zahlen zu verarbeiten, hatten sie historisch gesehen Schwierigkeiten, diese Freitextnotizen mit derselben Nuancierung zu lesen, die ein menschlicher Arzt besitzt. Hier setzt ein Feld namens Natural Language Processing (natürliche Sprachverarbeitung) an, das als Brücke zwischen menschlicher Sprache und maschinellem Verständnis fungiert. Das Ziel ist es, Computer zu lehren, medizinische Notizen zu lesen, die darin verborgenen lebenswichtigen Fakten zu extrahieren und dieses Wissen zu nutzen, um die Versorgung von Millionen von Menschen zu verbessern. Doch damit ein Computer lernen kann, eine ärztliche Notiz zu lesen, muss er zuerst von Menschen unterrichtet werden, die ihm genau zeigen können, worauf es ankommt.

Ein Team von Forschern des King's College London und der Swansea University hat mit der Erstellung eines neuen, hochwertigen Leitfadens für die Lehre von Computern, wie man die Krankenakten von Menschen mit Epilepsie liest, einen bedeutenden Schritt in dieser Bemühung gemacht. Epilepsie ist eine häufige neurologische Erkrankung, die durch wiederkehrende Anfälle gekennzeichnet ist, und während viele Menschen sie gut mit Medikamenten bewältigen, gelingt dies einem signifikanten Teil nicht. Um zu verstehen, warum manche Patienten nicht auf eine Behandlung ansprechen, müssen Ärzte die vollständige, detaillierte Krankengeschichte betrachten, einschließlich der spezifischen eingenommenen Medikamente, der Häufigkeit der Anfälle und der vielen anderen Faktoren, die das Leben eines Patienten beeinflussen. Diese Details sind über tausende elektronische Gesundheitsakten verstreut, oft verborgen in Freitextbeschreibungen. Die Forscher setzten sich zum Ziel, einen „Goldstandard“-Datensatz zu erstellen – eine Sammlung dieser Aufzeichnungen, die sorgfältig von Experten gelesen und etikettiert wurde, begleitet von einem strengen Regelwerk zur Kennzeichnung. Diese Ressource soll dazu dienen, KI-Systeme dabei zu unterstützen, diese kritischen Details automatisch zu finden und so einen Berg von Text in strukturierte, nutzbare Daten zu verwandeln.

Um diese Ressource aufzubauen, sammelte das Team 1.500 elektronische Gesundheitsakten aus Epilepsie-Kliniken am Guy's and St Thomas' Trust in London. Diese Dokumente wurden nicht zufällig ausgewählt; sie wurden sorgfältig zusammengestellt, um ein breites Spektrum an Patienten darzustellen, wobei eine Mischung aus Altersgruppen, verschiedenen Arten von Medikamenten und variierenden Anfallhäufigkeiten sichergestellt wurde. Die Aufzeichnungen selbst sind eine Mischung aus strukturierten Daten, wie dem Geburtsdatum eines Patienten, und unstrukturiertem Text, in dem Ärzte ihre Beobachtungen, Behandlungspläne und Notizen darüber verfassen, wie ein Patient zurechtkommt. Die Forscher stellten dann ein Team aus acht Personen zusammen, die diese Dokumente lesen und kennzeichnen sollten. Dieses Team bestand aus einer Mischung aus fünf Klinikern, also medizinischen Ärzten, und drei Datenwissenschaftlern, die auf Epilepsie spezialisiert sind. Sie verwendeten ein spezielles Softwaretool, das es ihnen ermöglichte, bestimmte Informationsteile im Text hervorzuheben und sie Kategorien zuzuweisen, wie etwa der Art der Epilepsie, die ein Patient hat, den Medikamenten, die er einnimmt, der Dosierung und etwaigen anderen Vorerkrankungen.

Der Prozess wurde so klar und konsistent wie möglich gestaltet. Das Team erstellte detaillierte Richtlinien, die erklärten, wie der Text genau zu interpretieren sei. Wenn ein Arzt beispielsweise schrieb, dass ein Patient „möglicherweise“ Anfälle habe, sagten die Richtlinien den Annotatoren, wie sie diesen Grad der Gewissheit bewerten sollten. Das Team musste auch entscheiden, wie komplexe Situationen zu handhaben sind, wie etwa wenn ein Patient ein Medikament zu unterschiedlichen Zeiten des Tages in unterschiedlichen Dosierungen einnimmt. Um zu testen, wie gut diese Richtlinien funktionierten, wurde jedes einzelne Dokument von zwei verschiedenen Personen gelesen und gekennzeichnet: einem Kliniker und einem Datenwissenschaftler. Dieser Doppelcheck-Prozess ermöglichte es den Forschern, zu messen, wie sehr die beiden Leser übereinstimmten. Wenn die Richtlinien klar waren und die Aufgabe unkompliziert war, würden die beiden Leser dieselben Informationen auf die gleiche Weise kennzeichnen. Wenn sie uneinig waren, deutete dies darauf hin, dass die Richtlinien klarer hätten sein müssen oder dass die Information im Text zu mehrdeutig war.

Die Ergebnisse dieser Bemühungen zeigten, dass das Team weitgehend erfolgreich darin war, ein zuverlässiges System zu schaffen. Als die Forscher die Arbeit der beiden Leser für jedes Dokument verglichen, stellten sie eine hohe Übereinstimmung insgesamt fest. Die konsistentesten Etiketten waren für die direktesten Fakten, wie die Namen der Antiepileptika, die ein Patient einnimmt, und ob dieser derzeit anfallsfrei ist. Diese Details tauchten oft in klaren, listenartigen Abschnitten der Notizen auf, was es sowohl für die Ärzte als auch für die Datenwissenschaftler einfach machte, sie zu erkennen und sich einig zu sein. Die Forscher fanden jedoch auch heraus, dass die Übereinstimmung sank, wenn die Notizen subjektiver oder komplexer wurden. Wenn der Text beispielsweise über die Gewissheit einer Diagnose oder den genauen Zeitpunkt von Ereignissen sprach, waren sich die beiden Leser manchmal uneinig. In einigen Dokumentenblöcken war die Übereinstimmung geringer, was darauf hindeutete, dass bestimmte Teile der Notizen schwieriger zu interpretieren waren als andere. Die Forscher merkten an, dass dies nicht daran lag, dass die Dokumente selbst unterschiedlich waren, sondern wahrscheinlich daran, dass es den menschlichen Lesern schwerfiel, die Regeln in jedem einzelnen Fall perfekt anzuwenden, insbesondere beim Umgang mit vager Sprache oder multiplen Dosierungen.

Trotz dieser Herausforderungen war das allgemeine Niveau der Übereinstimmung stark genug, um für das Training von Computersystemen nützlich zu sein. Das Team kam zu dem Schluss, dass ihre Richtlinien im Allgemeinen reproduzierbar waren und dass der resultierende Datensatz eine wertvolle Ressource für die Zukunft darstellt. Sie fanden heraus, dass die Schwierigkeit, sich über eine Information zu einigen, nicht davon abhing, wie selten diese Information war; selbst häufige Fakten konnten schwer zu vereinbaren sein, wenn sie mehrdeutig geschrieben waren. Die Studie legt nahe, dass für eine künstliche Intelligenle, um die Kunst des Lesens medizinischer Notizen wirklich zu meistern, zukünftige Richtlinien einen noch größeren Schwerpunkt darauf legen müssen, wie man mit Unsicherheit umgeht und Maschinen lehrt, über Zeit und Wahrscheinlichkeit zu schlussfolgern. Während das Team weiterhin mehr Aufzeichnungen annotiert und seine Regeln verfeinert, wird diese wachsende Bibliothek an gekennzeichneten Daten als Fundament für den Bau smarterer Werkzeuge dienen. Diese Werkzeuge könnten Ärzten schließlich helfen, tausende von Patientengeschichten in Sekundenschnelle zu analysieren und Muster aufzudecken, die zu besseren Behandlungen für diejenigen führen könnten, die unter medikamentenresistenter Epilepsie leiden.