Evaluating Clinical Concept Extraction and Evidence-Bounded Terminology Linking: Multisite Model Comparison and Pilot Ablation Study
Diese Arbeit evaluiert die Extraktion klinischer Konzepte und die evidenzgebundene Terminologieverknüpfung durch eine multizentrische Pilotstudie und zeigt auf, dass die Extraktionsleistung zwar signifikant nach Matching-Kriterien variiert, die Verfügbarkeit abgerufener Evidenz jedoch die Verknüpfungsentscheidungen entscheidend beeinflusst und dass anfänglich nicht übereinstimmende Begriffe oft plausible bestehende Konzepte anstatt echter ontologischer Neuheiten darstellen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Krankenhäuser generieren einen stetigen Strom an schriftlichen Notizen, von Ärzten, die Symptome eines Patienten beschreiben, bis hin zu Pflegekräften, die eine Medikamentenänderung protokollieren. Diese Erzählungen sind reich an Informationen, aber sie sind in menschlicher Sprache verfasst, voller Abkürzungen, lokalem Jargon und variierender Satzstrukturen. Um diese Daten für die Forschung nutzbar zu machen oder Computern zu helfen, die Krankengeschichte eines Patienten zu verstehen, müssen diese Notizen in einen standardisierten Code übersetzt werden. Dieser Prozess umfasst zwei unterschiedliche Schritte. Zuerst muss ein System die spezifischen Phrasen im Text finden, die relevant sind, wie etwa einen Krankheitsnamen oder ein Verfahren. Zweitens muss es diese Phrasen mit einer Stammliste medizinischer Begriffe abgleichen, ähnlich wie ein Bibliothekar, der einer Buchstelle eine spezifische Signatur zuweist, damit sie wiedergefunden werden kann. Wenn das System den falschen Code errät oder eine Phrase gänzlich übersieht, können die resultierenden Daten fehlerhaft sein, was zu falschen Schlussfolgerungen über die Patientenversorgung oder Behandlungsergebnisse führen kann.
Die Herausforderung besteht darin, dass diese Übersetzung nicht immer unkompliziert ist. Verschiedene Personen könnten beim Auffinden eines medizinischen Begriffs leicht unterschiedliche Teile eines Satzes hervorheben, und Computer haben oft Schwierigkeiten zu entscheiden, ob eine Phrase zu einem Standardcode passt oder ob es sich um etwas völlig Neues handelt, das der Stammliste hinzugefügt werden muss. Ein Team von Forschern setzte sich zum Ziel zu testen, wie gut moderne Computersysteme diese Aufgaben bewältigen, insbesondere im Hinblick darauf, ob die Qualität der Antwort davon abhängt, welche Belege dem Computer zur Verfügung stehen. Sie wollten wissen, ob ein System eine Phrase zuverlässig mit einem Standardcode verknüpfen kann, wenn es über alle notwendigen Informationen verfügt, und was passiert, wenn diese Informationen verborgen oder nicht vorhanden sind.
Die Forscher führten drei separate Tests durch, um diese Probleme zu entwirren. Im ersten Test baten sie fünf verschiedene Computerprogramme, sechzig-sechs echte, anonymisierte Krankenhausnotizen zu scannen und medizinische Phrasen zu extrahieren. Sie verglichen die Arbeit des Computers mit Notizen, die von zwei menschlichen Experten verfasst wurden. Die Ergebnisse zeigten, dass die Art und Weise, wie man Erfolg misst, die Geschichte völlig verändert. Wenn man vom Computer verlangt, dass er exakt dieselben Wörter wie der Mensch hervorhebt, schnitten die Computer sehr schlecht ab und erreichten eine Übereinstimmung von weniger als einem Fünftel der Zeit. Wenn die Forscher jedoch eine Methode verwendeten, die nach Phrasen mit derselben Bedeutung suchte, selbst wenn die Wörter leicht unterschiedlich waren, stieg die Übereinstimmung signifikant an. Das beste Computersystem in diesem Test schaffte es, die richtige Bedeutung etwa die Hälfte der Zeit zu finden, während die Menschen selbst nur in etwa einem Drittel der Fälle bei der exakten Wortwahl übereinstimmten. Dies deutete darauf darauf hin, dass die Computer nicht zwangsläufig nicht in der Lage waren, den Text zu verstehen, sondern dass die strengen Regeln dafür, was als „Treffer“ zählt, zu starr für die menschliche Sprache waren.
Im zweiten Teil der Studie konzentrierten sich die Forscher auf den Entscheidungsprozess. Sie nahmen sechsundfünfzig spezifische medizinische Phrasen und baten ein leistungsfähiges Sprachmodell, diese unter drei verschiedenen Bedingungen mit Standardcodes zu verknüpken. In der ersten Bedingung erhielt das Modell eine vollständige Liste möglicher Übereinstimmungen, einschließlich der korrekten. In der zweiten Bedingung wurde die korrekte Übereinstimmung heimlich aus der Liste entfernt, sodass das Modell nur mit ähnlichen, aber falschen Optionen zurückblieb. In der dritten Bedingung erhielt das Modell gar keine Liste und musste sich auf sein internes Gedächtnis verlassen. Wenn die korrekte Übereinstimmung sichtbar war, verknüpfte das Modell jede einzelne Phrase korrekt. Wenn die korrekte Übereinstimmung verborgen war, weigerte sich das Modell zu raten und identifizierte korrekt, dass es nicht genügend Beweise hatte, um eine Verknüpfung vorzunehmen. Wenn das Modell keine Liste zur Konsultation hatte, verknüpfte es immer noch die meisten Phrasen korrekt, beging aber einige selbstbewusste Fehler, indem es Phrasen ohne jegliche Belege mit Codes verknüpfte. Dies bewies, dass die Fähigkeit des Systems, eine korrekte Verknüpfung herzustellen, vollständig davon abhing, ob die richtigen Belege präsentiert wurden.
Der letzte Test untersuchte Phrasen, die zuvor keiner Standard-Code-Zuordnung unterzogen worden waren. Die Forscher nahmen vierundachtzig dieser „nicht übereinstimmenden“ Begriffe und führten sie durch ein System, das darauf ausgelegt war, verborgene Verbindungen zu finden. Trotz der Tatsache, dass diese Begriffe von Standarddatenbanken abgelehnt worden waren, fand das System für jeden einzelnen von ihnen eine plausible bestehende Übereinstimmung. Keiner der Begriffe wurde als wirklich neues Konzept markiert, das dem medizinischen Wörterbuch hinzugefügt werden müsste. Dieser Befund legt nahe, dass, wenn ein Computer anfänglich keine Übereinstimmung findet, dies nicht zwangsläufig bedeutet, dass das Konzept neu oder einzigartig ist; es bedeutet oft nur, dass das System intensiver suchen oder eine andere Suchmethode anwenden muss.
Die Studie kommt zu dem Schluss, dass der Aufbau eines zuverlässigen Systems zum Verständnis medizinischer Notizen erfordert, dass jeder Schritt als eine separate Herausforderung behandelt wird. Die Fähigkeit, eine Phrase zu finden, die Fähigkeit, die richtigen Belege abzurufen, und die Fähigkeit, zu entscheiden, ob man eine Verknüpfung vornimmt oder zögert, sind allesamt unterschiedliche Fähigkeiten. Ein System, das in einem Bereich gut abschneidet, kann in einem anderen Bereich scheitern, wenn sich die Bedingungen ändern. Die Forscher fanden heraus, dass Computer, wenn sie vollständige Belege erhalten, Begriffe mit hoher Genauigkeit verknüpfen können, aber wenn Belege fehlen, dazu neigen, innezuhalten, anstatt zu raten, was ein sichereres Vorgehen ist. Sie fanden auch heraus, dass viele Begriffe, die als neu gelten, tatsächlich nur schwer zu finden sind, und dass anfängliche Fehler bei der Zuordnung nicht beweisen, dass ein Konzept neuartig ist. Indem man diese Aufgaben trennt und versteht, wie Belege Entscheidungen beeinflussen, können Entwickler Systeme bauen, die transparenter sind und weniger wahrscheinlich selbstbewusste Fehler in kritischen Gesundheitsumfeldern begehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.