Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization
Diese Studie zeigt, dass eine deterministische Ontologie und eine auf Embeddings basierende Pipeline die heterogenen klinischen Studiendaten in Deutschland zwar teilweise mit den ICD-10-Standards harmonisieren können, Large Language Models (speziell GPT-4o) jedoch die Leistung signifikant übertreffen, indem sie eine nahezu perfekte Übereinstimmung mit der Expertenkodierung durch Menschen erreichen und somit eine überlegene Lösung für die registerübergreifende Analyse der Krankheitslandschaft bieten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek zu organisieren, in der jedes Buch in einer anderen Sprache geschrieben ist, ein anderes Alphabet verwendet und manchmal einfach nur einen Klebezettel mit der Aufschrift „etwas über eine kranke Person“ anstelle eines Titels hat. Dies ist der aktuelle Zustand klinischer Studiendaten. Wissenschaftler führen tausende von Experimenten durch, um neue Medikamente zu testen, aber sie registrieren diese Studien in verschiedenen Datenbanken auf der ganzen Welt. Einige verwenden strenge medizinische Codes, andere schicke medizinische Wörterbücher, und manche schreiben es einfach in einfachem Englisch oder Deutsch auf. Es ist, als würde man versuchen zu zählen, wie viele Menschen sich mit „Herzproblemen“ beschäftigen, wenn eine Datenbank „kardiale Probleme“ sagt, eine andere „Herzschwierigkeiten“ und eine dritte einfach nur „au, meine Brust tut weh“. Ohne eine Möglichkeit, all diese verschiedenen Beschreibungen in eine gemeinsame Sprache zu übersetzen, ist es unglaublich schwer, das große Ganze zu sehen, also welche Krankheiten Wissenschaftler tatsächlich untersuchen und wo die Lücken liegen.
Um dies zu lösen, benötigen Forscher einen Übersetzer. In der medizinischen Welt ist die „Universalsprache“ für Krankheiten der ICD-10, eine riesige Liste von Codes, die jede bekannte gesundheitliche Verfassung kategorisiert. Die Herausforderung besteht darin, die chaotischen, durcheinandergewürfelten Beschreibungen aus Studienregistern automatisch in den korrekten ICD-10-Code zu übersetzen. Lange Zeit haben Wissenschaftler versucht, Computerprogramme zu bauen, die wie strenge Bibliothekare fungieren und einem starren Regelwerk folgen, um Wörter mit Codes abzugleichen. Vor kurzem ist ein neuer Typ eines superintelligenten Computergehirns namens Large Language Model (LLM) in den Chat eingestiegen. Diese Modelle wurden mit riesigen Mengen an Text trainiert und sind großartig darin, Kontext und Nuancen zu verstehen, fast wie ein Mensch, der zwischen den Zeilen lesen kann. Die große Frage ist: Können diese KI-Gehirne die Übersetzung von Studienbeschreibungen besser leisten als die alten, regelbasierten Systeme?
Dieses Paper taucht direkt in diese Frage ein, indem es eine hochtechnologische Pipeline aufbaut, um klinische Studienbeschreibungen aus vier großen Registern in Deutschland in die Standard-ICD-10-Codes zu übersetzen. Die Forscher haben eine „deterministische Pipeline“ entwickelt, was eine schicke Art und Weise ist, einen mehrstufigen Roboterprozess zu beschreiben. Zuerst extrahiert der Roboter die Erwähnungen von Krankheiten. Dann versucht er, diese mithilfe eines strengen medizinischen Wörterbuchs (Ontologie) und einer intelligenten Suchmaschine, die nach ähnlichen Bedeutungen sucht (Embeddings), abzugleichen. Sie haben sogar eine zweite Version hinzugefügt, die die Top-Vermutungen neu bewertet (Re-Ranking), um zu sehen, ob sie die richtige findet. Aber sie haben damit nicht aufgehört. Sie haben auch ein leistungsstarkes Large Language Model (GPT-4o) getestet, aber mit einem Twist: Sie zwangen die KI, exakt derselben schrittweisen Logik und denselben Regeln zu folgen, die menschliche Experten verwenden, nur um zu sehen, ob die KI ein besserer „Bibliothekar“ als der Roboter sein kann.
Die Ergebnisse waren ein Schock für den altmodischen Ansatz. Als sie ihre regelbasierte Roboter-Pipeline gegen einen „Goldstandard“ aus Codes testeten, die von menschlichen medizinischen Experten geschrieben wurden, hatte der Roboter nur etwa 49 % der Zeit recht, wenn er nach dem spezifischen dreistelligen Code suchte. Er war passabel darin, die allgemeine Kategorie zu erraten (wie „Herzkrankheit“ vs. „Lungenerkrankung), wobei er etwa 59 % richtig lieferte, aber er hatte mit den Details zu kämpfen. Der Roboter wurde oft von ähnlich klingenden Krankheiten verwirrt oder konnte den richtigen Code in seinem Wörterbuch nicht finden.
Das Large Language Model war jedoch in einer völlig anderen Liga. Als dieselbe KI mit denselben Regeln und derselben Aufgabe konfrontiert wurde, erreichte sie eine erstaunliche Genauigkeit von 96,7 %. Es stimmte fast perfekt mit den menschlichen Experten überein. Das Paper legt nahe, dass die Superkraft der KI nicht nur das Wissen über die Codes ist, sondern ihre Fähigkeit, den Kontext eines Satzes zu verstehen. Wenn eine Studie zum Beispiel „adult-onset diabetes“ (Diabetes im Erwachsenenalter) erwähnt, weiß die KI sofort, dass dies Typ-2-Diabetes bedeutet, während der Roboter vielleicht stecken bleibt, weil er versucht, die exakten Wörter abzugleichen. Die KI war auch in der Lage, etwa 82 % der Erwähnungen, die der Roboter aufgegeben und abgelehnt hatte, plausible Codes zuzuweisen.
Die Autoren fanden heraus, dass das Hauptversagen des Roboters nicht in der Neubewertung der Codes lag, sondern schon darin, den richtigen Code überhaupt erst zu finden. Wenn der korrekte Code nicht in der ursprünglichen Liste der Kandidaten des Roboters enthalten war, konnte auch keine Anzahl von Re-Rankings ihn retten. Die KI hingegen war viel besser darin, herauszufinden, welcher Code der richtige sein sollte, selbst wenn der Text chaotisch oder vage war. Die Studie kommt zu dem Schluss, dass die alten regelbasierten Systeme zwar okay sind, um eine grobe Vorstellung von Krankheitstrends zu bekommen, Large Language Models aber die klaren Gewinner sind, wenn es darum geht, die Details richtig zu erfassen. Sie legen nahe, dass zukünftige Studien, die sich die Landschaft klinischer Studien ansehen, diese KI-Werkzeuge nutzen sollten, um ein viel klareres, genaueres Bild davon zu bekommen, welche Krankheiten untersucht werden, um sicherzustellen, dass die Forschungsanstrengungen tatsächlich auf die gesundheitlichen Bedürfnisse ausgerichtet sind, die am wichtigsten sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.