Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models
Diese Studie zeigt, dass feinabgestimmte Large Language Models, insbesondere e5_large, klassische NLP-Methoden bei der Automatisierung der Zuordnung spanischer psychiatrischer Freitextbeschreibungen zu ICD-Codes deutlich übertreffen und auf einem Datensatz von über 145.000 Einträgen eine mikro-averagte F1-Bewertung von 0,866 erreichen.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein belebtes Krankenhaus vor, in dem Ärzte täglich Tausende von Notizen über die psychische Gesundheit von Patienten verfassen. Diese Notizen sind in freier, fließender Sprache verfasst – etwa „sich leer fühlen", „kann nicht schlafen" oder „sorgt sich um alles". Um die Krankenhausakten und Statistiken zu verwalten, müssen diese Notizen in einen strengen, standardisierten Code (wie einen Barcode) übersetzt werden, der als ICD-Code bezeichnet wird.
Derzeit übernehmen Menschen diese Übersetzung. Sie ist langsam, ermüdend und fehleranfällig. Diese Arbeit handelt vom Aufbau eines intelligenten Roboters, der diese unübersichtlichen Notizen lesen und automatisch den korrekten Barcode zuweisen kann.
Hier ist, wie die Forscher versuchten, diesen Roboter zu bauen, erklärt durch einfache Analogien:
1. Die Herausforderung: Das „Long-Tail"-Problem
Die Forscher verfügten über eine riesige Bibliothek mit 145.000 spanischen psychiatrischen Notizen. Sie wollten einem Computer beibringen, diese in 85 verschiedene Kategorien (wie „Angst", „Depression" usw.) einzuteilen.
Allerdings waren die Daten unausgewogen. Stellen Sie sich ein Bonbonglas vor, in dem 80 % der Bonbons rot sind (häufige Diagnosen), es aber nur wenige blaue, grüne und lila Bonbons gibt (seltene Diagnosen). Dies wird als „Long-Tail"-Verteilung bezeichnet. Die meisten Sortierroboter werden sehr gut darin, die roten Bonbons zu finden, verpassen jedoch völlig die seltenen, bunten.
2. Der Wettbewerb: Altbacken vs. Neue Technik
Die Forscher veranstalteten einen Wettbewerb zwischen verschiedenen Arten von „Gehirnen", um herauszufinden, welche die Notizen am besten sortieren kann.
Das Altbackene Team (BoW & TF-IDF):
Denken Sie an diese Roboter als Schlüsselwort-Matcher. Sie scannen eine Notiz und sagen: „Ich sehe das Wort 'traurig', also gebe ich ihr den Code 'Depression'." Sie sind schnell, aber wörtlich. Wenn ein Arzt „ein schweres Gewicht auf der Brust" statt „traurig" schreibt, könnten diese Roboter verwirrt werden.- Ergebnis: Sie waren okay, verpassten aber die Nuancen.
Der Mittelweg (LSA, LDA, Doc2Vec):
Diese sind wie Themen-Rater. Sie versuchen, Wörter zu gruppieren, die oft zusammen auftreten, um das allgemeine Thema zu ermitteln.- Ergebnis: Sie hatten Schwierigkeiten. Sie konnten das spezifische medizinische Fachvokabular in spanischen psychiatrischen Notizen nicht ganz erfassen.
Die Superstars (Large Language Models – LLMs):
Dies sind die Kontext-Versteher. Stellen Sie sich einen Roboter vor, der Millionen von Büchern gelesen hat und versteht, dass „sich leer fühlen" und „Verlust der Motivation" tatsächlich Synonyme für Depression sind, selbst wenn das Wort „Depression" nicht vorkommt. Sie verstehen die Stimmung und die Geschichte, nicht nur die Schlüsselwörter.- Ergebnis: Diese Modelle, insbesondere eines namens e5 large, überrannten den Wettbewerb.
3. Die Gewinnstrategie: Fine-Tuning
Die Forscher kauften nicht einfach einen fertigen „Superstar"-Roboter und hofften, er würde funktionieren. Sie erkannten, dass ein allgemeiner Roboter die spezifischen Regeln eines spanischen Krankenhauses nicht kennt.
Daher verwendeten sie eine Technik namens Fine-Tuning.
- Die Analogie: Stellen Sie sich vor, Sie nehmen einen brillanten Universitätsabsolventen (die vortrainierte KI) und geben ihm ein spezifisches Praktikum im Krankenhaus. Sie zeigen ihm Tausende von Beispielen dafür, wie dieses spezifische Krankenhaus seine Notizen schreibt.
- Das Ergebnis: Der Roboter lernte den spezifischen „Dialekt" der Ärzte. Er ging vom bloßen Verstehen von Sprache zum Verstehen von medizinischer Sprache über. Dieser Ansatz erzielte die höchste Punktzahl: 0,866 (eine sehr hohe Genauigkeitsrate).
4. Die Teamarbeit: Das Gehirn und der Muskel
Die Arbeit ergab auch, dass das „Gehirn" (die KI, die den Text liest) und der „Muskeln" (das System, das die endgültige Entscheidung trifft) je nach Daten unterschiedlich zusammenarbeiten müssen:
- Für die intelligente, kontextbewusste KI (LLMs): Der beste „Muskeln" war XGBoost. Denken Sie an XGBoost als einen disziplinierten, regelbefolgenden Manager, der hervorragend darin ist, komplexe Informationen zu organisieren, ohne überwältigt zu werden.
- Für die altbackene Schlüsselwort-KI: Der beste „Muskeln" war ein MLP (eine Art neuronales Netz). Denken Sie daran als einen flexiblen, kreativen Künstler, der gut darin ist, Muster in unordentlichen, zerstreuten Daten zu erkennen.
5. Der Realitätscheck: Die seltenen Fälle
Selbst mit dem besten Roboter gab es einen Haken.
- Das Problem: Bei den sehr seltenen Diagnosen (den „blauen und grünen Bonbons") hatte der Roboter immer noch Schwierigkeiten. Einige seltene Erkrankungen hatten so wenige Beispiele in den Trainingsdaten, dass der Roboter sie überhaupt nicht lernen konnte.
- Die Lehre: Die Arbeit räumt ein, dass semantische Fülle allein nicht ausreicht. Wenn der Roboter eine bestimmte seltene Krankheit noch nie gesehen hat, wird ihm keine Menge an „Sprachverständnis" helfen, korrekt zu raten. Er benötigt mehr Daten.
Zusammenfassung
Die Arbeit beweist, dass Sie für die Automatisierung psychiatrischer Kodierung nicht einfach eine einfache Schlüsselwortsuche verwenden können. Sie benötigen moderne KI, die Kontext versteht, und Sie müssen sie speziell auf Krankenhausnotizen trainieren (Fine-Tuning).
Während dieses neue System viel besser ist als die alten Methoden und die häufigen Fälle brillant handhabt, steht es bei den seltensten Erkrankungen noch vor einer Hürde, einfach weil nicht genügend Daten vorhanden sind, um dem Roboter beizubringen, wie diese seltenen Erkrankungen aussehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.