A medical coding language model trained on clinical narratives from a population-wide cohort of 1.8 million patients

Dieses Papier stellt ein auf 5,8 Millionen elektronischen Gesundheitsakten trainiertes Sprachmodell vor, das medizinische Kodierungen automatisiert und dabei nicht nur eine hohe Genauigkeit erreicht, sondern auch systematische Untererfassungen von Sekundärdiagnosen in der dänischen Bevölkerung aufdeckt.

Das Wesentliche

Stellen Sie sich vor, ein Krankenhaus ist wie eine riesige Bibliothek, in der jeder Patient eine eigene, sehr lange Geschichte hat. Diese Geschichten sind voller medizinischer Details: Symptome, Medikamente, Laborergebnisse und Diagnosen. Damit diese Geschichten für die Abrechnung, die Forschung und die öffentliche Gesundheit nützlich sind, müssen sie in eine Art „universelle Kurzschrift" übersetzt werden. Diese Kurzschrift nennt man ICD-Codes.

Das Problem ist: Das Übersetzen dieser Geschichten in Codes ist wie das Suchen nach einer bestimmten Nadel in einem Heuhaufen. Es ist mühsam, dauert lange und menschliche Mitarbeiter machen dabei oft Fehler oder übersehen wichtige Details.

Diese Studie beschreibt einen digitalen Assistenten (eine KI), der gelernt hat, diese Nadeln viel schneller und genauer zu finden. Hier ist die Geschichte in einfachen Worten:

1. Der riesige Lernraum (Die Daten)

Stellen Sie sich vor, dieser KI-Assistent hat nicht nur ein paar Bücher gelesen, sondern die gesamte Bibliothek eines ganzen Landesteils (Ostdänemark) durchforstet. Er hat die medizinischen Akten von 1,8 Millionen Patienten studiert. Das ist so, als hätte er die Lebensgeschichten von fast jedem zweiten Einwohner Dänemarks gelesen.

• Das Ergebnis: Je mehr er gelesen hat, desto besser wurde er. Mit 50.000 Patienten war er noch ein bisschen unsicher, aber mit 1,8 Millionen Patienten konnte er in über der Hälfte aller Fälle die richtigen Codes sofort selbst bestimmen und bei fast allen anderen Fällen die richtige Antwort in seiner „Top-10-Liste" anbieten.

2. Wo er glänzt und wo er stolpert

Der Assistent ist nicht überall gleich gut, genau wie ein Mensch.

• Seine Stärken: In Bereichen, wo die Regeln klar sind (wie bei bestimmten Operationen oder neurologischen Tests), ist er fast ein Meister. Er findet die Codes zu 91 % richtig.
• Seine Schwächen: In Bereichen, die sehr unklar oder emotional sind (wie bei Kindern oder Jugendlichen in der Psychiatrie), stolpert er eher. Hier sind die Diagnosen oft komplex und schwer in Worte zu fassen.

3. Das große Geheimnis: Der „versteckte Schatz"

Das Spannendste an dieser Studie ist eine Entdeckung, die wie ein Detektivfall klingt.

Der KI-Assistent hat oft Codes vorgeschlagen, die die menschlichen Mitarbeiter nicht eingetragen hatten.

• Beispiel: Ein Patient kommt mit einem Herzproblem. Der Arzt schreibt in die Akte, dass der Patient auch stark übergewichtig ist oder Bluthochdruck hat. Der menschliche Code-Verwalter übersieht das oft und trägt nur das Herzproblem ein.
• Die KI: Sie liest den Text, sieht das Wort „Übergewicht" und schlägt den entsprechenden Code vor.
• Die Überprüfung: Als die Forscher manuell nachgeprüft haben, ob die KI recht hatte, stellte sich heraus: In 76 % bis 86 % der Fälle hatte die KI recht! Die menschlichen Verwalter hatten die wichtigen Zusatz-Diagnosen einfach übersehen oder nicht eingetragen.

Warum passiert das?
Stellen Sie sich vor, Sie arbeiten in einer Fabrik, in der Sie nur für das Hauptprodukt bezahlt werden. Wenn Sie auch noch das Nebenprodukt verpacken, bekommen Sie kein Geld dafür, und es kostet nur Zeit. Viele Ärzte und Sekretäre in Dänemark haben sich in einem System befunden, in dem sie nur für die Haupt-Diagnose bezahlt wurden. Daher haben sie die Zusatz-Diagnosen (wie Bluthochdruck oder Suizidversuche) oft nicht in die offiziellen Listen eingetragen.

Die KI hat also nicht „Fehler" gemacht, sondern sie hat Lücken im System aufgedeckt. Sie hat gesehen, was da eigentlich stand, aber was die Menschen aus Zeitmangel oder fehlendem Anreiz ignoriert haben.

4. Was bedeutet das für die Zukunft?

Diese Studie zeigt uns zwei Dinge:

1. KI ist ein super Werkzeug: Sie kann Ärzten und Kodierern helfen. Statt stundenlang nach einem Code zu suchen, kann die KI eine Liste von 10 Vorschlägen machen. Der Mensch muss dann nur noch prüfen: „Ja, das stimmt" oder „Nein, das passt nicht". Das spart Zeit.
2. Wir müssen unsere Geschichten besser erzählen: Das größte Problem ist nicht die KI, sondern die Art, wie wir medizinische Daten aufschreiben. Wenn wichtige Informationen (wie Suizidversuche oder Begleiterkrankungen) nicht aufgeschrieben werden, kann auch die beste KI sie nicht finden.

Fazit in einer Metapher:
Die KI ist wie ein sehr aufmerksamer Bibliothekar, der in einer riesigen Bibliothek arbeitet. Er hat bemerkt, dass viele Bücher (Patientenakten) wichtige Kapitel (Zusatz-Diagnosen) haben, die von den bisherigen Bibliothekaren (menschlichen Kodierern) übersehen wurden, weil sie zu schnell waren oder keine Belohnung dafür bekamen.

Jetzt kann dieser Bibliothekar den Menschen zur Seite stehen: „Hey, ich sehe hier noch ein wichtiges Kapitel, das wir nicht vergessen sollten!" Das hilft nicht nur der Abrechnung, sondern vor allem der Forschung und der öffentlichen Gesundheit, weil wir plötzlich ein viel vollständigeres Bild davon haben, was Menschen wirklich krank macht.

Technische Zusammenfassung

Titel: Ein medizinisches Codierungs-Modell, trainiert auf klinischen Narrativen einer bevölkerungsweiten Kohorte von 1,8 Millionen Patienten

1. Problemstellung

Die medizinische Codierung (Zuweisung von ICD-Codes) ist ein manueller, zeitaufwändiger und fehleranfälliger Prozess, der für Abrechnung, Forschung und Public Health essenziell ist.

• Herausforderungen: Bestehende Machine-Learning-Ansätze zur Automatisierung basieren oft auf kleinen, spezialisierten Datensätzen (z. B. MIMIC-III/IV), die die reale Heterogenität von Patienten, insbesondere bei Multimorbidität, nicht abbilden.
• Datenqualität: Es gibt Hinweise auf systematische Untererfassung (Under-coding) von Sekundärdiagnosen in klinischen Daten, was zu Verzerrungen in der Forschung und Public Health führt (z. B. bei Suizidversuchen oder Bluthochdruck).
• Ziel: Entwicklung und Evaluation eines skalierbaren Sprachmodells, das auf einer riesigen, realen Patientenkohorte trainiert wurde, um nicht nur die Automatisierungsrate zu erhöhen, sondern auch Diskrepanzen zwischen menschlicher Codierung und klinischer Realität aufzudecken.

2. Methodik

Datengrundlage:

• Kohorte: 1,8 Millionen Patienten aus Ostdänemark (Regionen Seeland und Hauptstadtregion), abgedeckt durch 5,8 Millionen elektronische Gesundheitsakten (EHRs) von 2006 bis 2016.
• Umfang: Alle medizinischen Fachrichtungen (außer Erwachsenenpsychiatrie).
• Eingabedaten: Klinische Notizen, Medikationsdaten und Laborergebnisse.
• Ausgabe: Vorhersage von ICD-10-Diagnosecodes (Fokus auf Ebene 3 und Ebene 5 der Hierarchie).
• Datenvorverarbeitung: Entfernung von Psychiatriefällen (zu lange Texte), Z-Codes (nur administrative), Fällen ohne Entlassungsberichte und extrem langen Texten (>10.000 Zeichen).

Modellarchitektur:

• Architektur: Pre-trained Language Model mit Cross-Attention (PLM-CA).
• Backbone: Ein auf dänischem Text vortrainiertes BERT-Modell.
• Mechanismus: Der Text wird in 128-Token-Fenster kodiert. Eine label-spezifische Attention-Schicht (Label-wise Attention) generiert für jeden ICD-10-Code einen Konfidenzwert zwischen 0 und 1.
• Training: Binäre Kreuzentropie-Verlustfunktion, AdamW-Optimizer, Learning Rate Scheduler. Training über 10 Epochen mit Early Stopping basierend auf der Mean Average Precision (MAP) im Validierungsset.
• Skalierung: Das Modell wurde schrittweise auf Datensätzen von 50.000 bis 1,8 Millionen Patienten trainiert, um den Effekt der Datenmenge zu untersuchen.

Evaluation:

• Metriken: F1-Score (Micro und Macro), Exact Match Ratio, Recall@K (für K=5, 10, 15), Mean Average Precision (MAP).
• Ground Truth: Menschlich annotierte ICD-Codes durch Ärzte und medizinische Sekretäre.
• Analyse: Manuelle Validierung von Fällen, in denen das Modell und die menschlichen Codierer stark abwichen, unter Verwendung von AttInGrad (Attention Input Gradients) zur Erklärbarkeit.

3. Wichtige Ergebnisse

Leistungssteigerung durch Datenmenge:

• Mit zunehmender Trainingsdatenmenge verbesserte sich die Leistung konsistent.
• F1-Micro: Stieg von 59,9 % (bei 50k Patienten) auf 71,8 % (bei 1,8 Mio. Patienten).
• F1-Macro: Stieg von 25,6 % auf 47,3 %, was zeigt, dass große Datensätze mit Multimorbidität die Vorhersage seltener Krankheiten signifikant verbessern.
• Recall@10: Das Modell schlug in 95,5 % der Fälle den korrekten menschlichen Code innerhalb der Top-10-Vorschläge vor.
• Exact Match: In 54,6 % der Fälle stimmten alle Codes des Modells exakt mit den menschlichen Codes überein (potenzielle vollständige Automatisierung).

Leistungsunterschiede nach Fachrichtung:

• Hohe F1-Scores (bis 91 %) in spezialisierten Bereichen mit klaren Diagnosepfaden (z. B. klinische Neurophysiologie).
• Niedrige F1-Scores (bis 53 %) in Bereichen mit hoher diagnostischer Unsicherheit oder Multimorbidität (z. B. Kinder- und Jugendpsychiatrie, Geriatrie).

Das Problem der Sekundärdiagnosen (Kernbefund):

• Codes, die primär als Sekundärdiagnosen auftreten, wiesen deutlich schlechtere F1-Scores auf als Primärdiagnosen.
• Ursache: Dies lag nicht an einer schlechten Modellleistung, sondern an systematischer Untererfassung durch menschliche Codierer.
• Fallstudien (Suizidverhalten, Gewichtsstörungen, Hypertonie):
  • Das Modell identifizierte Tausende von Fällen, die von Menschen nicht kodiert wurden.
  • Bei manueller Überprüfung dieser "verpassten" Fälle zeigte sich, dass 76–86 % der Fälle tatsächlich klinisch relevant und korrekt kodiert hätten werden müssen.
  • Das Modell hatte die klinischen Hinweise (z. B. "Suizidversuch" im Text) erkannt, aber aufgrund der fehlenden Annotation im Trainingsdaten eine niedrige Konfidenz zugewiesen.

Dokumentationsqualität:

• Unpräzise Kodierung entstand oft durch "versteckte" Informationen in langen Texten (z. B. spezifische Diabetes-Typen nur einmal erwähnt, während "Diabetes" oft wiederholt wurde).
• Fehlende Dokumentation zwang das Modell, auf administrative Proxy-Daten zu vertrauen, was zu Verzerrungen führte.

4. Schlüsselbeiträge

1. Skalierung: Dies ist die bisher umfangreichste Evaluation eines automatisierten medizinischen Codierungssystems, trainiert auf einer bevölkerungsweiten Kohorte (1,8 Mio. Patienten) statt auf spezialisierten ICU-Datensätzen.
2. Entdeckung systematischer Fehler: Das Papier liefert starke Evidenz dafür, dass menschliche Codierer in dänischen Krankenhäusern (und vermutlich anderswo) systematisch Sekundärdiagnosen untererfassen, oft aufgrund von Anreizstrukturen (Vergütung basiert primär auf Primärdiagnosen) und Zeitdruck.
3. Modellkorrektur: Es wird gezeigt, dass durch Anpassung der Entscheidungsschwellen (Decision Thresholds) das Modell in der Lage ist, diese menschlichen Lücken zu füllen und klinisch relevante Diagnosen aufzudecken, die sonst verloren gegangen wären.
4. Workflow-Integration: Das System kann in 54,6 % der Fälle die Codierung vollständig automatisieren und in den restlichen Fällen durch Top-10-Vorschläge die menschliche Arbeit effizienter gestalten, ohne die Arbeitslast zu erhöhen.

5. Bedeutung und Implikationen

• Public Health & Forschung: Die systematische Untererfassung von Sekundärdiagnosen (z. B. Suizidversuche, Hypertonie) verzerrt epidemiologische Studien und die Ressourcenplanung. Automatisierte Systeme können helfen, diese Lücken zu schließen und ein genaueres Bild der Multimorbidität zu erhalten.
• Technische Herausforderung: Das Paper hebt das Paradoxon hervor, dass Modelle aus unvollständigen Daten lernen. Wenn die Ground-Truth-Daten fehlerhaft sind (Under-coding), lernt das Modell diese Fehler. Eine Lösung erfordert entweder synthetische Daten zur Kalibrierung oder eine Verbesserung der klinischen Dokumentationspraxis.
• Zukunftsperspektive: Automatisierte Codiersysteme bieten einen praktischen Weg, um die Vollständigkeit medizinischer Daten zu erhöhen, ohne die Arbeitsbelastung des medizinischen Personals zu steigern. Sie fungieren als "Sicherheitsnetz", um übersehene klinische Hinweise zu identifizieren.

Fazit: Das Modell ist technisch leistungsfähig, aber sein größter Wert liegt in der Aufdeckung von systemischen Mängeln in der menschlichen Datenerfassung. Es zeigt, dass KI nicht nur ein Werkzeug zur Automatisierung, sondern auch ein Instrument zur Qualitätsverbesserung medizinischer Daten sein kann.