🤖 AI

Hierarchical Modeling of ICD Codes in EHR Foundation Models

Diese Arbeit zeigt, dass die explizite Einbeziehung der hierarchischen Struktur von ICD-10-CM-Codes in EHR-Foundation-Modelle, entweder durch Token-Augmentierung oder graphbasierte Edge-Injektion, die klinische Vorhersageleistung sowohl innerhalb der Domäne als auch über Datensätze hinweg im Vergleich zur Behandlung von Codes als flache Token signifikant verbessert.

Ursprüngliche Autoren: Megha Thukral, Dong Gyun Kang, Rudra Pratap Singh, Shruthi Kashinath Hiremath, Katrin Hänsel, Thomas Plötz

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Megha Thukral, Dong Gyun Kang, Rudra Pratap Singh, Shruthi Kashinath Hiremath, Katrin Hänsel, Thomas Plötz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, die Krankengeschichte eines Patienten zu verstehen. Der Computer liest eine lange Liste von Codes (wie „S72.001A“), die Ärzte verwenden, um Krankheiten zu beschreiben.

Das Problem: Die „flache“ Sichtweise
Derzeit behandeln die meisten Computermodelle diese Codes wie eine Liste zufälliger, unzusammenhängender Wörter. Es ist, als ob der Computer „Apfel“, „Auto“ und „Zebra“ als drei völlig separate Objekte sieht, ohne jegliche Verbindung. In Wirklichkeit sind medizinische Codes wie ein riesiger, detaillierter Stammbaum organisiert. Ein Code für eine bestimmte Art von Beinbruch ist Teil einer „Beinverletzungs“-Gruppe, welche Teil einer „Knochenverletzungs“-Gruppe ist, welche wiederum Teil der „Verletzungs“-Familie ist.

Die Arbeit argumentiert, dass Computer, wenn sie diesen Stammbaum ignorieren, einen entscheidenden Hinweis darüber verpassen, wie Krankheiten miteinander in Beziehung stehen.

Die Lösung: Zwei neue Wege, den Computer zu lehren
Die Forscher probierten zwei verschiedene Methoden aus, um den Computer zu zwingen, diese Stammbaumstruktur zu respektieren:

Die „Etiketten-Methode“ (HICD-BERT):
Stellen Sie sich vor, Sie haben eine Kiste mit Spielzeug. Anstatt nur „Spielzeug“ auf die Kiste zu schreiben, fügen Sie Aufkleber hinzu, auf denen „Spielzeug“, „Actionfigur“, „Superheld“ und „Batman“ steht.
Bei dieser Methode sieht der Computer nicht nur den spezifischen Code; er sieht auch „Aufkleber“, die die breiteren Kategorien repräsentieren, zu denen der Code gehört. Er lernt, dass ein spezifischer Code Teil einer größeren Gruppe ist, so wie das Sehen des „Batman“-Aufklebers hilft, das Spielzeug besser zu verstehen.
Die „Soziale Netzwerk“-Methode (HICD-Graph):
Stellen Sie sich eine Landkarte vor, auf der jede Krankheit eine Stadt ist. Normalerweise zeichnen Sie nur Straßen zwischen Städten, die häufig gemeinsam in der Krankenakte desselben Patienten auftauchen.
Bei dieser Methode fügten die Forscher zusätzliche Straßen zu der Landkarte hinzu. Sie zeichneten Linien, die eine spezifische „Krankheitsstadt“ mit ihren „Elternstädten“ (den breiteren Gruppen) basierend auf dem offiziellen medizinischen Stammbaum verbinden. Dies schafft eine hybride Landkarte, die sowohl weiß, welche Krankheiten zusammen auftreten, als auch, wie sie per Definition miteinander verwandt sind.

Was sie herausfanden
Die Forscher testeten diese Methoden an zwei riesigen Datenbanken mit echten Patientendaten (eine aus Bostoner Krankenhäusern und eine aus Intensivstationen in den USA).

Bessere Vorhersagen: In fast jedem Test waren die Modelle, die die „Stammbaumstruktur“ nutzten, besser darin, zukünftige gesundheitliche Ereignisse vorherzusagen (wie etwa, ob ein Patient wieder in das Krankenhaus aufgenommen werden müsste oder ob er eine Notfallversorgung benötigt), als die Modelle, die die Struktur ignorierten.
Die „Goldlöckchen-Zone“: Sie fanden heraus, dass der „beste“ Detailgrad vom jeweiligen Auftrag abhängt.
- Für die „Etiketten-Methode“ waren die spezifischsten Details (die feinste Ebene des Baums) meist am hilfreichsten.
- Für die „Soziale Netzwerk“-Methode funktionierte die Verwendung aller Ebenen des Baums (von der breitesten Familie bis hin zum spezifischen Code) am besten.
Der „Reise“-Test: Sie trainierten den Computer mit einem Satz von Krankenhausdaten und baten ihn dann, die Ergebnisse für einen völlig anderen Satz von Krankenhäusern vorherzusagen, die er noch nie gesehen hatte.
- Die „Soziale Netzwerk“-Methode „reiste“ sehr gut; sie behielt ihre Genauigkeit bei, weil sie die universellen Regeln gelernt hatte, wie Krankheiten miteinander verwandt sind.
- Die „Etiketten-Methode“ hatte Schwierigkeiten beim „Reisen“; es schien, als hätte sie die spezifischen Gewohnheiten des ersten Krankenhauses auswendig gelernt, anstatt die allgemeinen Regeln der Medizin zu verstehen.

Das Fazit
Die Arbeit kommt zu dem Schluss, dass medizinische Codes nicht nur zufällige Etiketten sind, sondern eine strukturierte Sprache. Indem man Computern explizit beibringt, den „Stammbaum“ dieser Codes zu verstehen, können wir intelligentere, zuverlässigere KI entwickeln, die den Kontext der Erkrankung eines Patienten versteht und nicht nur die isolierten Fakten. Die Forscher zeigten, dass man nicht das gesamte „Gehirn“ des Computers neu bauen muss, um dies zu erreichen; man muss lediglich ein paar „Wegweiser“ (Aufkleber oder zusätzliche Straßen) hinzufügen, um ihm zu helfen, sich in der medizinischen Landschaft zurechtzufinden.

Technisches Resümee: Hierarchische Modellierung von ICD-Codes in EHR-Foundation-Modellen

Problemstellung

EHR-Foundation-Modelle (Electronic Health Record), wie etwa BEHRT und Med-BERT, behandeln International Classification of Diseases (ICD)-Diagnosecodes typischerweise als flache, unabhängige Token. Dieser Ansatz übersieht die klinisch bedeutsame hierarchische Struktur, die den ICD-Kodierungssystemen eigen ist und Krankheiten in Familien, Unterkategorien und zunehmend spezifischere Diagnosen organisiert. Folglich versäumen es bestehende Methoden des Representation Learning, diese Ontologie explizit zu nutzen, indem sie verwandte Diagnosen als isolierte Symbole behandeln. Dies ist besonders problematisch in klinischen Daten, die oft spärlich, „long-tailed“ (langschwänzig) und institutionenspezifisch sind. Die Arbeit hypothetisiert, dass die explizite Modellierung dieser Hierarchie als induktiver Bias das Representation Learning verbessern kann, indem sie es seltenen Codes ermöglicht, von den Daten klinisch ähnlicher Codes zu profitieren, breitere Versorgungspfade zu erfassen und die Robustheit unter Domänenverschiebungen zu verbessern.

Methodik

Die Autoren schlagen zwei komplementäre Mechanismen vor und evaluieren diese zur Injektion der ICD-10-CM-Hierarchie in zeitgenössisches EHR-Representation-Learning, die kollektiv als Hierarchische ICD-Modelle (HICD) bezeichnet werden. Sie definieren drei verschachtelte Hierarchieebenen ( $G_0, G_1, G_2$ ), die von der gröbsten bis zur feinsten Granularität reichen.

1. HICD-BERT (Token-Level Injection)

Dieser Ansatz erweitert die BEHRT-Transformer-Architektur. Anstatt ICD-Codes als atomare Identifikatoren zu behandeln, ergänzt das Modell die Standard-Token-Embeddings um hierarchie-spezifische Embeddings, die mittels String-Präfix-Trunkierung abgeleitet werden.

Mechanismus: Für einen Diagnosecode addiert das Modell additive Embeddings, die den verschiedenen Ebenen des Code-Strings entsprechen (z. B. 1-Zeichen-Präfix, 2-Zeichen-Präfix, 3-Zeichen-Kategorie).
Datenquelle: Diese Methode ist datengesteuert und erfordert während des Trainings keinen externen Ontologie-Zugriff; die Hierarchie wird direkt aus den Code-Strings abgeleitet.
Training: Prätrainiert mittels Masked Language Modeling (MLM) auf Diagnosesequenzen, gefolgt von Fine-Tuning für Downstream-Aufgaben.

2. HICD-Graph (Graph-Level Encoding)

Dieser Ansatz injiziert die Hierarchie auf der Code-Graph-Ebene vor der Initialisierung eines Transformer-Encoders.

Mechanismus: Ein hybrider Diagnose-Kooccurrence-Graph wird konstruiert. Er kombelt:
- Empirische Kanten: Gewichtete durch Pointwise Mutual Information (PMI) basierend auf der Diagnose-Kooccurrence innerhalb von Patientenbesuchen.
- Ontologische Kanten: Gleichgewichtete Kanten, die Blattknoten der Diagnose mit ihren Ahnenknoten in der ICD-Hierarchie ( $G_0, G_1, G_2$ ) verbinden.
Training: Ein Graph Convolutional Network (GCN) wird mit einem Link-Prediction-Ziel trainiert, um hierarchie-bewusste Code-Embeddings zu lernen. Diese Embeddings initialisieren dann die Embedding-Tabelle eines Patienten-Level-Transformer-Encoders.

Experimenteller Aufbau

Datensätze: MIMIC-IV (verwendet für das Pretraining und die In-Domain-Evaluation) und eICU (verwendet für die Cross-Dataset-Transfer-Evaluation).
Aufgaben:
1. 30-Tage-Readmission (MIMIC-IV): Binäre Klassifikation.
2. Emergency-Admission Prediction (MIMIC-IV): Binäre Klassifikation.
3. ICU Readmission (eICU): Binäre Klassifikation für die Transfer-Evaluation (eingefrorener Encoder, feingetunter Klassifikator).
Ablation: Die Studie evaluiert systematisch alle acht Kombinationen der drei Hierarchieebenen ( $G_0, G_1, G_2$ ) für beide Architekturen gegenüber einer No-Hierarchy-Baseline.

Kernergebnisse

In-Domain Performance (MIMIC-IV)

Gesamte Verbesserung: Hierarchie-augmentierte Konfigurationen übertrafen die No-Hierarchy-Baseline in 26 von 28 paarweisen Vergleichen über beide Modelle und Aufgaben hinweg.
HICD-BERT: Die Leistungssteigerungen wurden primlich durch die feinste Granularitätsebene ( $G_2$ ) getrieben. Die mittlere Ebene ( $G_1$ ) allein verbesserte die Performance nicht signifikant, trug aber bei, wenn sie mit anderen Ebenen kombiniert wurde. Die optimale Konfiguration variierte je nach Aufgabe (z. B. alle Ebenen für Readmission, einzelne feine Ebene für Emergency Prediction).
HICD-Graph: Zeigte einen monotonen Verbesserungstrend, wobei das Hinzufügen von mehr Hierarchieebenen die Performance progressiv steigerte. Die graphbasierte Architektur integrierte Informationen aus mehreren Granularitätsebenen gleichzeitig effektiv.

Cross-Dataset Transfer (MIMM-IV zu eICU)

HICD-Graph: Demonstrierte eine robuste Transferierbarkeit. Sechs von sieben Hierarchie-Varianten verbesserten sich signifikant gegenüber der Baseline, wobei die All-Levels-Konfiguration die stärkste AUROC (0,587) erreichte. Die graphbasierte relationale Struktur schien invariant gegenüber Datensatzverschiebungen zu sein.
HICD-BERT: Die Vorteile der Hierarchie verschwanden unter der Verteilungsverschiebung weitgehend. Nur die gröbste Single-Level-Konfiguration ( $G_0$ ) zeigte eine signifikante Verbesserung gegenüber der Baseline. Die Autoren legen nahe, dass die sequenziellen Token-Muster, die von HICD-BERT gelernt wurden, stärker an die spezifischen Visit-Strukturen von MIMIC-IV gekoppelt sind, während die durch die Ontologie verankerte Graphstruktur generalisierbarer ist.

Embedding-Analyse

Semantische Clusterung: Hierarchie-bewusste Modelle produzierten kohärentere Code-Cluster. Insbesondere die $G_1+G_2$ -Konfiguration in HICD-Graph resultierte in den dichtesten lokalen Code-Clustern im Embedding-Raum.
Korrelation mit der Performance: Die Konfigurationen, die die dichtesten klinisch bedeutsamen Cluster produzierten (z. B. Codes, die dasselbe 2-Zeichen-Präfix teilen), erreichten auch die stärkste Downstream-Vorhersageleistung, was darauf hindeutet, dass die Hierarchie die Performance verbessert, indem sie die Geometrie der Embeddings so formt, dass klinische Beziehungen respektiert werden.

Bedeutung und Ansprüche

Das Paper behauptet, dass die in ICD-Kodierungssystemen vorhandene hierarchische Struktur ein unternutztes Signal in EHR-Foundation-Modellen ist. Die zentralen Beiträge und Ansprüche umfassen:

Hierarchie als robuster induktiver Bias: Die explizite Kodierung der ICD-Hierarchie verbessert die Downstream-Vorhersageleistung signifikant über verschiedene Architekturen (Transformer-basiert und Graph-basiert) und Aufgaben hinweg.
Granularitätsabhängigkeit: Der Nutzen der Hierarchieebenen ist nicht einheitlich; die optimale Ebene hängt sowohl vom Modellierungsansatz (Token-Level vs. Graph-Level) als auch von der Downstream-Aufgabe ab.
Transferierbarkeit der Struktur: Graph-basierte Hierarchie-Kodierung überträgt sich robuster über Datensätze hinweg als Token-Level-Injektion, was darauf hindeutet, dass ontologie-abgeleitete relationale Strukturen fundamentalere klinische Beziehungen erfassen als sequenzielle Token-Muster.
Kostengünstige Integration: Die Vorteile werden mit minimalen architektonischen Modifikationen (additive Embeddings oder zusätzliche Graphkanten) erzielt, ohne die Kern-Pretraining-Ziele oder -Pipelines zu ändern.
Generalisierbarkeit: Die Erkenntnisse bezüglich des Wertes strukturierter klinischer Ontologien lassen sich über ICD-10-CM hinaus auf andere strukturierte Vokabulare (z. B. ATC-Codes für Medikamente) und Representation-Learning-Methoden anwenden.

Die Autoren bleiben bescheiden und merken an, dass die absoluten AUROC-Verbesserungen zwar moderat sind, jedoch statistisch robust und konsistent. Sie räumen ein, dass die Generalisierbarkeit auf andere klinische Outcomes, Institutionen und EHR-Systeme begrenzt ist, und stellen fest, dass ihre Hierarchieebenen manuell definiert und nicht automatisch gelernt wurden.