🤖 AI

Hierarchical Modeling of ICD Codes in EHR Foundation Models

Cet article démontre que l'incorporation explicite de la structure hiérarchique des codes ICD-10-CM dans les modèles de fondation pour dossiers de santé électroniques (EHR), soit par l'augmentation de jetons, soit par l'injection d'arêtes basées sur des graphes, améliore significativement les performances de prédiction clinique tant en domaine qu'en transfert de données (cross-dataset) par rapport au traitement des codes comme des jetons plats.

Auteurs originaux : Megha Thukral, Dong Gyun Kang, Rudra Pratap Singh, Shruthi Kashinath Hiremath, Katrin Hänsel, Thomas Plötz

Publié 2026-06-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Megha Thukral, Dong Gyun Kang, Rudra Pratap Singh, Shruthi Kashinath Hiremath, Katrin Hänsel, Thomas Plötz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à comprendre l'historique médical d'un patient. L'ordinateur lit une longue liste de codes (comme « S72.001A ») que les médecins utilisent pour décrire des maladies.

Le Problème : La Vue « Plate »
Actuellement, la plupart des modèles informatiques traitent ces codes comme une liste de mots aléatoires et sans lien entre eux. C'est comme si l'ordinateur voyait « Pomme », « Voiture » et « Zèbre » comme trois éléments complètement distincts, sans aucun rapport. En réalité, les codes médicaux sont organisés comme un arbre généalogique massif et détaillé. Un code pour un type spécifique de fracture de la jambe fait partie d'un groupe de « blessures de la jambe », qui fait partie d'un groupe de « blessures osseuses », qui fait partie de la famille des « blessures ».

L'article soutient qu'en ignorant cet arbre généalogique, les ordinateurs passent à côté d'un indice majeur sur la façon dont les maladies sont liées.

La Solution : Deux Nouvelles Façons d'Enseigner à l'Ordinateur
Les chercheurs ont testé deux méthodes différentes pour forcer l'ordinateur à respecter cette structure d'arbre généalogique :

La Méthode de l'« Étiquette Adhésive » (HICD-BERT) :
Imaginez que vous avez une boîte de jouets. Au lieu d'écrire simplement « Jouet » sur la boîte, vous ajoutez des autocollants qui disent « Jouet », « Figurine d'action », « Super-héros » et « Batman ».
Dans cette méthode, l'ordinateur ne voit pas seulement le code spécifique ; il voit aussi des « autocollants » représentant les catégories plus larges auxquelles appartient le code. Il apprend qu'un code spécifique fait partie d'un groupe plus vaste, tout comme le fait de voir l'autocollant « Batman » aide à mieux comprendre le jouet.
La Méthode du « Réseau Social » (HICD-Graph) :
Imaginez dessiner une carte où chaque maladie est une ville. Habituellement, vous ne tracez des routes entre les villes que si elles apparaissent souvent ensemble dans le dossier d'un même patient.
Dans cette méthode, les chercheurs ont ajouté des routes supplémentaires sur la carte. Ils ont tracé des lignes reliant une ville-maladie spécifique à ses « villes parentes » (les groupes plus larges) en se basant sur l'arbre généalogique médical officiel. Cela crée une carte hybride qui sait à la fois quelles maladies surviennent ensemble et comment elles sont liées par définition.

Ce Qu'Ils Ont Découvert
Les chercheurs ont testé ces méthodes sur deux énormes bases de données de dossiers réels de patients (une provenant d'hôpitaux de Boston et une autre des unités de soins intensifs à travers les États-Unis).

De Meilleures Prédictions : Dans presque tous les tests, les modèles qui utilisaient la structure de l'« arbre généalogique » étaient meilleurs pour prédire les événements de santé futurs (comme si un patient serait réadmis à l'hôpital ou s'il avait besoin de soins d'urgence) que les modèles qui ignoraient la structure.
La Zone « Juste Milieu » : Ils ont découvert que le « meilleur » niveau de détail dépend de la tâche.
- Pour la méthode de l'« Étiquette Adhésive », les détails les plus spécifiques (le niveau le plus fin de l'arbre) étaient généralement les plus utiles.
- Pour la méthode du « Réseau Social », utiliser tous les niveaux de l'arbre (de la famille la plus large jusqu'au code spécifique) fonctionnait le mieux.
Le Test du « Voyage » : Ils ont entraîné l'ordinateur sur un ensemble de données hospitalières, puis lui ont demandé de prédire les résultats pour un ensemble d'hôpitaux complètement différent qu'il n'avait jamais vus auparavant.
- La méthode du « Réseau Social » a très bien voyagé ; elle a conservé sa précision car elle a appris les règles universelles de la relation entre les maladies.
- La méthode de l'« Étiquette Adhésive » a eu du mal à voyager ; elle semblait avoir mémorisé les habitudes spécifiques du premier hôpital plutôt que les règles générales de la médecine.

L'Essentiel
L'article conclut que les codes médicaux ne sont pas de simples étiquettes aléatoires ; ils sont un langage structuré. En enseignant explicitement aux ordinateurs à comprendre l'« arbre généalogique » de ces codes, nous pouvons construire une IA plus intelligente et plus fiable qui comprend le contexte de la maladie d'un patient, et non pas seulement les faits isolés. Les chercheurs ont montré qu'il n'est pas nécessaire de reconstruire complètement le cerveau de l'ordinateur pour faire cela ; il suffit d'ajouter quelques « points de repère » (autocollants ou routes supplémentaires) pour l'aider à naviguer dans le paysage médical.

Résumé Technique : Modélisation Hiérarchique des Codes CIM dans les Modèles de Fondation pour l'EHR

Énoncé du Problème

Les modèles de fondation pour les dossiers de santé électroniques (EHR), tels que BEHRT et Med-BERT, traitent généralement les codes de diagnostic de la Classification Internationale des Maladies (CIM) comme des jetons (tokens) plats et indépendants. Cette approche néglige la structure hiérarchique cliniquement significative inhérente aux systèmes de codage CIM, qui organise les maladies en familles, sous-catégories et diagnostics de plus en plus spécifiques. Par conséquent, les méthodes existantes d'apprentissage de représentations ne parviennent pas à exploiter explicitement cette ontologie, traitant les diagnostics apparentés comme des symboles isolés. Cela est particulièrement problématique dans les données cliniques où les diagnostics sont souvent parsemés, à longue traîne et spécifiques à une institution. Le papier émet l'hypothèse qu'un modélisation explicite de cette hiérarchie en tant que biais inductif pourrait améliorer l'apprentissage de représentations en permettant aux codes rares de bénéficier des données associées à des codes cliniquement similaires, en capturant des parcours de soins plus larges et en améliant la robustesse face aux changements de domaine.

Méthodologie

Les auteurs proposent et évaluent deux mécanismes complémentaires pour injecter la hiérarchie CIM-10-CM dans l'apprentissage de représentations EHR contemporain, collectivement nommés modèles ICD hiérarchiques (HICD). Ils définissent trois niveaux de hiérarchie imbriqués ( $G_0, G_1, G_2$ ) allant de la granularité la plus grossière à la plus fine.

1. HICD-BERT (Injection au niveau du jeton)

Cette approche étend l'architecture Transformer de BEHRT. Au lieu de traiter les codes CIM comme des identifiants atomiques, le modèle augmente les plongements (embeddings) de jetons standards avec des plongements spécifiques à la hiérarchie dérivés par troncature de préfixe de chaîne.

Mécanisme : Pour un code de diagnostic, le modèle ajoute des plongements additifs correspondant à différents niveaux de la chaîne de code (par exemple, un préfixe de 1 caractère, un préfixe de 2 caractères, une catégorie de 3 caractères).
Source de données : Cette méthode est pilotée par les données, ne nécessitant aucun accès à une ontologie externe lors de l'entraînement ; la hiérarchie est dérivée directement des chaînes de codes.
Entraînement : Pré-entraîné via la modélisation de langage masqué (MLM) sur des séquences de diagnostics, suivi d'un ajustement fin (fine-tuning) pour des tâches en aval.

2. HICD-Graph (Encodage au niveau du graphe)

Cette approche injecte la hiérarchie au niveau du graphe de cooccurrence des codes avant d'initialiser un encodeur Transformer.

Mécanisme : Un graphe hybride de cooccurrence de diagnostics est construit. Il combine :
- Arêtes empiriques : Pondérées par l'information mutuelle de point par point (PMI) basée sur la cooccurrence des diagnostics au sein des visites des patients.
- Arêtes ontologiques : Arêtes à poids uniforme connectant les nœuds de diagnostic feuilles à leurs nœuds ancêtres dans la hiérarchie CIM ( $G_0, G_1, G_2$ ).
Entraînement : Un réseau de neurones convolutionnels sur graphes (GCN) est entraîné avec un objectif de prédiction de lien pour apprendre des plongements de codes conscients de la hiérarchie. Ces plongements initialisent ensuite la table de plongement d'un encodeur Transformer au niveau du patient.

Configuration Expérimentale

Jeux de données : MIMIC-IV (utilisé pour le pré-entraînement et l'évaluation intra-domaine) et eICU (utilisé pour l'évaluation du transfert inter-jeux de données).
Tâches :
1. Réadmission à 30 jours (MIMIC-IV) : Classification binaire.
2. Prédiction d'admission d'urgence (MIMIC-IV) : Classification binaire.
3. Réadmission en soins intensifs (eICU) : Classification binaire pour l'évaluation de transfert (encodeur gelé, classificateur ajusté).
Ablation : L'étude évalue systématiquement les huit combinaisons des trois niveaux de hiérarchie ( $G_0, G_1, G_2$ ) pour les deux architectures par rapport à une base de référence sans hiérarchie.

Résultats Clés

Performance Intra-domaine (MIMIC-IV)

Amélioration Globale : Les configurations augmentées par la hiérarchie ont surpassé la base de référence sans hiérarchie dans 26 des 28 comparaisons par paires à travers les deux modèles et les tâches.
HICD-BERT : Les gains de performance ont été principalement portés par le niveau de granularité la plus fine ( $G_2$ ). Le niveau intermédiaire ( $G_1$ ) seul n'a pas significativement amélioré la performance, mais a contribué lorsqu'il était combiné avec d'autres niveaux. La configuration optimale variait selon la tâche (par exemple, tous les niveaux pour la réadmission, le niveau fin unique pour la prédiction d'urgence).
HICD-Graph : A montré une tendance d'amélioration monotone où l'ajout de niveaux hiérarchiques augmentait progressivement la performance. L'architecture basée sur le graphe a intégré efficacement les informations de plusieurs niveaux de granularité simultanément.

Transfert Inter-jeux de Données (MIMIC-IV vers eICU)

HICD-Graph : A démontré une transférabilité robuste. Six des sept variantes hiérarchiques ont significativement amélioré la performance par rapport à la base de référence, la configuration de tous les niveaux atteignant l'AUROC le plus élevé (0,587). La structure relationnelle basée sur le graphe semble plus invariante aux changements de domaine.
HICD-BERT : Les bénéfices de la hiérarchie ont largement disparu sous l'effet du changement de distribution. Seule la configuration à un seul niveau le plus grossier ( $G_0$ ) a montré une amélioration significative par rapport à la base de référence. Les auteurs suggèrent que les motifs de jetons séquentiels appris par HICD-BERT sont plus étroitement couplés aux structures de visites spécifiques de MIMIC-IV, tandis que la structure relationnelle ancrée dans l'ontologie est plus généralisable.

Analyse des Plongements (Embeddings)

Clustering Sémantique : Les modèles conscients de la hiérarchie ont produit des clusters de codes plus cohérents. Plus précisément, la configuration $G_1+G_2$ de HICD-Graph a produit les clusters de codes locaux les plus serrés dans l'espace des plongements.
Corrélation avec la Performance : Les configurations produisant les clusters les plus serrés et cliniquement significatifs (par exemple, les codes partageant le même préfixe de 2 caractères) ont également obtenu les meilleures performances prédictives en aval, suggérant que la hiérarchie améliore la performance en façonnant la géométrie des plongements pour respecter les relations cliniques.

Signification et Revendications

Le papier affirme que la structure hiérarchique présente dans les systèmes de codage CIM est un signal sous-utilisé dans les modèles de fondation EHR. Les principales contributions et revendications incluent :

La Hiérarchie comme Biais Inductif Robuste : Le codage explicite de la hiérarchie CIM améliore considérablement les performances de prédiction en aval à travers différentes architectures (basées sur les Transformers et sur les graphes) et tâches.
Dépendance à la Granularité : L'utilité des niveaux hiérarchiques n'est pas uniforme ; le niveau optimal dépend à la fois de l'approche de modélisation (niveau du jeton vs niveau du graphe) et de la tâche en aval.
Transférabilité de la Structure : Le codage hiérarchique basé sur le graphe se transfère plus robustement entre les jeux de données que l'injection au niveau du jeton, suggérant que les structures relationnelles dérivées de l'ontologie capturent des relations cliniques plus fondamentales que les motifs de jetons séquentiels.
Intégration à Faible Coût : Les bénéfices sont obtenus avec des modifications architecturales minimales (plongements additifs ou arêtes de graphe supplémentaires) sans changer les objectifs ou les pipelines de pré-entraînement de base.
Généralisabilité : Les enseignements concernant la valeur des ontologies cliniques structurées s'étendent au-delà de la CIM-10-CM et peuvent être appliqués à d'autres vocabulaires structurés (par exemple, les codes ATC pour les médicaments) et aux méthodes d'apprentissage de représentations.

Les auteurs restent modestes, notant que bien que les améliorations absolues de l'AUROC soient modestes, elles sont statistiquement robustes et cohérentes. Ils reconnaissent les limites concernant la généralisabilité à d'autres résultats cliniques, institutions et systèmes EHR, et notent que leurs niveaux hiérarchiques ont été définis manuellement plutôt que appris automatiquement.