💬 NLP

Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes

Ce papier démontre que l'entraînement d'un modèle d'attention modifié par étiquette sur une combinaison de données ICD-9 et ICD-10 améliore significativement les performances de prédiction des codes ICD-10, en particulier pour les codes rares, en comblant efficacement les écarts entre versions et en abordant le problème de la longue traîne avec moins de paramètres.

Auteurs originaux : Jinghui Liu, Anthony Nguyen

Publié 2026-05-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jinghui Liu, Anthony Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Une Cible Mobile et une Longue Queue

Imaginez que vous essayez d'organiser une bibliothèque massive de dossiers médicaux. Pour ce faire, vous devez attribuer à chaque patient un « étiquette » spécifique (un code CIM) qui décrit sa maladie. Il y a deux énormes maux de tête dans ce travail :

Le Dictionnaire Change Constant : Le dictionnaire officiel des étiquettes médicales (appelé CIM) est constamment mis à jour. Parfois, une étiquette de l'ancien dictionnaire (CIM-9) ne correspond pas parfaitement à une étiquette du nouveau dictionnaire (CIM-10). C'est comme essayer d'apprendre une nouvelle langue alors que vos anciens manuels sont encore sur l'étagère. La plupart des programmes informatiques sont entraînés à parler une seule « version » de la langue, donc lorsque les règles changent, ils se confondent.
Le Problème de la « Longue Queue » : La plupart des patients souffrent de maladies courantes (comme la grippe ou l'hypertension artérielle), qui sont faciles à étiqueter. Mais il existe des milliers de maladies rares que seule une poignée de personnes contracte. Dans le monde des données, ce sont la « longue queue ». Parce qu'il y a si peu d'exemples de ces maladies rares, les modèles informatiques peinent à les apprendre, les ignorant souvent complètement.

La Solution : Mélanger Anciens et Nouveaux Livres

Les chercheurs se sont posé une question simple : Et si nous enseignions à l'ordinateur en utilisant à la fois les anciens dossiers médicaux (CIM-9) et les nouveaux (CIM-10) en même temps ?

Habituellement, les gens pensent que mélanger ces deux éléments serait un désastre car les étiquettes ne correspondent pas parfaitement (seulement environ 24 % des anciennes étiquettes ont une correspondance directe dans le nouveau système). C'est comme essayer d'enseigner à un élève à parler anglais en y mêlant quelques mots français ; on s'attendrait à ce qu'il se perde.

Cependant, les chercheurs ont construit un modèle spécial appelé DUALLAAT et ont essayé exactement cela. Ils lui ont fourni un « smoothie » composé de :

Anciens dossiers de MIMIC-III (CIM-9)
Dossiers plus récents de MIMIC-IV (CIM-9)
Dossiers les plus récents de MIMIC-IV (CIM-10)

Qu'est-il Arrivé ? (Les Résultats)

Les résultats ont été étonnamment bons, agissant comme une « sauce secrète » pour le modèle informatique :

Le Coup de Pouce pour les Maladies Rares : La plus grande victoire a été pour les maladies rares (la « longue queue »). En ajoutant les anciennes données, la capacité du modèle à repérer les codes CIM-10 rares a bondi de 27 %. C'est comme si les anciens dossiers contenaient des indices cachés sur les concepts des maladies, même si les noms spécifiques des étiquettes étaient différents. Le modèle a appris le sens de la maladie, pas seulement l'étiquette.
Le Coup de Pouce pour les Maladies Courantes : Le modèle est également devenu meilleur pour gérer les maladies courantes, améliorant sa précision globale sans avoir besoin d'être rendu plus complexe.
Efficacité : Au lieu d'avoir besoin de trois modèles différents (un pour chaque version de l'ensemble de données), ils n'ont eu besoin que d'un seul modèle pour gérer tous les cas. Cela a économisé une quantité massive de mémoire informatique et de temps d'entraînement. C'est comme avoir un traducteur universel au lieu d'avoir besoin d'un dictionnaire différent pour chaque pays que vous visitez.

Le « Pourquoi » (L'Ingrédient Secret)

Le document suggère que le succès ne vient pas de la correspondance parfaite des étiquettes. Au contraire, il provient de la signification clinique partagée.

Pensez-y ainsi : même si le mot pour « crise cardiaque » a changé de « Infarctus du Myocarde » dans l'ancien livre à « Infarctus Aigu du Myocarde » dans le nouveau livre, la description des symptômes du patient dans les notes est restée similaire. En lisant à la fois les anciennes et les nouvelles notes, le modèle a appris à reconnaître l'histoire de la maladie, le rendant beaucoup plus intelligent qu'un modèle qui n'aurait lu que les nouvelles notes.

Résumé

Le document prouve que vous n'avez pas à jeter les anciennes données médicales lorsque les systèmes sont mis à jour. En mélangeant les anciens et les nouveaux dossiers, vous pouvez entraîner un modèle informatique unique et plus intelligent, qui est meilleur pour repérer les maladies rares et ne se brise pas lorsque le système de codage change. Cela transforme des données « obsolètes » en un outil d'entraînement précieux.

Énoncé du problème

L'article aborde deux défis critiques dans l'encodage automatisé de la Classification Internationale des Maladies (CIM) :

Évolution des versions : Les systèmes CIM subissent des mises à jour continues (par exemple, de la CIM-9 à la CIM-10, et la future CIM-11). Les modèles entraînés sur une version spécifique avec un espace de labels fixe peinent à gérer ces changements, entraînant des inadéquations dans la distribution des données lors de l'adoption de nouvelles versions.
Distribution à longue traîne : Les distributions de codes CIM sont fortement déséquilibrées. Dans des jeux de données comme MIMIC-IV, les codes rares (apparaissant moins de 10 fois) constituent environ 70 % de l'ensemble total des codes (18 000 sur 26 000). Les modèles actuels obtiennent souvent de moins bonnes performances sur ces codes rares en raison d'un nombre insuffisant d'échantillons d'entraînement, créant un goulot d'étranglement pour des systèmes robustes et applicables.

Une question clé reste inexplorée : est-il viable de combiner des données annotées dans différentes versions de la CIM (par exemple, en mélangeant CIM-9 et CIM-10) pour entraîner un modèle unique indépendant de la version, ou l'inadéquation terminologique introduit-elle du bruit nuisant aux performances ?

Méthodologie

Les auteurs proposent une approche d'entraînement multi-versions utilisant un modèle Label-Wise Attention (LWA) modifié nommé DUALLAAT (Dual Label-wise Attention).

Architecture du modèle :
- Double encodeurs : Contrairement aux modèles LWA standards qui n'encodent que les notes cliniques, DUALLAAT emploie deux encodeurs de texte : l'un pour les notes cliniques et un autre séparé pour les descriptions des codes CIM.
- Embeddings de codes : Au lieu d'utiliser des embeddings fixes pour les codes, le modèle génère des embeddings de codes dynamiquement à partir des descriptions textuelles des codes CIM. Cela permet au modèle de traiter des codes de différentes versions (CIM-9 ou CIM-10) tant qu'ils sont fournis sous forme de chaînes de caractères.
- Mécanisme d'attention : Le modèle utilise une attention par label pour aligner les tokens pertinents dans la note clinique avec la description spécifique du code, produisant une matrice de probabilités pour $N$ notes et $C$ codes.
- Variantes : Les auteurs ont testé deux configurations d'encodeurs : DUALLAATcnn (utilisant un CNN de base) et DUALLAAT (utilisant un RNN/GRU).
Stratégie de données :
- Jeux de données : L'étude a utilisé trois jeux de données dérivés de MIMIC : MIMIC-III (CIM-9), MIMIC-IV (CIM-9) et MIMIC-IV (CIM-10).
- Expansion de l'espace de labels : Les auteurs ont ré-extrait tous les codes de MIMIC pour inclure les codes rares (fréquence < 10), étendant ainsi l'espace de labels de la CIM-10 de 8 000 (fréquents) à 26 000 (ensemble complet).
- Procédure d'entraînement : Les ensembles d'entraînement des trois jeux de données ont été agrégés. Pour gérer l'entraînement par lots avec des versions mixtes, les auteurs ont implémenté un échantillonneur garantissant que chaque lot ne contienne qu'une seule version de la CIM (soit CIM-9, soit CIM-10), tout en mélangeant les lots de différentes versions au cours du processus d'entraînement. Cela stabilise la taille de l'espace de labels tout en exposant le modèle à des données multi-versions.
Références (Baselines) :
- PLM-ICD : Une référence solide utilisant un BERT dans le domaine avec des fenêtres glissantes et LWA.
- CoRelation : Un modèle utilisant des graphes bipartis pour modéliser les relations entre les codes.
- CAML & LAAT : Des modèles LWA précédents basés sur CNN et RNN.

Résultats clés

Les expériences ont démontré que le mélange de données CIM-9 dans l'entraînement CIM-10 apporte des améliorations significatives, en particulier pour les codes rares.

Performance sur les codes rares (CIM-10) :
- L'ajout de données CIM-9 à l'ensemble d'entraînement a entraîné une augmentation relative de 27,4 % du Micro F1 pour les 18 000 codes CIM-10 rares (passant de 8,4 à 10,7) par rapport à un entraînement sur des données CIM-10 uniquement.
- Cette amélioration a été obtenue avec un modèle significativement plus petit (37 millions de paramètres pour DUALLAAT contre 137 millions pour PLM-ICD).
Performance sur les codes fréquents :
- Pour les 8 000 codes CIM-10 fréquents, l'entraînement multi-versions a amélioré le score Macro F1 d'environ 7 % (passant de 27,9 à 29,9).
- Le DUALLAAT entraîné en mode mixte a atteint des performances comparables ou supérieures à PLM-ICD et CoRelation sur les ensembles complets de codes, avec des scores Macro F1 nettement plus élevés (11,2 contre 6,3 pour CoRelation), indiquant une meilleure robustesse sur la longue traîne.
Efficacité :
- Efficacité des paramètres : Un modèle DUALLAAT unique entraîné sur des données mixtes peut gérer plusieurs versions de la CIM, alors que des modèles PLM-ICD séparés seraient nécessaires pour chaque version.
- Temps d'entraînement : Le DUALLAAT sur données mixtes a convergé en environ 18 heures (57 heures pour l'ensemble complet de données mixtes), nettement plus vite que les 95 heures requises pour entraîner trois modèles PLM-ICD séparés pour les trois benchmarks.

Signification et affirmations

L'article affirme que la combinaison de jeux de données multi-versions crée un effet synergique pour l'encodage CIM, remettant en question l'hypothèse selon laquelle les inadéquations de versions introduisent nécessairement un bruit nuisible.

Sémantique partagée plutôt que recouvrement direct : Les auteurs notent que seulement environ 24,3 % des codes CIM-9 ont des correspondances exactes dans la CIM-10. Les gains de performance observés suggèrent que les bénéfices proviennent de l'apprentissage de sémantiques cliniques partagées à travers les versions plutôt que d'un recouvrement direct des labels.
Utilisation des données héritées : L'étude démontre que les dossiers patients hérités (par exemple, CIM-9) peuvent être efficacement exploités pour entraîner des modèles plus robustes pour les systèmes actuels (CIM-10), résolvant potentiellement les problèmes de démarrage à froid pour les futures versions (CIM-11).
Données vs Architecture : Les résultats suggèrent que l'amélioration de la diversité des données d'entraînement (via le mélange multi-versions) peut avoir un impact aussi important que les améliorations architecturales, qui ont été le principal axe de la littérature récente.
Déploiement pratique : L'approche offre une solution plus efficace pour les environnements à ressources limitées en réduisant le nombre de paramètres de modèle requis et le temps d'entraînement tout en maintenant des performances élevées sur différentes versions de la CIM.

Les auteurs concluent que, bien que leur étude soit limitée aux jeux de données MIMIC et à la CIM-CM en anglais, les principes de l'entraînement multi-versions offrent une direction prometteuse pour l'extension de la recherche sur l'encodage CIM et la gestion des modifications continues des systèmes.