💬 NLP

From Documents to Spans: Code-Centric Learning for LLM-based ICD Coding

Ce papier propose un cadre d'apprentissage centré sur les codes, nommé Code-Centric Learning, qui améliore l'efficacité, la précision et l'interprétabilité du codage ICD par les LLM en remplaçant la supervision par des documents complets par une supervision basée sur des extraits de preuves courts et évolutifs.

Auteurs originaux : Xu Zhang, Wenxin Ma, Chenxu Wu, Rongsheng Wang, Kun Zhang, S. Kevin Zhou

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xu Zhang, Wenxin Ma, Chenxu Wu, Rongsheng Wang, Kun Zhang, S. Kevin Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏥 Le Problème : Le stagiaire débordé

Imaginez un hôpital où chaque patient quitte les lieux avec un dossier médical épais (des centaines de pages de notes). Pour que l'assurance paie et que les statistiques soient justes, il faut transformer ces notes en codes administratifs (les codes CIM, comme des étiquettes de prix pour les maladies).

Actuellement, on essaie d'entraîner des intelligences artificielles (des "médecins robots") pour faire ce travail. Mais ça pose trois gros problèmes :

Le manque de manuels : Les robots n'ont appris qu'avec quelques exemples de dossiers. Ils ne connaissent pas les milliers de codes possibles. C'est comme apprendre à cuisiner avec seulement 10 recettes sur 10 000 existantes.
L'absence de "pourquoi" : Quand le robot donne un code, il ne dit pas où il l'a trouvé dans le dossier. C'est comme si un élève donnait la réponse d'un calcul sans montrer son raisonnement. On ne peut pas vérifier s'il a eu raison ou s'il a deviné.
La lenteur : Lire un dossier entier de 50 pages pour trouver un seul mot-clé prend du temps et coûte cher en énergie informatique. C'est inefficace.

💡 La Solution : L'approche "Centrée sur la Preuve" (Code-Centric Learning)

Les chercheurs proposent une nouvelle méthode, qu'ils appellent l'apprentissage centré sur le code. Au lieu de faire lire tout le dossier au robot, ils changent la méthode d'entraînement.

Voici l'analogie pour comprendre :

1. Au lieu de lire l'encyclopédie, on apprend par "fiches de révision"

Imaginez que vous voulez apprendre l'histoire de France.

L'ancienne méthode (SFT classique) : Vous lisez 100 gros livres d'histoire (les dossiers médicaux complets) pour essayer de trouver la date de la Révolution. C'est long et vous vous perdez dans les détails.
La nouvelle méthode (CCL) : On vous donne des fiches de révision courtes.
- Fiche 1 : "Voici un extrait de texte qui parle de la Bastille. Quel événement cela représente-t-il ?" -> Réponse : "Prise de la Bastille".
- Fiche 2 : "Voici un extrait sur Napoléon. Quel est son titre ?" -> Réponse : "Empereur".

En apprenant par ces petits extraits (les "spans" ou preuves), le robot devient un expert pour reconnaître les indices, même s'il n'a jamais lu le livre entier.

2. Créer des exercices pour les codes inconnus

Le problème restant était : "Et si le robot rencontre un code qu'il n'a jamais vu dans les livres ?"
Les chercheurs ont eu une idée géniale : l'imagination assistée par l'IA.

Si le robot ne connaît pas le code "Fracture du tibia gauche", mais qu'il connaît très bien "Fracture du tibia droit", l'IA invente un petit texte d'exemple plausible pour le "gauche".
C'est comme si un professeur créait des exercices supplémentaires pour s'assurer que l'élève connaît toutes les matières, pas seulement celles du manuel scolaire.

🚀 Les Résultats Magiques

Grâce à cette méthode, trois choses incroyables se produisent :

Vitesse fulgurante : Au lieu de lire 100 000 dossiers longs, le robot s'entraîne sur 200 dossiers courts + des millions de petites fiches. L'entraînement est 5 fois plus rapide et coûte beaucoup moins cher.
Transparence totale : Comme le robot a appris à associer un petit bout de texte à un code, il peut maintenant dire : "J'ai mis ce code parce que j'ai trouvé cette phrase précise dans le dossier". C'est comme si l'élève montrait son brouillon. Les médecins humains peuvent vérifier et corriger si besoin.
Performance de champion : Un petit robot (modèle de taille moyenne) formé avec cette méthode bat des robots géants (modèles propriétaires très chers) formés à l'ancienne. Il est capable de gérer des codes qu'il n'a jamais vus auparavant grâce à ses "fiches de révision" inventées.

🎯 En résumé

Cette recherche dit : "Ne forcez pas l'IA à lire des romans entiers pour apprendre un métier. Donnez-lui des flashcards (cartes mémoire) précises, faites-lui inventer des exercices pour ce qu'il ne connaît pas, et il deviendra un expert rapide, précis et honnête."

C'est une avancée majeure pour rendre l'automatisation des codes médicaux réaliste, abordable et fiable pour les hôpitaux.

1. Problématique et Contexte

Le codage ICD (Classification Internationale des Maladies) est une tâche cruciale dans le secteur de la santé pour le remboursement des assurances et l'analyse des données, mais il reste manuel, chronophage et sujet à des erreurs humaines. Bien que les modèles de langage (LLM) aient montré des capacités de généralisation supérieures aux méthodes discriminatives traditionnelles, leur fine-tuning (ajustement fin) pour le codage ICD rencontre trois obstacles majeurs :

Couverture limitée des codes : Les jeux de données publics (comme MIMIC-IV) ne couvrent qu'une petite fraction de l'espace des codes ICD (environ 10 % des 70 000 codes ICD-10-CM), limitant la capacité du modèle à généraliser sur des codes jamais vus (unseen codes).
Manque d'interprétabilité : La plupart des jeux de données fournissent uniquement les codes sans les preuves textuelles (segments de texte) qui les soutiennent. Le fine-tuning direct sur ces données encourage une prédiction directe, rendant le processus de "boîte noire" difficile à auditer ou à corriger par des humains.
Inefficacité computationnelle : Les documents cliniques sont longs. Le fine-tuning de LLMs sur de longs documents entraîne un coût computationnel élevé (complexité quadratique par rapport à la longueur d'entrée), rendant l'entraînement prohibitif.

2. Méthodologie : Code-Centric Learning (CCL)

Les auteurs proposent un nouveau cadre d'entraînement, le Code-Centric Learning (CCL), qui déplace la supervision des documents cliniques complets vers des segments de preuve (spans) scalables et courts. L'idée centrale est qu'apprendre à associer un code à un segment de preuve court améliore la capacité du modèle à extraire ces preuves et à assigner des codes dans un document complet.

Le cadre CCL repose sur deux stratégies principales :

A. Stratégie d'Entraînement Mixte (Mixed Training)

Au lieu d'entraîner uniquement sur des documents complets, le modèle est entraîné sur deux types d'instances :

Niveau Document : Des documents cliniques complets annotés avec des preuves et des codes ICD (données rares mais précieuses, ex: MDACE). Cela apprend au modèle à agréger des preuves dispersées dans tout le contexte.
Niveau Segment (Span-level) : Des paires "Preuve - Code" isolées. Le modèle prend un segment de texte court (la preuve) et prédit le code ICD correspondant.
- Avantage : Ces segments sont courts, réduisant considérablement le coût de calcul et permettant d'injecter des connaissances spécifiques à chaque code.

B. Expansion de Données Centrée sur le Code (Code-Centric Data Expansion)

Pour garantir une couverture complète de l'espace ICD, les auteurs construisent une base de connaissances multi-niveaux ( $D = D_{gold} \cup D_{silver} \cup D_{syn}$ ) :

Paires Or (Gold) : Issues de ressources officielles (Index Alphabétique et Liste Tabulaire de l'ICD), associant des termes médicaux à leurs codes par défaut.
Paires Argent (Silver) : Extraites automatiquement de jeux de données publics (comme MIMIC-IV) via un pipeline LLM qui identifie les preuves textuelles soutenant un code donné, puis les consolide.
Paires Synthétiques (Synthetic) : Pour les codes absents des ressources publiques, un LLM (GPT-5.1) infère des preuves plausibles en se basant sur les codes voisins dans la hiérarchie ICD et les connaissances existantes.

3. Contributions Clés

Nouveau Paradigme d'Entraînement : Introduction du CCL, qui résout simultanément les problèmes de couverture des codes, d'interprétabilité et d'efficacité.
Preuve par l'Expérience : Démonstration que l'apprentissage au niveau du segment (span-level) transfère des gains significatifs vers la tâche au niveau du document.
Accessibilité : La méthode permet à des LLMs de petite taille (ex: Llama-3.1-8B) d'atteindre des performances comparables à des modèles propriétaires beaucoup plus grands, tout en fournissant des explications interprétables.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (MDACE et ACI-Bench) en comparant le CCL avec des méthodes discriminatives (PLM-ICD), des méthodes sans entraînement (CoT, MAC) et des méthodes de fine-tuning standard (SFT).

Performance Supérieure : Le CCL surpasse systématiquement les méthodes de base utilisant le même backbone (LLM). Par exemple, avec Llama-3.1-8B, le CCL améliore le Micro-F1 de 2,4 % et le Macro-F1 de 8,2 % sur le benchmark ACI-Bench par rapport au fine-tuning standard.
Généralisation aux Codes Inconnus : Le modèle montre une amélioration massive sur les codes non vus lors de l'entraînement document-level. La précision sur ces codes passe de 8,8 % à 50,0 % grâce à l'utilisation des données de segments.
Efficacité de l'Entraînement :
- Réduction du temps d'entraînement d'environ 80 % (de 210 heures à 40 heures pour un modèle Llama-3.1-8B sur un GPU H20).
- Utilisation de seulement 200 documents annotés avec preuves + 150 000 segments, contre 100 000 documents complets pour les méthodes traditionnelles.
Interprétabilité et Collaboration Humain-AI : Le modèle génère des preuves textuelles explicites. Lorsque ces preuves sont remplacées par des annotations humaines, les performances augmentent considérablement (Micro-F1 passant de 59,3 % à 78,0 %), prouvant la capacité du modèle à s'intégrer dans un flux de travail de révision humaine.

5. Signification et Impact

Cet article propose un changement de paradigme fondamental pour le codage médical automatisé. En passant d'une approche "document-centrée" coûteuse et peu interprétable à une approche "code-centrée" basée sur des segments de preuve, les auteurs démontrent qu'il est possible de :

Rendre les LLMs viables en clinique : En réduisant les coûts de calcul et en permettant l'utilisation de modèles plus petits et locaux (respectant la confidentialité des données).
Améliorer la transparence : En fournissant des justifications textuelles pour chaque code, facilitant la validation par les experts humains.
Couvrir l'ensemble du spectre ICD : Grâce à l'expansion de données synthétiques et silver, rendant le système robuste face à la diversité des codes médicaux, y compris ceux rares ou absents des jeux de données publics.

En conclusion, le Code-Centric Learning offre une voie prometteuse vers une automatisation complète et fiable du codage ICD, équilibrant précision, efficacité et interprétabilité.