Evaluation and LLM-Guided Learning of ICD Coding Rationales

Cet article présente une évaluation systématique de la fidélité et de la plausibilité des justifications (rationales) en codage ICD, introduit un nouveau jeu de données annoté basé sur MIMIC-IV et ICD-10, et propose des méthodes d'apprentissage guidées par les grandes modèles de langage (LLM) pour améliorer la génération de justifications convaincantes.

L'essentiel

🏥 Le Contexte : Le Médecin-robot et son Dilemme

Imaginez un hôpital immense où chaque patient a un dossier rempli de notes manuscrites, de symptômes et d'histoires complexes. Pour que l'hôpital soit payé et que les statistiques soient justes, il faut transformer ces histoires en codes standards (comme des codes-barres médicaux). C'est ce qu'on appelle le "codage ICD".

Actuellement, des humains experts font ce travail. C'est lent, cher et fatiguant. Alors, on a créé des Intelligences Artificielles (IA) pour le faire à leur place. Ces IA sont très bonnes pour trouver le bon code, mais elles ont un gros défaut : elles sont des "boîtes noires".

C'est comme si un ami vous disait : "Je suis sûr que tu as mal au dos, donc je te donne ce médicament" sans pouvoir vous expliquer pourquoi. Vous auriez confiance ? Probablement pas. Les médecins ont besoin de savoir quels mots précis dans le dossier ont convaincu l'IA.

🔍 Le Problème : Comment vérifier les "preuves" de l'IA ?

Les chercheurs se sont dit : "Comment on peut être sûr que l'IA ne se trompe pas ?"
Ils ont essayé de regarder les "preuves" que l'IA sélectionne (les phrases qu'elle juge importantes). Mais jusqu'ici, c'était comme essayer de juger un film en regardant juste des images floues.

Il manquait trois choses essentielles :

1. Un manuel de référence : Une base de données où des humains experts ont déjà écrit exactement quelles phrases prouvent quel diagnostic.
2. Une comparaison équitable : On ne savait pas si les méthodes actuelles (qui regardent juste les "mots importants" de l'IA) étaient vraiment bonnes.
3. Un nouveau professeur : Utiliser une IA très puissante (un "Grand Modèle de Langage" ou LLM) pour aider à créer ces preuves.

🛠️ La Solution : Une Nouvelle Méthode en 3 Étapes

Les chercheurs de l'Université de Manchester ont construit une nouvelle approche, qu'on peut comparer à un cours de cuisine :

1. La Recette de Référence (Le Nouveau Dataset)

Ils ont créé un nouveau livre de recettes (un jeu de données) basé sur les dossiers médicaux les plus récents (MIMIC-IV).

• L'analogie : Imaginez qu'ils ont demandé à 2 chefs cuisiniers experts (des médecins) de lire 150 dossiers et de surligner exactement les phrases qui prouvent un diagnostic.
• Le résultat : Contrairement aux anciennes méthodes qui ne trouvaient qu'une seule phrase par maladie, ici, ils ont trouvé beaucoup de preuves (médicaments, symptômes indirects, etc.). C'est comme passer d'une carte de restaurant avec une seule option à un menu complet et détaillé.

2. Le Test de Vérité (Évaluation de la "Fidélité" et de la "Plausibilité")

Ils ont testé trois types de "preuves" pour voir laquelle était la meilleure :

• L'IA classique (Attention) : Comme un élève qui surligne les mots qu'il pense importants, mais qui se trompe souvent. Résultat : Très peu convaincant.
• Le lien automatique (Entités) : Comme un robot qui cherche juste les noms de maladies. Résultat : Moyen, mais il rate le contexte.
• Le Grand Modèle (LLM) : C'est comme un chef cuisinier virtuel ultra-intelligent (Gemini 2-Flash). On lui donne le dossier et on lui demande : "Quelles phrases prouvent que ce patient a du diabète ?".
  • Résultat : Le chef virtuel est bluffant ! Ses explications ressemblent beaucoup à celles des vrais médecins humains.

3. L'Enseignement par l'Exemple (Apprentissage guidé par l'IA)

C'est la partie la plus astucieuse.

• Le problème : On ne peut pas demander à des humains de surligner des milliers de dossiers (c'est trop cher et long).
• La solution : On utilise le "Chef Virtuel" (le LLM) pour générer les preuves, et on l'entraîne avec quelques exemples faits par de vrais humains (c'est ce qu'on appelle le "few-shot prompting").
• L'analogie : C'est comme si vous appreniez à un nouvel apprenti (une petite IA) en lui montrant 5 exemples parfaits faits par un chef, puis en lui disant : "Maintenant, fais-le pour tout le reste".
• Le résultat : L'apprenti devient excellent. Il arrive même à trouver des preuves aussi bonnes que le Chef Virtuel lui-même, mais beaucoup plus vite et moins cher.

💡 Les Résultats Clés en Bref

1. Les anciennes IA sont aveugles : Les modèles classiques qui disent "j'ai choisi ce code parce que j'ai regardé ces mots" ne sont pas très convaincants pour les humains.
2. L'IA générative est la clé : Les grands modèles de langage (comme Gemini) sont capables d'expliquer le diagnostic de manière très humaine et logique.
3. L'entraînement hybride gagne : En utilisant les explications de l'IA pour entraîner d'autres modèles, on obtient des systèmes qui sont à la fois précis dans le codage et capables de donner de bonnes explications.

🚀 Conclusion : Pourquoi c'est important ?

Cette recherche est comme un pont de confiance.
Avant, on utilisait l'IA pour coder les dossiers, mais on ne savait pas si elle avait raison. Maintenant, grâce à cette méthode, l'IA peut non seulement donner le code, mais aussi montrer ses preuves d'une manière que les médecins humains comprennent et approuvent.

C'est un pas de géant pour rendre l'IA fiable dans les hôpitaux, permettant aux médecins de se concentrer sur les patients plutôt que sur la paperasse, tout en sachant que le "robot" ne fait pas d'erreurs inexpliquées.

Résumé technique

1. Problématique et Contexte

Le codage médical (ICD) consiste à mapper des textes non structurés des dossiers médicaux électroniques (DME) vers des codes standardisés. Bien que les modèles d'apprentissage profond aient considérablement amélioré l'efficacité et la précision de ce codage, leur manque d'explicabilité reste un obstacle majeur à leur adoption clinique.

Les recherches actuelles sur l'explicabilité souffrent de trois lacunes principales :

1. Absence de données de référence modernes : Les ressources existantes (comme MDACE) sont basées sur l'ancien système ICD-9 et le jeu de données MIMIC-III, présentant des décalages de distribution (label shift) et des annotations de rationales (preuves) trop rares.
2. Évaluation limitée des types de rationales : La plupart des études se concentrent uniquement sur les rationales dérivées des scores d'attention des modèles, sans comparaison systématique avec d'autres sources (entités liées, LLM).
3. Manque de méthodes d'apprentissage de rationales : L'absence de grands ensembles de données supervisées pour les rationales empêche l'entraînement de modèles capables de générer des explications plausibles.

L'objectif de cet article est de combler ces lacunes en évaluant rigoureusement la fidélité (comment les rationales reflètent la décision du modèle) et la plausibilité (à quel point les rationales sont convaincantes pour un humain) de différents types d'explications, et en proposant de nouvelles méthodes d'apprentissage guidées par les LLM.

2. Méthodologie

A. Construction d'un Nouveau Dataset (RD-IV-10)

Les auteurs ont créé RD-IV-10, un nouveau jeu de données de rationales annotées par des professionnels de santé, basé sur MIMIC-IV et le système de codage ICD-10.

• Granularité : Contrairement aux datasets précédents, RD-IV-10 offre des annotations riches (mots, phrases, parties de phrases) pour chaque code.
• Alignement : Les annotations sont alignées sur les codes ICD-10 originaux de MIMIC-IV, évitant le décalage de distribution observé dans MDACE.
• Statistiques : Le dataset contient 150 documents avec une densité d'annotations bien supérieure (35,94 rationales par document contre 14,10 dans MDACE).

B. Évaluation de l'Explicabilité

L'évaluation porte sur deux dimensions :

1. Fidélité (Faithfulness) : Mesurée par la suffisance (performance du modèle avec uniquement la rationale) et la compréhensibilité (chute de performance si la rationale est retirée). Trois modèles de codage basés sur l'attention ont été testés : CAML, LAAT et PLM-ICD.
2. Plausibilité : Comparaison des rationales générées par trois sources avec les annotations humaines (Gold Standard) :
   • Rationales naïves : Liens d'entités (SNOMED CT).
   • Rationales générées par LLM : Utilisant Gemini 2-Flash, Gemini 1.5-Pro et LLaMA-3.3.
   • Rationales générées par le modèle : Issues des poids d'attention des modèles de codage.

C. Apprentissage Guidé par les LLM (LLM-Guided Learning)

Profitant de la forte plausibilité des LLM, les auteurs proposent deux approches pour apprendre à générer des rationales :

1. Apprentissage Multi-objectif : Ajout d'une fonction de perte (Binary Cross-Entropy) pour aligner les poids d'attention du modèle de codage avec les masques de rationales générés par le LLM (Gemini 2-Flash).
2. Formulation NER (Reconnaissance d'Entités Nommées) : Transformation du problème en une tâche unique de NER où les tokens de la rationale sont traités comme des entités liées à un code spécifique.
3. Prompting Few-Shot : Utilisation d'exemples annotés par l'homme (extraits de RD-IV-10) pour améliorer la qualité des rationales générées par le LLM avant d'utiliser ces dernières comme supervision.

3. Résultats Clés

Évaluation de la Fidélité

• Les modèles basés sur l'attention (CAML, LAAT, PLM-ICD) montrent une fidélité faible.
• La rétention des tokens à forte attention ne suffit pas à maintenir la performance du modèle (faible sufficiency).
• L'ajout de tokens au-delà des rationales d'attention ne restaure pas la performance, suggérant que les modèles utilisent des informations non capturées par les mécanismes d'attention classiques.

Évaluation de la Plausibilité

• Les rationales générées par les modèles de codage sont inacceptables : Elles obtiennent des scores F1 proches de zéro (ex: 0,1% à 0,7%) par rapport aux annotations humaines, indiquant un décalage total avec l'explication humaine.
• Les LLM surpassent tout : Gemini 2-Flash obtient les meilleurs scores de plausibilité (F1 ~21-37% selon les métriques), bien que cela reste inférieur à l'idéal. Les modèles locaux (LLaMA-3.3) offrent des performances compétitives avec moins de ressources.
• Impact du Few-Shot Prompting : L'ajout d'exemples humains dans le prompt du LLM améliore considérablement la plausibilité des rationales générées (gains moyens de ~40-50% sur les métriques F1).

Apprentissage de Rationales

• Approche Multi-objectif : Améliore légèrement la plausibilité (~1% de gain) sans dégrader la performance de codage.
• Approche NER :
  • Présente un compromis (trade-off) : une baisse de performance de codage (~12% de F1-macro) mais une plausibilité exceptionnelle.
  • Le modèle NER atteint la plausibilité la plus élevée (surpassant même son modèle "enseignant" Gemini 2-Flash sur les métriques de correspondance de spans), car il apprend à identifier des motifs d'entités de manière cohérente sur l'ensemble du corpus.
  • L'utilisation de données générées avec du few-shot prompting améliore encore la performance du modèle NER.

4. Contributions Principales

1. Dataset RD-IV-10 : Création d'une ressource de référence moderne, basée sur MIMIC-IV/ICD-10, avec des annotations de rationales riches et granulaires, comblant le vide laissé par les datasets obsolètes.
2. Évaluation Comparative Systématique : Première comparaison large de la plausibilité entre les rationales basées sur l'attention, les liens d'entités et les LLM, démontrant l'échec des méthodes d'attention classiques pour l'explicabilité humaine.
3. Méthodes d'Apprentissage : Proposition de deux approches (Multi-objectif et NER) utilisant des rationales faibles générées par LLM. L'approche NER démontre un potentiel supérieur pour générer des explications plausibles.
4. Validation du Few-Shot : Démonstration que l'intégration de quelques exemples humains dans les prompts des LLM améliore significativement à la fois la génération de rationales et l'apprentissage des modèles de codage.

5. Signification et Impact

Ce travail est crucial pour le domaine de l'IA en santé car il remet en cause l'hypothèse courante selon laquelle les mécanismes d'attention des modèles de codage fournissent des explications fiables. Il démontre que :

• Les modèles de codage actuels ne sont pas intrinsèquement explicables via l'attention.
• Les LLMs peuvent servir de superviseurs efficaces pour générer des rationales plausibles, même avec des données limitées.
• La formulation du problème sous forme de NER est une voie prometteuse pour unifier la tâche de codage et celle de l'explication, offrant un niveau de plausibilité supérieur aux méthodes traditionnelles.

Enfin, la disponibilité du dataset RD-IV-10 et du code source offre à la communauté une base solide pour développer et évaluer de futurs systèmes de codage clinique transparents et dignes de confiance.