💬 NLP

MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

Ce papier présente MADE, un benchmark évolutif pour la classification multi-étiquette de rapports d'incidents sur les dispositifs médicaux, conçu pour évaluer les performances prédictives et la quantification de l'incertitude des modèles d'IA tout en évitant la contamination des données grâce à des mises à jour continues et des splits temporels stricts.

Auteurs originaux : Raunak Agarwal, Markus Wenzel, Simon Baur, Jonas Zimmer, George Harvey, Jackie Ma

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raunak Agarwal, Markus Wenzel, Simon Baur, Jonas Zimmer, George Harvey, Jackie Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏥 Le Dilemme du Médecin Robotique

Imaginez que vous avez un robot super intelligent nommé Docteur IA. Son travail est de lire des milliers de rapports d'accidents médicaux (par exemple : "La pompe à insuline a fait un bruit bizarre et le patient a fait une crise de diabète") et de les classer dans de nombreuses catégories différentes.

Le problème ? Ce n'est pas comme trier des chaussettes par couleur. C'est comme trier des valises dans un aéroport où chaque valise peut contenir plusieurs objets (un ordinateur, un livre, un médicament) et où les catégories sont imbriquées (un "ordinateur" est aussi un "appareil électronique", qui est aussi un "problème matériel").

De plus, dans le monde réel, la plupart des accidents sont banaux (comme un bouton qui claque), mais les vrais dangers (comme une panne critique) sont rares et cachés au fond de la pile. C'est ce qu'on appelle une distribution "à longue traîne".

🚨 Le Problème : "Le Robot a-t-il triché ?"

Jusqu'à présent, pour tester ces robots, les chercheurs utilisaient de vieux examens (des benchmarks) qui circulaient sur internet depuis des années.

Le souci : Les grands modèles d'IA modernes ont lu ces vieux examens pendant leur apprentissage. Ils ne les ont pas "compris", ils les ont mémorisés. C'est comme un élève qui apprendrait par cœur les réponses d'un examen de l'année dernière sans comprendre la leçon.
Le résultat : On croyait que les robots étaient des génies, mais ils faisaient juste du "par cœur". Et pire encore, quand ils se trompaient, ils ne le savaient pas ! Ils répondaient avec une confiance absolue, même s'ils étaient faux. C'est dangereux en médecine.

🌱 La Solution : MADE, le "Jardin Vivant"

Les auteurs de cet article ont créé MADE (Medical Device Adverse Events).
Imaginez que MADE n'est pas un vieux livre d'exercices, mais un jardin vivant.

Pourquoi vivant ? Les rapports d'accidents médicaux arrivent chaque jour. Le jardin grandit et change constamment.
L'avantage : Comme les nouveaux rapports n'existaient pas quand les robots ont appris, ils ne peuvent pas les avoir mémorisés. C'est un test de vérité en temps réel.
La structure : Chaque rapport est étiqueté avec une hiérarchie complexe (comme un arbre généalogique des problèmes), ce qui rend le test très difficile.

🧪 L'Expérience : Qui est le meilleur ?

Les chercheurs ont mis en lice plus de 20 robots différents (des petits, des grands, des "raisonneurs") avec trois méthodes d'apprentissage :

L'entraînement spécial (Fine-tuning) : On donne au robot des milliers d'exemples pour qu'il apprenne la tâche spécifique.
Le "Copier-Coller" (Prompting) : On donne au robot quelques exemples dans la conversation et on lui demande de deviner.
Les "Super-Raisonneurs" : Des modèles qui prennent le temps de "réfléchir" avant de répondre.

Ils ont aussi testé la confiance : Est-ce que le robot sait quand il ne sait pas ?

🏆 Les Résultats Surprenants

Voici ce qu'ils ont découvert, avec des analogies simples :

1. Le Spécialiste vs Le Polyvalent

Les modèles "Discriminatifs" (Les Spécialistes) : Ce sont des robots entraînés spécifiquement pour cette tâche. Ils sont comme un médecin généraliste qui a vu des milliers de cas similaires. Ils sont très bons pour tout, des cas courants aux cas rares, et ils restent calmes.
Les modèles "Générateurs" (Les Polyvalents) : Ce sont les grands modèles de type "Chatbot". Ils sont très forts pour comprendre le langage, mais pour ce tri précis, ils sont un peu moins précis que le spécialiste, sauf s'ils sont entraînés spécifiquement.

2. Le Piège des "Super-Raisonneurs"

Les modèles qui "réfléchissent" (comme DeepSeek-R1 ou GPT-5) sont étonnamment bons pour trouver les cas très rares (les accidents graves cachés). C'est comme un détective qui trouve le fil conducteur là où les autres ne voient rien.
MAIS, ils ont un gros défaut : ils sont très confiants alors qu'ils sont souvent incertains. C'est comme un détective qui crie "C'est lui !" avec une voix de stentor, alors qu'il n'a aucune preuve. En médecine, c'est dangereux : on ne veut pas d'un expert qui se trompe en hurlant.

3. La Confiance est un Mensonge

Les chercheurs ont demandé aux robots : "Es-tu sûr de toi ?".
Résultat : Les robots qui disent "Je suis sûr à 99%" se trompent souvent. La "confiance verbale" (ce qu'ils disent) n'est pas un bon indicateur de la réalité.
La vraie solution : Il faut regarder comment le robot "hésite" mathématiquement (en analysant ses probabilités internes), pas ce qu'il dit.

💡 La Conclusion pour le Grand Public

Si vous voulez construire un système d'IA pour trier des rapports médicaux dangereux :

N'utilisez pas les vieux examens : Vous ne saurez jamais si l'IA a triché. Utilisez un "jardin vivant" comme MADE.
Préférez le spécialiste entraîné : Un modèle entraîné spécifiquement sur la tâche est souvent plus fiable et plus stable qu'un géant polyvalent.
Méfiez-vous de la confiance : Ne faites pas confiance à un robot qui dit "Je suis sûr". Vérifiez ses calculs internes.
L'humain reste le chef : L'IA doit servir à dire : "Hé, ce cas est bizarre, je ne suis pas sûr, regarde-le toi-même !". C'est ça, la vraie intelligence artificielle en santé : savoir quand s'arrêter.

En résumé, MADE est une nouvelle règle du jeu pour s'assurer que nos robots médicaux ne sont pas de simples perroquets qui répètent ce qu'ils ont lu, mais de véritables assistants capables de dire : "Je ne sais pas, aidez-moi".

1. Problématique et Contexte

L'application de l'apprentissage automatique (ML) dans des domaines à haut risque comme la santé exige non seulement une forte performance prédictive, mais aussi une quantification de l'incertitude (UQ) fiable pour permettre une supervision humaine. La classification de texte multi-étiquettes (MLTC) est une tâche centrale pour le codage clinique et la gestion des incidents, mais elle présente des défis majeurs :

Complexité combinatoire : Sélectionner plusieurs étiquettes parmi un espace de labels vaste.
Déséquilibre des classes : Distribution à longue traîne où quelques conditions courantes dominent, tandis que les conditions critiques (sécurité) se situent dans la "queue" (rare).
Dépendances hiérarchiques : Les étiquettes sont souvent interdépendantes et structurées hiérarchiquement.
Saturation des benchmarks : Les benchmarks existants sont souvent contaminés par les données d'entraînement des grands modèles de langage (LLM), rendant difficile la distinction entre le raisonnement réel et la mémorisation.

L'article pose la question de savoir quelle architecture (encodeur vs décodeur), quel paradigme d'apprentissage (fine-tuning vs few-shot) et quelles méthodes d'UQ sont les plus adaptées à cette complexité.

2. Méthodologie et Contribution Principale : Le Benchmark MADE

Les auteurs introduisent MADE (Medical Device Adverse Events), un benchmark "vivant" et non contaminé.

A. Construction du Dataset (MADE)

Source : Rapports d'événements indésirables liés aux dispositifs médicaux publiés par la FDA (Food and Drug Administration) aux États-Unis.
Données : 488 273 échantillons au total, collectés de 2015 à mi-2025.
Étiquettes : 1 154 labels hiérarchiques interdépendants (3 niveaux) basés sur la terminologie de l'IMDRF (International Medical Device Regulatory Forum). La distribution suit une loi de puissance (longue traîne).
Stratégie temporelle : Le jeu de données est divisé strictement par temps (Entraînement : 2015-2023 ; Validation : début 2024 ; Test : mi-2024 à mi-2025). Cela garantit que les données de test sont postérieures à la date de coupure des connaissances de la plupart des modèles, évitant la contamination.
Caractère "Vivant" : Le benchmark est mis à jour continuellement avec les nouveaux rapports trimestriels de la FDA, permettant une évaluation sur des données jamais vues par les futurs modèles.

B. Protocole Expérimental

Les auteurs ont évalué plus de 20 modèles (encodeurs et décodeurs) à travers trois paradigmes d'apprentissage :

Fine-tuning Discriminatif : Modèles encodeurs (Ettin) et décodeurs (Llama) avec une tête de classification.
Fine-tuning Génératif : Modèles décodeurs entraînés à générer les labels comme des tokens.
Apprentissage par Few-Shot (Prompting) : Utilisation de modèles locaux et API (Llama, Qwen, DeepSeek, GPT-4/5, Kimi) avec 10 exemples en contexte (kNN).

C. Méthodes de Quantification de l'Incertitude (UQ)

L'étude compare systématiquement plusieurs approches d'UQ :

Basées sur l'information (Token-level) : Entropie, perplexité, log-probabilités moyennes/maximales.
Basées sur la cohérence : Variabilité des sorties sur plusieurs passes stochastiques (mesurée par la somme des valeurs propres du Laplacien du graphe).
Auto-verbalisées : Le modèle exprime sa propre confiance (score de 0 à 1).
Métriques d'évaluation : Taux de rejet des prédictions (PRR), corrélation de Spearman ( $\rho$ ) entre incertitude et justesse, et erreur d'étalonnage pour les classes positives (ECE+).

3. Résultats Clés

A. Performance Prédictive (F1 Macro)

Fine-tuning Discriminatif : Le modèle Llama-3.1-8B-Base (fine-tuning discriminatif) obtient les meilleures performances globales (F1 Macro = 0,54) et équilibre bien les classes "tête" (fréquentes) et "queue" (rares). Il surpasse le fine-tuning génératif de modèles de taille similaire.
Modèles de Raisonnement (Thinking Models) : Les modèles comme GPT-5 et Qwen3-235B-Thinking excellent sur les classes extrêmes (rare), obtenant un F1 de 0,34 sur la queue extrême, mais ils restent inférieurs sur les classes fréquentes par rapport aux modèles fine-tunés.
Prompting : Les modèles instructés (non-raisonnement) performants (Qwen3-235B) atteignent un F1 global de 0,44, mais souffrent d'une grande variabilité.

B. Quantification de l'Incertitude (UQ)

Meilleure UQ : Le fine-tuning génératif (Llama-3.1-8B-Base) offre la meilleure quantification d'incertitude (PRR le plus élevé à 0,63, meilleure corrélation $\rho$ ). Cela signifie qu'il peut identifier et rejeter efficacement ses erreurs.
Faiblesse des modèles de raisonnement : Paradoxalement, bien que les modèles de raisonnement (Thinking) améliorent la prédiction sur les classes rares, leur quantification d'incertitude est très faible (PRR ~0,23, proche du hasard). Leurs scores de confiance ne sont pas fiables pour le triage humain.
Échec de l'auto-verbalisation : La méthode où le modèle "dit" son niveau de confiance (Self-verbalized UQ) s'est révélée peu fiable et ne doit pas être utilisée comme proxy de l'incertitude réelle.
Sous-confiance systématique : Tous les modèles sont marqués par une sous-confiance (ECE+ élevé), ce qui pourrait entraîner un sur-traitement par les humains.

C. Comparaison des Méthodes d'UQ

L'entropie (basée sur les probabilités des tokens) s'avère être la métrique la plus robuste et théoriquement fondée.
La combinaison de l'information et de la cohérence apporte un gain marginal mais augmente considérablement le coût computationnel.

4. Signification et Implications

Fiabilité pour la Santé : Pour les applications critiques, les modèles fine-tunés (discriminatifs ou génératifs) sont préférables aux modèles prompting. Ils offrent un meilleur équilibre entre performance et fiabilité de l'incertitude.
Le paradoxe du "Raisonnement" : Bien que les modèles de raisonnement améliorent la précision sur les cas rares, leur incapacité à quantifier correctement l'incertitude les rend dangereux pour des systèmes automatisés nécessitant un triage humain, sauf si leur calibration est améliorée.
Impact du Benchmark : MADE comble le vide laissé par les benchmarks saturés. Sa nature "vivante" et temporelle permet de tester la généralisation réelle des modèles sans risque de fuite de données (data leakage).
Recommandations Pratiques :
- Privilégier le fine-tuning génératif si l'objectif est une UQ robuste.
- Privilégier le fine-tuning discriminatif pour une performance prédictive maximale et stable.
- Éviter l'auto-verbalisation de la confiance.
- Utiliser l'entropie comme métrique d'UQ principale.

En conclusion, ce travail démontre que malgré les avancées des LLM, la MLTC médicale reste un défi non résolu (F1 max de 54%), et que la fiabilité opérationnelle dépend davantage de la stratégie d'entraînement (fine-tuning) que de la taille brute du modèle ou de ses capacités de raisonnement.