Bridging the Gap: Explainability Metrics for AI Image-Based Clinical Diagnostics

Résumé Technique : Combler le fossé : Métriques d'explicabilité pour les diagnostics cliniques basés sur l'imagerie par IA

Énoncé du problème
Bien que l'intelligence artificielle (IA), particulièrement les réseaux de neurones convolutifs (CNN), démontre un potentiel pour améliorer la précision diagnostique dans l'imagerie médicale, son intégration dans les flux de travail cliniques est entravée par la nature de « boîte noire » de ces modèles. Les cliniciens manquent souvent de confiance envers des systèmes qui ne peuvent fournir un raisonnement interprétable aligné sur le jugement clinique. Les cadres d'évaluation actuels reposent fortement sur des métriques statistiques (par exemple, l'exactitude, la sensibilité, la spécificité), qui quantifient la justesse prédictive mais ne parviennent pas à évaluer si le raisonnement interne du modèle s'aligne sur la logique de l'expert humain. Cela crée un écart critique : un modèle peut atteindre une exactitude élevée tout en s'appuyant sur des corrélations spécieuses ou des caractéristiques d'image non pertinentes, ce qui le rend cliniquement peu fiable malgré sa performance statistique.

Méthodologie
L'étude propose un cadre d'évaluation par étapes pour évaluer la performance de l'IA dans le diagnostic des infections des plaies chroniques, en intégrant l'explicabilité comme une métrique centrale.

1. Jeu de données et entraînement du modèle : Les auteurs ont utilisé un ensemble de données publiques d'images de plaies chroniques (545 infectées, de 697 non infectées) acquises dans des conditions cliniques réelles. Trois architectures CNN — ResNet-50, EfficientNet V2B0 et DenseNet121 — ont été entraînées par apprentissage par transfert (transfer learning). Pour traiter la variabilité de l'éclairage et des dispositifs d'acquisition, un réseau de normalisation de l'illumination basé sur un GAN (basé sur Pix2Pix) a été appliqué comme étape de prétraitement. Les modèles ont été affinés à l'aide de techniques standards (dropout, arrêt précoce, réduction du taux d'apprentissage) et évalués sur un ensemble de test de 200 images non vues.
2. Techniques d'explicabilité : Deux méthodes d'explicabilité post-hoc ont été appliquées à un sous-ensemble de 10 images de plaies infectées correctement classées :
   • Cartes de saillance (Saliency Maps) : Une méthode basée sur le gradient calculant la dérivée partielle de la sortie par rapport aux pixels d'entrée pour identifier les régions d'influence élevée.
   • LIME (Local Interpretable Model-agnostic Explanations) : Une méthode basée sur la perturbation qui segmente les images en superpixels (en utilisant le regroupement SLIC), masque ces derniers, et entraîne un modèle de substitution linéaire local pour approximer le comportement du CNN.
3. Vérité de terrain clinique : Deux spécialistes des plaies chroniques ont examiné indépendamment les mêmes 10 images et sont parvenus à un consensus sur les régions de pixels spécifiques indicatrices de l'infection. Ces annotations ont servi de référence standard clinique.
4. Métrique proposée (Indice d'Accord d'Explicabilité - EAI) : Pour quantifier l'alignement entre les explications de l'IA et le raisonnement clinique, les auteurs ont introduit l'Indice d'Accord d'Explicabilité (EAI). L'EAI est calculé pour les cas de vrais positifs où l'IA et les cliniciens s'accordent sur le diagnostic. Il est défini comme le rapport entre les pixels identifiés comme influents par la méthode d'explicabilité (LIME ou Saillance) qui se chevauchent avec les régions annotées par le clinicien, divisé par le nombre total de pixels annotés par le clinicien.
   • Concept de formule : $EAI = \frac{|Pixels_{IA} \cap Pixels_{Clinicien}|}{|Pixels_{Clinicien}|}$

Résultats clés

• Performance diagnostique : Les modèles CNN ont atteint une exactitude de classification modérée sur l'ensemble de test, EfficientNet V2B0 étant le plus performant avec 72 % d'exactitude, 64 % de sensibilité et 80 % de spécificité. ResNet-50 a atteint 71 % d'exactitude, et DenseNet121 a atteint 66 %.
• Performance d'explicabilité : Malgré une exactitude de classification raisonnable, l'alignement entre les explications générées par l'IA et le raisonnement clinique était faible.
  • LIME : Les valeurs moyennes d'EAI allaient de 0,2119 (ResNet-50) à 0,2999 (EfficientNet V2B0).
  • Cartes de saillance : Les valeurs moyennes d'EAI allaient de 0,1946 (DenseNet121) à 0,2811 (ResNet-50).
• Discrépance : Les faibles scores d'EAI (allant environ de 0,19 à 0,30) indiquent que, bien que les modèles aient correctement identifié les plaies infectées, les régions visuelles qu'ils ont désignées comme « importantes » pour la décision correspondaient rarement aux régions identifiées par les cliniciens comme étant diagnostiquement pertinentes.

Contributions clés

1. Introduction de l'Indice d'Accord d'Explicabilité (EAI) : L'article propose une nouvelle métrique quantitative conçue pour mesurer la concordance entre les explications visuelles de l'IA et les annotations cliniques. Contrairement aux métriques traditionnelles qui n'évaluent que la justesse de la prédiction, l'EAI évalue le raisonnement derrière la prédiction.
2. Validation empirique du fossé « Exactitude-Explicabilité » : L'étude fournit des preuves concrètes que l'exactitude de classification élevée ne garantit pas l'interprétabilité clinique. La disparité significative entre l'exactitude (jusqu'à 72 %) et l'EAI (environ 0,20–0,30) souligne que les modèles actuels peuvent être « justes pour de mauvaises raisons ».
3. Évaluation des méthodes xAI standards dans un contexte clinique : L'étude démontre que les techniques d'explicabilité largement utilisées (LIME et cartes de saillance) peinent à capturer de manière cohérente les caractéristiques cliniquement pertinentes dans des tâches d'imagerie médicale complexes comme l'évaluation des plaies, suggérant un besoin de raffinement spécifique au domaine.

Signification et affirmations
Les auteurs affirment que le cadre EAI proposé offre une voie pratique pour combler le fossé entre la performance algorithmique et la confiance clinique. L'étude soutient que pour que l'IA soit intégrée en toute sécurité dans les soins de santé, la validation doit s'étendre au-delà des métriques statistiques pour inclure l'alignement du raisonnement du modèle avec l'expertise clinique.

L'article conclut modestement que, bien que l'EAI soit un pas en avant, les méthodes d'explicabilité actuelles sont insuffisantes pour un déploiement clinique sans un raffinement supplémentaire. Il souligne que l'explicabilité est une dimension nécessaire, bien que non suffisante, d'une IA digne de confiance, notant que des facteurs tels que le calibrage du modèle et l'estimation de l'incertitude jouent également des rôles critiques. Les auteurs positionnent l'EAI non pas comme une solution finale, mais comme un outil pour évaluer quantitativement et stimuler l'amélioration de la transparence des systèmes d'IA médicale.