🤖 machine learning

Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy

Ce document propose d'utiliser l'entropie spectrale pour quantifier le bruit de signal introduit par les techniques d'IA explicable (XAI), démontrant son efficacité pour distinguer les signaux du modèle des artefacts de l'XAI lors de la classification des arythmies dans les données d'ECG.

Auteurs originaux : David A. Kelly, Nathan Blake

Publié 2026-06-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : David A. Kelly, Nathan Blake

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot médecin très intelligent, mais silencieux, capable d'examiner une bande de rythme cardiaque (un ECG) et de vous dire si le cœur bat normalement ou s'il y a un problème. Ce robot est excellent pour repérer les ennuis, mais il ne peut pas expliquer pourquoi il pense cela. Il vous donne simplement un « Oui » ou un « Non ».

Pour corriger cela, nous utilisons des outils spéciaux appelés IA explicable (XAI). Considérez ces outils comme des traducteurs. Ils regardent la décision du robot et dessinent un surlignage sur les parties du rythme cardiaque que le robot était en train d'observer. Idéalement, le surligneur ne devrait briller que sur l'endroit exact où le cœur se comporte mal.

Le Problème : La « Staticité » de la Radio
Les auteurs de cet article ont remarqué un problème. Parfois, ces outils de « traduction » ne sont pas parfaits. Ils ne se contentent pas de surligner l'endroit important ; ils parsèment aussi un tas de points et de lignes aléatoires et dénués de sens partout sur le graphique.

Les auteurs appellent cela la « auto-perturbation » (self-noise). C'est comme essayer d'écouter une station de radio claire, mais le traducteur joue aussi beaucoup de parasites en arrière-plan. Vous ne pouvez pas distinguer ce qui est le signal réel (le raisonnement réel du robot) et ce qui n'est que le désordre propre au traducteur. Si le traducteur surligne trop de parties non pertinentes, un médecin humain pourrait être confus ou perdre du temps à vérifier des choses qui n'ont pas d'importance.

La Solution : Mesurer le « Chaos »
Les auteurs proposent une nouvelle façon de mesurer la quantité de « staticité » ou de « bruit » qu'un outil de traduction ajoute. Ils utilisent un concept mathématique appelé Entropie Spectrale.

Voici une analogie simple :

Faible Entropie (Bien) : Imaginez une chorale où tout le monde chante la même note parfaitement ensemble. C'est un son clair et focalisé. Dans les termes de l'article, c'est une bonne explication où le surligneur est étroitement concentré sur la partie importante du rythme cardiaque.
Haute Entropie (Mal) : Imaginez une pièce remplie de gens criant tous des mots différents en même temps. C'est chaotique et difficile à comprendre. C'est une mauvaise explication où le surligneur est dispersé partout, donnant l'impression de bruit blanc.

Les auteurs ont utilisé ce « compteur de chaos » pour tester plusieurs outils de traduction sur des données cardiaques.

Ce Qu'Ils Ont Trouvé
Ils ont testé les outils sur des rythmes cardiaques présentant un problème spécifique appelé PVC (une contraction prématurée ou un battement supplémentaire). Ils savaient exactement où se trouvait le problème (la « vérité terrain » ou ground truth).

Les Outils « Propres » : Certains outils, comme GRAD-CAM, étaient très calmes. Ils n'ajoutaient pas beaucoup de staticité. Cependant, ils surlignaient parfois la mauvaise zone entièrement. Ils étaient calmes, mais ils pointaient vers la mauvaise chose.
Les Outils « Bruyants » : D'autres outils, comme KERNELSHAP, étaient incroyablement bruyants. Leur résultat ressemblait presque à de la pure staticité. Les auteurs ont conclu que cet outil est probablement un mauvais choix pour les données cardiaques car il est trop désordonné pour être utile.
Les Outils « Précis mais Bruyants » : Certains outils, comme GRADIENTSHAP, étaient un peu bruyants (ils avaient un peu de staticité supplémentaire), mais ils ont correctement mis en évidence le problème principal.

La Grande Conclusion
Le point principal de l'article est qu'être calme (faible bruit) ne signifie pas toujours être juste, mais être trop bruyant rend certainement les choses plus difficiles à comprendre.

Les auteurs suggèrent qu'avant de faire confiance à un outil de traduction pour aider les médecins, nous devrions lui faire passer ce test de « compteur de chaos ». C'est un moyen rapide et peu coûteux de vérifier si l'outil ajoute trop de « déchets » à l'explication. Si un outil ajoute trop de bruit, il pourrait confondre le médecin plus qu'il ne l'aide, même si l'outil pense faire du bon travail.

En Résumé :

L'IA peut repérer les problèmes cardiaques mais ne peut pas les expliquer.
Les outils d'IA explicable tentent d'expliquer ces problèmes mais ajoutent souvent de la « staticité » (du bruit) qui brouille l'image.
L'Entropie Spectrale est un nouvel outil pour mesurer la quantité de « staticité » qu'un traducteur ajoute.
L'Objectif : Nous voulons des traducteurs qui sont concentrés (faible bruit) afin que les médecins puissent rapidement voir ce que l'IA regarde sans être distraits par des surlignages aléatoires.

Résumé technique : Quantification du bruit de signal introduit par l'IA explicable sur les données ECG via l'entropie spectrale

Énoncé du problème
Dans les applications de santé, particulièrement pour la surveillance ECG par dispositifs portables, les modèles d'apprentissage profond nécessitent des outils d'IA explicable (XAI) pour justifier les décisions et faciliter la vérification par des experts. Cependant, les techniques d'XAI existantes (par exemple, SHAP, LIME, GRAD-CAM) reposent sur des heuristiques telles que l'échantillonnage et la segmentation, qui introduisent inévitablement un « auto-bruit » dans l'explication. Ce bruit se manifeste par la mise en évidence de caractéristiques de signal qui ne sont pas réellement utilisées par le modèle. Il existe une lacune significative dans la littérature : près de la moitié des applications d'XAI publiées n'évaluent pas les explications elles-mêmes, et les directives actuelles (par exemple, FUTURE-AI) recommandent une évaluation quantitative de la sensibilité de l'XAI au bruit. Les auteurs identifient un manque de méthodes systématiques pour distinguer le véritable « signal du modèle » de l'« auto-bruit introduit par l'XAI », notant que si des mesures de précision existent, elles ne quantifient pas la précision ou l'« encombrement » d'une explication.

Méthodologie
Le papier propose l'Entropie Spectrale comme une métrique de substitution (proxy) pour quantifier la quantité d'auto-bruit ajoutée par les outils d'XAI. Les auteurs traitent la sortie de l'XAI (la carte d'attribution) comme un signal.

Base théorique : S'appuyant sur l'entropie de Shannon, les auteurs postulent qu'une « mauvaise » explication ressemble à un bruit blanc (allocation aléatoire uniforme de l'importance), ce qui correspond à une entropie maximale. Inversement, une explication précise avec un signal concentré devrait présenter une entropie plus faible.
Calcul : La méthode consiste à calculer la densité spectrale de puissance (PSD) de l'explication à l'aide d'un périodogramme (via scipy), à normaliser la PSD et à appliquer la formule standard de l'entropie de Shannon ( $PSE = -\sum p_i \log p_i$ ). Les auteurs notent que bien que les sorties d'XAI ne soient pas des séries temporelles, le calcul de l'entropie spectrale reste robuste quel que soit le taux d'échantillonnage supposé.
Configuration expérimentale :
- Données : 1 000 enregistrements ECG provenant de l'ensemble de données MIT-BIH, classés en 17 types d'arythmie.
- Modèle : Un CNN 1D à 17 couches (entraîné par les auteurs sur la base de Sun et al. [15]) atteignant une précision de 93,5 %.
- Outils XAI évalués : GRAD-CAM, LIME (variante pour séries temporelles), DEEP-LIFT, REX, et deux variantes de SHAP (GRADIENTSHAP, KERNELSHAP).
- Vérité terrain (Ground Truth) : Pour la classe de contraction ventriculaire prématurée (PVC), 20 ECG ont été annotés manuellement par des experts du domaine pour établir une région d'explication de « vérité terrain ».
- Prétraitement : Les valeurs négatives (indiquant des caractéristiques détournant l'attention de la classification) ont été ignorées lors du calcul de l'entropie afin de se concentrer uniquement sur les contributions positives.

Résultats clés
L'étude a évalué l'entropie spectrale moyenne sur l'ensemble des 17 classes et sur des cas d'étude spécifiques (PVC) :

Niveaux de bruit : Les outils se sont répartis en deux grandes catégories : bruit élevé et bruit faible.
- Bruit élevé : KERNELSHAP, LIME, GRADIENTSHAP et DEEP-LIFT ont présenté une entropie spectrale élevée (par exemple, KERNELSHAP : 10,21, LIME : 10,20), indiquant un signal proche du bruit blanc ou des pics parasites significatifs.
- Bruit faible : GRAD-CAM (1,07) et REX (1,93) ont montré une entropie nettement plus faible, suggérant moins d'auto-bruit.
Précision vs Entropie : Les auteurs ont observé qu'une faible entropie ne garantit pas la précision. Par exemple, LIME présentait une faible entropie mais ne parvenait pas à mettre en évidence la bonne région de la PVC. À l'inverse, GRADIENTSHAP présentait une entropie élevée mais identifiait correctement les pics pertinents, bien qu'avec un bruit parasite.
Cohérence : Pour la plupart des outils, l'entropie est restée relativement constante à travers les différentes classes d'arythmie, suggérant que la métrique capture le bruit heuristique de base inhérent à l'outil plutôt que des variations spécifiques à la classe. REX était une exception, montrant une variance élevée, potentiellement due à sa capacité à générer plusieurs explications.
Constatations spécifiques : KERNELSHAP a été jugé inapproprié pour ce type de données en raison de son profil de bruit. GRAD-CAM présentait un bruit minimal mais souffrait d'artefacts de suréchantillonnage qui désalignaient le signal avec la vérité terrain.

Signification et affirmations
Le papier affirme que l'entropie spectrale sert de mesure de substitution (proxy) peu coûteuse et en temps réel pour quantifier la « précision » d'une explication, spécifiquement le degré d'informations parasites ajoutées par l'outil d'XAI lui-même.

Distinction de la précision (Accuracy) : Les auteurs précisent explicitement que l'entropie spectrale mesure la concentration du signal (précision) plutôt que la justesse de l'emplacement (exactitude). Une explication à faible entropie peut toujours être au mauvais endroit, mais une explication à haute entropie est probablement trop diffuse pour être utile.
Évolutivité (Scalability) : La principale contribution est une méthode permettant de passer à l'échelle l'évaluation des outils d'XAI au-delà des limites de ressources imposées par l'annotation manuelle par des experts. Elle complète les métriques existantes (comme les courbes de suppression/insertion ou la fidélité) en se concentrant sur les caractéristiques de bruit interne du processus de génération d'explication.
Limites : Les auteurs restent modestes, reconnaissant que l'entropie ne peut déterminer si les critères d'un modèle s'alignent sur ceux des experts humains et qu'elle n'est pas une mesure autonome de « véracité ». Elle est proposée comme un outil pour augmenter, et non remplacer, l'évaluation par les experts du domaine.

Articles similaires