🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

Cet article introduit l'Activation-Deactivation (AD), un nouveau cadre d'explicabilité post-hoc qui remplace les perturbations d'entrée par la désactivation interne du modèle afin de générer des explications plus robustes et transférables sans nécessiter d'entraînement supplémentaire.

Auteurs originaux : Akchunya Chanchal, David A. Kelly, Hana Chockler

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akchunya Chanchal, David A. Kelly, Hana Chockler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent, mais mystérieux, qui regarde des images et vous dit ce qu'il voit (comme « C'est un bouquetin ! » ou « C'est un platypus ! »). Le problème est que le robot est une « boîte noire » : vous ne pouvez pas voir comment il réfléchit. Vous voulez savoir : Quelles parties de l'image ont poussé le robot à dire « bouquetin » ?

C'est le problème de l'IA explicable (XAI). Le papier présente une nouvelle façon de répondre à cette question appelée Activation-Deactivation (AD), et un outil spécifique pour cela nommé convad.

Voici comment cela fonctionne, en utilisant des analogies simples :

L'ancienne méthode : Le problème du « mauvais voisin »

Actuellement, la plupart des méthodes tentent d'expliquer la décision du robot en mutant l'image.

L'analogie : Imaginez que vous voulez savoir si la célèbre soupe d'un chef est bonne grâce aux carottes. Pour tester cela, vous prenez une cuillerée de la soupe et vous remplacez les carottes par... du papier toilette, du sable ou de la peinture bleue.
Le problème : Si vous mettez du papier toilette dans la soupe, la soupe n'est plus de la « soupe ». C'est un mélange étrange, hors de la distribution normale (out-of-distribution). Si le chef dit : « Je n'aime pas ça », vous ne savez pas s'il est de dire cela parce que les carottes manquent, ou simplement parce que vous avez ruiné la soupe avec du papier toilette.
Dans le papier : C'est ce qu'on appelle utiliser des mutants « hors distribution ». Les anciennes méthodes masquent des parties de l'image avec des valeurs aléatoires (comme zéro, gris ou du bruit). Selon ce avec quoi vous masquez, vous obtenez des réponses différentes, souvent déroutantes. Parfois, le robot pense qu'une photo de bonhomme de neige est un mouton simplement parce que vous avez masqué la neige avec la mauvaise couleur.

La nouvelle méthode : L'interrupteur silencieux (Activation-Deactivation)

Les auteurs disent : « Pourquoi changer les ingrédients ? Dites simplement au robot d'en ignorer certains. »

L'analogie : Au lieu de remplacer les carottes par du papier toilette, imaginez que vous éteignez simplement les lumières dans la section de la cuisine où se trouvent les carottes. Les carottes sont toujours là, mais les yeux du chef (les capteurs du robot) ne peuvent pas les voir. Le reste de la soupe demeure parfaitement normal.
Comment ça marche : L'outil convad ne modifie pas l'image du tout. Au lieu de cela, il entre dans le cerveau du robot (le réseau neuronal) et actionne des interrupteurs. Si une partie de l'image est censée être « masquée », l'outil empêche l'information de cette partie de l'image de voyager à travers le cerveau du robot. Cela revient à dire : « Fais comme si cette partie de l'image n'existait pas », sans réellement modifier les données de l'image.

Pourquoi est-ce meilleur ?

Pas de jeu de devinettes : Les anciennes méthodes nécessitent que vous deviniez : « Dois-je masquer avec du noir ? Du gris ? Du blanc ? » Le papier montre que la réponse change complètement selon votre supposition. convad n'a pas besoin de supposition. Il se contente de couper le signal.
Stabilité : Comme il n'introduit pas de pixels bizarres (comme le « papier toilette »), la réaction du robot est beaucoup plus fiable. Le papier a testé cela sur de nombreux types de robots (modèles) et d'images (jeux de données).
La zone « Goldilocks » (juste milieu) : Les chercheurs ont découvert que les explications de convad sont « juste ce qu'il faut ». Elles ne sont pas trop grandes (ne gaspillent pas d'espace sur des pixels non pertinents), elles ne sont pas trop bruyantes (confuses) et elles sont très robustes (elles fonctionnent toujours même si vous placez la photo sur un fond uni).

Les résultats

Le papier a testé convad contre les meilleures méthodes actuelles (comme LayerMask, LIME et Grad-CAM).

Robustesse : convad est 30 à 40 % meilleur pour donner des explications auxquelles le robot fait réellement confiance, même lorsque l'arrière-plan change.
Transférabilité : Si vous trouvez les « parties importantes » d'une image en utilisant convad sur un type de robot, ces mêmes parties fonctionnent généralement pour un autre type de robot. Les autres méthodes échouent souvent à cela.
Aucun entraînement requis : Vous pouvez prendre n'importe quel robot déjà entraîné, y brancher convad, et cela fonctionne immédiatement. Vous n'avez pas besoin de réapprendre quoi que ce soit au robot.

Le revers de la médaille (Limites)

Accès interne : Pour utiliser convad, vous devez pouvoir ouvrir le cerveau du robot et toucher les fils (accéder aux couches internes du modèle). Vous ne pouvez pas l'utiliser sur un robot dont vous ne pouvez pas voir l'intérieur (une véritable « boîte noire »).
Fuite : Parfois, si l'interrupteur « off » n'est pas parfait, un tout petit peu d'information peut « fuiter », comme une lumière passant sous une porte. Les auteurs reconnaissent cela, mais affirment qu'il s'agit d'un cas marginal rare.

Résumé

Le papier propose une nouvelle façon de comprendre les décisions de l'IA. Au lieu de gâcher l'image d'entrée avec des valeurs étranges (comme la soupe au « papier toilette »), convad dit simplement à l'IA d'ignorer des parties spécifiques de l'image en coupant le signal à l'intérieur du modèle. Cela conduit à des explications plus claires, plus fiables et plus dignes de confiance sur les raisons pour lesquelles une IA a pris une décision.

Résumé technique : Activation-Désactivation (AD) pour une IA explicable post-hoc robuste

1. Énoncé du problème

Les méthodes actuelles d'IA explicable (XAI) basées sur la perturbation, telles que LIME, SHAP et REX, reposent sur la création de « mutants » à partir des données d'entrée en masquant ou en occultant des caractéristiques spécifiques. Ces méthodes remplacent généralement les pixels masqués par des valeurs prédéfinies (par exemple, zéro, la moyenne, un flou gaussien ou un bruit aléatoire). Les auteurs soutiennent que cette approche génère des entrées hors distribution (o.o.d.), ce qui jette le doute sur la fidélité des explications résultantes.

Le choix de la valeur de masquage impacte significativement la qualité de l'explication. Comme démontré dans l'article, différentes valeurs de masquage (par exemple, zéro vs max) peuvent conduire à des ensembles de pixels minimaux suffisants (MSPS) très différents, dont certains peuvent ne pas correspondre à l'intuition humaine ou aux frontières de décision réelles du modèle. De plus, les méthodes existantes nécessitent souvent des adaptations spécifiques au domaine ou des connaissances d'expert pour sélectionner la « bonne » valeur de masquage, introduisant ainsi de la subjectivité et de l'incohérence.

2. Méthodologie : Activation-Désactivation (AD)

L'article introduit l'Activation-Désactivation (AD), un nouveau paradigme de passage direct (forward-pass) qui élimine totalement le besoin de perturbation d'entrée. Au lieu de modifier l'image d'entrée, l'AD modifie l'état interne du modèle pendant l'inférence.

Mécanisme central :

Concept : L'AD « éteint » les parties du modèle correspondant aux perturbations prévues. Elle restreint la propagation des activations associées aux caractéristiques d'entrée occultées, forçant ainsi le modèle à ignorer ces régions sans altérer la distribution d'entrée.
Implémentation (convad) : Les auteurs implémentent l'AD pour les réseaux de neurones convolutifs (CNN) via un algorithme nommé convad.
- Points de contrôle (Checkpoints) : L'algorithme insère des points de contrôle à des couches spécifiques (par exemple, avant les opérations modifiant la dimensionnalité ou entre les couches de convolution).
- Attribution de position : Il utilise une fonction d'attribution de position, $\Phi_i$ , pour calculer le ratio des caractéristiques masquées par rapport aux caractéristiques non masquées contribuant à une activation spécifique.
- Seuillage : Un hyperparamètre $\tau$ détermine le seuil de désactivation. Si le ratio de caractéristiques masquées dépasse $\tau$ , l'activation correspondante est mise à zéro.
- Propagation du masque : Le masque est mis à jour et propagé à travers le réseau. Pour les opérations préservant la forme, une convolution de noyau de valeur moyenne est utilisée pour mettre à jour le masque. Pour les opérations modifiant la dimensionnalité, le masque est ajusté en fonction de l'opération spécifique (par exemple, remplissage avec des 1 ou des 0).

Garanties théoriques :
L'article prouve que si le masque d'entrée est « vide » (composé uniquement de uns), le modèle instrumenté par convad $N'$ se comporte de manière identique au modèle original $N$ . Cela garantit que le cadre n'altère pas le comportement de base du modèle lorsqu'aucune caractéristique n'est occultée, une garantie que les auteurs notent absente dans des outils similaires comme LayerMask.

3. Contributions clés

Nouveau paradigme : Introduction de l'AD, qui remplace la perturbation d'entrée par la désactivation d'activations internes, maintenant ainsi les caractéristiques d'entrée du modèle strictement dans la distribution (in-distribution).
Implémentation de l'algorithme : Développement de convad, un mécanisme « drop-in » pour les CNN entraînés qui ne nécessite ni entraînement supplémentaire, ni ajustement fin (fine-tuning), ni connaissance spécifique au domaine des valeurs de masquage.
Cadre théorique : Définitions formelles des fonctions de position et des fonctions d'attribution de position au sein du cadre AD, accompagnées de preuves d'équivalence comportementale avec le modèle original dans les conditions non masquées.
Évaluation exhaustive : Une comparaison rigoureuse avec les méthodes de pointe (SOTA) de type boîte noire et boîte blanche (LIME, Grad-CAM, REX) et l'outil LayerMask à travers plusieurs architectures (ResNet-50, RegNetY-12GF, EfficientNet-V2) et jeux de données (ImageNet-1k, ImageNet-v2, PASCAL-VOC).

4. Résultats expérimentaux

Les auteurs ont évalué la qualité de l'explication basée sur la robustesse, la transférabilité, la taille, la redondance et le chevauchement.

Robustesse : convad a systématiquement surpassé toutes les stratégies de masquage. Sur des arrière-plans de couleur unie, les explications de convad ont conservé la classification correcte beaucoup plus souvent. Sur des arrière-plans de même distribution (i.i.d.), convad a montré environ 20 % de robustesse à des seuils de confiance élevés, surpassant les autres méthodes de 30 à 40 % en moyenne.
Transférabilité : Les MSPS générés par convad ont démontré jusqu'à 22 % de transférabilité en plus à travers différentes architectures de modèles par rapport aux autres méthodes, suggérant qu'ils reposent sur des caractéristiques réellement discriminantes plutôt que sur des raccourcis.
Zone Goldilocks (Zone d'équilibre) : L'analyse de la relation entre la robustesse, la taille de l'explication et le bruit a révélé que les explications de convad occupent une « zone Goldilocks » : elles sont hautement robustes, présentent peu de bruit (redondance) et sont compactes en taille. Les autres méthodes avaient tendance à échouer dans au moins une de ces dimensions.
Indépendance vis-à-vis des valeurs de masquage : Contrairement aux méthodes de perturbation où les résultats varient considérablement selon la valeur de masquage choisie (par exemple, Zéro vs Max), convad a produit des résultats cohérents sans nécessiter de choix de valeur d'occultation.

5. Signification et affirmations

L'article affirme que l'AD traite la faille fondamentale des explications XAI basées sur la perturbation : la génération d'entrées hors distribution. En désactivant les activations plutôt qu'en mutant les entrées, convad fournit des explications qui sont :

Plus robustes : Moins sensibles au choix spécifique de la stratégie de perturbation.
Plus transférables : Les caractéristiques identifiées comme importantes sont cohérentes à travers différentes architectures de modèles.
Agnostique au modèle (au sein de l'architecture) : L'algorithme est le même pour tous les modèles de même architecture (CNN), ne nécessitant aucun réentraînement.
Fidèles : Les explications respectent strictement les seuils de confiance et la logique de décision du modèle sans introduire d'artefacts artificiels via les valeurs de masquage.

Les auteurs concluent que bien que l'implémentation actuelle soit limitée aux CNN et nécessite un accès boîte blanche pour modifier les couches internes, le cadre AD offre une alternative principielle au masquage qui améliore considérablement la fiabilité des explications post-hoc. Des travaux futurs sont prévus pour étendre ce cadre aux transformeurs et aux modèles basés sur l'attention.