Sufficient, Necessary and Complete Causal Explanations in Image Classification

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ Le Détective de l'Image : Comprendre comment l'IA "voit"

Imaginez que vous avez un détective très intelligent (une intelligence artificielle) qui regarde des photos pour dire ce qu'elles représentent. Parfois, il dit : « C'est un hérisson ! ». Mais comment sait-il ? Regarde-t-il les piquants ? Le museau ? Ou peut-être un petit caillou au premier plan ?

Jusqu'à présent, les outils pour comprendre ce détecte étaient soit trop flous (comme un dessin au doigt), soit trop rigides (comme des mathématiques complexes qui ne fonctionnent que si le détecte est très simple).

Cette nouvelle recherche propose une nouvelle méthode, basée sur la causalité (le lien de cause à effet), pour décomposer une image en trois types de pièces de puzzle essentielles.

🧩 Les Trois Types de Pièces du Puzzle

Les auteurs de l'article ont inventé un moyen de découper une image en trois catégories de pixels (les petits points qui composent la photo) :

1. Le "Suffisant" (Le Minimum Vital) 🌟

C'est le tout petit bout de l'image dont le détective a besoin pour dire : « Ah oui, c'est ça ! ».

L'analogie : Imaginez que vous devez deviner un mot dans un jeu de télévisé. Si je vous dis juste « C'est un animal à coquille », vous pourriez deviner « escargot ». Ce petit indice est suffisant. Vous n'avez pas besoin de voir tout l'escargot, juste un bout de coquille.
Dans l'article, ils montrent que pour certaines images, il suffit de quelques pixels (comme un coin de l'oreille d'un chat) pour que l'IA identifie l'animal.

2. Le "Nécessaire" (Ce qu'on ne peut pas enlever) 🚫

C'est la partie de l'image qu'on ne peut pas toucher sans que le détective change d'avis.

L'analogie : Si vous enlevez les piquants d'un hérisson, il ressemble à une pomme. Les piquants sont nécessaires pour qu'on le reconnaisse comme hérisson.
Si vous cachez ces pixels, l'IA dira : « Ce n'est plus un hérisson, c'est peut-être un porc-épic ou un hérisson mort ».

3. Le "Complet" et les "Pixels d'Ajustement" (La Précision) ⚖️

C'est ici que la recherche devient vraiment intéressante. Parfois, le "suffisant" est trop petit et l'IA hésite (elle a peu confiance). Le "complet" est la partie de l'image qui donne à l'IA la même confiance que si elle voyait toute la photo.

Les Pixels d'Ajustement : Ce sont les petits pixels "inutiles" pour l'identification de base, mais qui servent à régler le volume de la confiance.
L'analogie : Imaginez un chef cuisinier qui goûte une soupe.
- Le "suffisant", c'est le sel : il suffit d'un grain pour que ce soit salé.
- Le "complet", c'est la soupe entière avec tous les légumes.
- Les "pixels d'ajustement", ce sont les herbes aromatiques. Elles ne changent pas le fait que c'est une soupe, mais elles font que le chef dit : « C'est parfait » (haute confiance) au lieu de « C'est bon » (confiance moyenne).

🛠️ Comment ça marche ? (Sans ouvrir la boîte)

Le plus génial de cette méthode, c'est qu'elle fonctionne avec une boîte noire.

Avant : Pour comprendre un détective, il fallait souvent ouvrir sa tête (voir son code interne) ou savoir exactement comment il raisonnait.
Maintenant : Les chercheurs ont créé un algorithme qui agit comme un testeur. Il masque des parties de l'image (comme si on mettait un bandeau sur les yeux du détective) et regarde ce qu'il dit.
- Il enlève des pixels un par un.
- Il remet des pixels un par un.
- Il observe quand le verdict change.

C'est comme si vous testiez une recette de cuisine en enlevant un ingrédient à la fois pour voir si le plat est encore bon, sans avoir besoin de connaître la chimie de la cuisine.

📊 Ce qu'ils ont découvert

En testant cela sur des modèles d'IA modernes (comme ResNet ou MobileNet) avec des milliers d'images :

Chaque IA a son style : Certains modèles (comme ResNet) ont besoin de très peu de pixels pour être sûrs d'eux. D'autres (comme MobileNet) ont besoin de voir presque toute l'image. C'est comme si certains détectifs étaient des experts rapides, et d'autres des observateurs méticuleux.
La confiance est clé : Souvent, on pense que l'IA a juste besoin de voir "l'essentiel". Mais cette étude montre que l'IA utilise aussi des détails "d'ajustement" pour se sentir sûre de son diagnostic. Sans ces détails, elle pourrait avoir raison, mais avec moins de certitude.
C'est rapide et universel : Leur méthode prend environ 6 secondes par image et fonctionne sur n'importe quel modèle d'IA, sans avoir besoin de connaître ses secrets internes.

💡 En résumé

Cette recherche nous donne une nouvelle loupe pour regarder l'intelligence artificielle. Au lieu de juste dire "C'est un chat", elle nous permet de dire :

« Regarde, ce petit bout d'oreille suffit à l'IA pour deviner "chat". »
« Si on enlève la queue, elle ne sait plus. »
« Et ces moustaches ? Elles ne servent pas à deviner, mais elles rassurent l'IA pour qu'elle soit sûre à 100 %. »

C'est un pas de géant pour rendre les décisions de l'IA plus transparentes, plus fiables et plus compréhensibles pour nous, humains.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le domaine de l'explicabilité de l'IA (XAI) pour la classification d'images souffre d'un dilemme fondamental :

Les méthodes existantes (basées sur la saillance, les gradients ou les modèles locaux comme LIME) sont souvent heuristiques et manquent de rigueur formelle.
Les explications logiques (basées sur les implicants premiers ou l'abduction) offrent des garanties formelles, mais leur calculabilité repose sur des hypothèses restrictives (monotonie, linéarité) qui ne s'appliquent généralement pas aux classificateurs d'images modernes (boîtes noires non linéaires).

Il existe donc un besoin critique de définir des explications qui soient à la fois formellement rigoureuses, applicables aux modèles boîte noire (sans accès aux gradients ni à l'architecture interne) et adaptées aux spécificités des images (comme la confiance du modèle).

2. Méthodologie

Les auteurs proposent un cadre basé sur la causalité réelle (actual causality) pour définir et calculer des explications pour les classificateurs d'images.

A. Modélisation Causale

Ils définissent un modèle causal binaire de profondeur 2 ( $M_{N,x}$ ) pour un classificateur $N$ et une image $x$ :

Variables endogènes ( $\vec{V}$ ) : Correspondent aux pixels de l'image. Une valeur de 1 signifie que le pixel est visible (valeur originale), et 0 signifie qu'il est masqué (remplacé par une valeur de fond).
Variable de sortie ( $O$ ) : Indique si la classification de l'image partiellement masquée reste identique à celle de l'image originale.
Indépendance causale : Les pixels sont traités comme des variables causalement indépendantes, une hypothèse standard dans les outils XAI boîte noire.

B. Définitions Formelles des Explications

L'article introduit une taxonomie rigoureuse d'explications :

Explication Suffisante (SCSE) : Un sous-ensemble minimal de pixels qui, s'ils sont conservés (le reste masqué), suffit à reproduire la classification originale.
Explication Nécessaire (NE) : Un sous-ensemble minimal de pixels qui, s'ils sont masqués (le reste conservé), change la classification.
Explication Complète (SCCE/MCCE) : Un sous-ensemble qui est à la fois suffisant et nécessaire. C'est l'intersection fonctionnelle des deux concepts.
Explications $\delta$ -confiantes : Introduites pour gérer la confiance du modèle. Une explication est $\delta$ -confiante si la confiance du modèle sur l'explication est d'au moins $\delta \times c$ (où $c$ est la confiance initiale).
Explications 1-complètes : Un cas particulier d'explication complète où la confiance du modèle est exactement égale à celle de l'image originale.
Pixels d'ajustement : Les pixels qui ne font pas partie des ensembles suffisants ou nécessaires mais qui sont requis pour ajuster la confiance du modèle de $\delta$ à 1.

C. Algorithmes d'Approximation

Le calcul exact de ces explications est prouvé NP-complet (co-NP-complet). Pour contourner cette difficulté, les auteurs proposent des algorithmes d'approximation efficaces basés sur l'outil ReX (Responsibility-based XAI) :

Algorithme 1 : Utilise une carte de responsabilité (responsibility map) pour classer les pixels. Il construit itérativement des ensembles de pixels (en ajoutant ou en retirant des pixels selon leur ordre de responsabilité) pour trouver des explications $\delta$ -complètes.
Algorithme 2 : Découvre les "pixels d'ajustement" nécessaires pour passer d'une explication $\delta$ -complète à une explication 1-complète, en ajoutant des pixels à faible ou haute responsabilité selon que la confiance doit être diminuée ou augmentée.

3. Contributions Clés

Équivalence Formelle : Prouve que les explications causales dans ce cadre sont équivalentes aux explications abductives (logiques) pour les modèles monotones, mais sans exiger la monotonie pour les classificateurs d'images réels.
Nouvelles Définitions : Introduction des concepts de complétude (suffisance + nécessité) et de confiance ( $\delta$ -confiance et 1-complétude) dans le contexte causal.
Pixels d'ajustement : Identification et analyse d'une nouvelle catégorie de pixels qui régulent la confiance du modèle sans être strictement nécessaires à la décision binaire.
Invariance d'entrée : Démonstration que les explications causales sont invariantes face à certaines transformations des valeurs d'entrée (tant que la sortie du modèle reste inchangée), une propriété que ne possèdent pas toutes les méthodes de saillance.
Implémentation Boîte Noire : Développement d'algorithmes qui ne nécessitent aucun accès aux gradients, à l'architecture du modèle ou à ses paramètres internes.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs algorithmes sur trois modèles (ResNet50, MobileNet, Swin Transformer) et trois jeux de données (ImageNet-1K, PascalVOC, ECSSD).

Efficacité : Les algorithmes sont rapides (moyenne de 6 secondes par image pour ResNet50 sur GPU A100).
Variabilité des Modèles :
- ResNet50 : Nécessite très peu de pixels pour la suffisance et la complétude, et peu de pixels d'ajustement.
- MobileNet et Swin : Nécessitent des ensembles de pixels plus grands pour atteindre la complétude.
Analyse des Classes Inverses : En masquant les pixels "complètes", le modèle classe souvent l'image restante dans une catégorie sémantiquement proche (ex: un singe colobe devient un singe guenon), révélant la hiérarchie de décision du modèle.
Comparaison avec d'autres outils XAI :
- Comparé à Grad-CAM et LIME, l'approche basée sur ReX (causale) produit des explications suffisantes plus précises (plus petites, ~4% de l'image contre ~14% pour LIME).
- Les méthodes de saillance (Grad-CAM) montrent une forte dépendance à l'architecture, tandis que les méthodes causales et LIME sont plus stables.
- Les ensembles de pixels pour la 1-complétude sont similaires entre les méthodes (~53-59% de l'image), mais la précision des ensembles suffisants varie considérablement.

5. Signification et Impact

Ce travail comble un fossé important entre la théorie formelle de l'explicabilité et la pratique des réseaux de neurones profonds.

Rigueur sans hypothèses restrictives : Il offre des garanties mathématiques pour les explications d'images sans supposer que le modèle est monotone ou linéaire.
Compréhension fine du modèle : La distinction entre pixels suffisants, nécessaires et d'ajustement permet de disséquer non seulement pourquoi une décision est prise, mais aussi comment la confiance du modèle est construite.
Outils pratiques : L'intégration dans ReX et la nature "boîte noire" de l'approche rendent ces méthodes applicables à n'importe quel classificateur d'images moderne, facilitant le débogage et l'audit des systèmes d'IA dans des domaines critiques (comme la santé, mentionné dans les remerciements).

En résumé, l'article propose un cadre théorique robuste et des algorithmes pratiques pour décomposer les images en leurs composants causaux essentiels, offrant une nouvelle perspective sur le fonctionnement interne des classificateurs d'images.