🤖 machine learning

Learning Quantifiable Visual Explanations Without Ground-Truth

Ce papier introduit une métrique quantifiable, sans vérité terrain, pour évaluer les méthodes d'IA explicable (XAI) basée sur la perturbation des entrées et la nécessité/suffisance, laquelle est ensuite utilisée pour entraîner un nouveau module adaptateur générant des explications causales supérieures pour les modèles boîte noire sans compromettre leurs performances.

Auteurs originaux : Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef brillant mais silencieux (un modèle d'apprentissage profond) qui peut préparer un repas parfait (faire une prédiction) à chaque fois. Vous demandez : « Pourquoi avez-vous ajouté du sel à cette soupe ? » Le chef pointe simplement le pot entier et répond : « À cause des ingrédients. » Ce n'est pas très utile. Vous voulez savoir exactement quelle pincée de sel a compté.

Dans le monde de l'Intelligence Artificielle, c'est le problème de l'IA Explicable (XAI). Nous devons savoir quelles parties d'une image (comme un pixel de l'oreille d'un chat) ont réellement poussé l'ordinateur à décider : « Oui, c'est un chat. »

Le problème est que nous n'avons pas de « corrigé » (vérité terrain) pour vérifier si l'explication du chef est juste. Nous ne pouvons pas demander à l'ordinateur : « Qu'est-ce qui t'a vraiment fait penser cela ? » car l'ordinateur ne sait pas s'expliquer en termes humains.

Ce papier introduit deux éléments principaux pour résoudre ce problème : une nouvelle règle pour mesurer les explications et un nouvel outil pour créer de meilleures explications.

1. La Nouvelle Règle : MSI (Intégration Minimalité-Suffisance)

Imaginez que vous essayez d'expliquer à un ami pourquoi vous avez choisi un film spécifique.

L'Ancienne Méthode (Métriques Existantes) : Vous pourriez dire : « Je l'ai choisi à cause des acteurs, du réalisateur, de la musique, de l'éclairage, du popcorn et de la météo dehors. » C'est techniquement vrai (toutes ces choses vous ont influencé), mais c'est trop d'informations. C'est comme surligner toute la page d'un livre pour montrer où l'histoire se déroule.
Le Problème : Les « règles » actuelles pour les explications de l'IA attribuent souvent de hauts scores à ces explications longues et désordonnées. Elles ne se soucient pas si vous avez inclus des détails irrelevants (comme la météo).
La Nouvelle Règle (MSI) : Les auteurs ont créé une nouvelle métrique appelée MSI. Elle juge une explication selon deux règles :
1. Suffisance : Si je ne vous donne que les parties importantes (les acteurs et l'intrigue), pouvez-vous toujours deviner le film ? (Oui, c'est « suffisant »).
2. Minimalité : Avez-vous inclus seulement les parties importantes, ou avez-vous aussi traîné la météo et le popcorn ? (Vous devriez être « minimal »).

L'Analogie : Imaginez un projecteur sur une scène.

Une mauvaise explication éclaire tout le théâtre, y compris le public et les panneaux de sortie. C'est « suffisant » (vous voyez l'acteur), mais ce n'est pas « minimal ».
Une bonne explication projette un faisceau étroit et lumineux uniquement sur le visage de l'acteur. Elle est à la fois suffisante (vous voyez l'acteur) et minimale (pas de lumière gaspillée).

Le papier affirme que la MSI est meilleure pour repérer la différence entre un projecteur étroit et un projecteur inondant désordonné que les anciennes règles. Elle récompense les explications qui sont « juste ce qu'il faut » — ni trop grandes, ni trop petites.

2. Le Nouvel Outil : LAX (Adaptateur Apprenable d'Explication)

Maintenant que nous avons une meilleure règle, comment apprendre à l'IA à donner de meilleures réponses ?

Habituellement, pour apprendre à une IA à s'expliquer, vous avez besoin d'un enseignant avec un corrigé (par exemple, un humain dessinant un cercle autour du chat). Mais nous n'avons pas ces corrigés.

La Solution : Les auteurs ont construit un module « plug-in » appelé LAX.

Comment ça marche : Imaginez que l'IA est une boîte noire. LAX est un petit adaptateur intelligent que vous clippez à l'extérieur de la boîte.
L'Entraînement : Au lieu de demander à un enseignant humain, LAX joue à un jeu de « Et si ? » :
1. Il regarde une image et dessine un « projecteur » (un masque) sur les parties qu'il pense importantes.
2. Il cache le reste de l'image.
3. Il demande à la boîte noire : « Si je ne vous montre que les parties sous mon projecteur, pouvez-vous toujours deviner la réponse correctement ? »
4. Si la boîte noire dit « Oui », LAX gagne un point pour la Suffisance.
5. Si LAX a fait le projecteur trop grand (couvrant trop), il reçoit une pénalité pour la Minimalité.
6. LAX ajuste continuellement son projecteur jusqu'à trouver la zone la plus petite et la plus précise qui permet encore à la boîte noire d'obtenir la bonne réponse.

Le Résultat : Le papier montre que cet outil LAX, entraîné en utilisant leur nouvelle règle MSI, crée des « projecteurs » beaucoup plus nets et précis que d'autres méthodes populaires (comme Grad-CAM). Il parvient à trouver « l'aiguille dans la botte de foin » sans jamais avoir besoin qu'un humain lui montre où se trouve l'aiguille.

Résumé des Revendications

Le Problème : Nous ne pouvons pas mesurer si les explications de l'IA sont bonnes car nous manquons d'exemples « corrects » pour les comparer.
La Métrique (MSI) : Une nouvelle façon de noter les explications qui les récompense pour être précises (minimales) et efficaces (suffisantes), plutôt que de simplement couvrir beaucoup de terrain.
La Méthode (LAX) : Une nouvelle technique d'entraînement qui apprend à une IA à générer ces explications précises en jouant à un jeu d'auto-vérification, sans avoir besoin de données étiquetées par des humains.
Le Résultat : Lorsqu'il a été testé sur des images de chiffres, d'oiseaux et d'objets du quotidien, la méthode LAX a produit des explications qui ont obtenu des scores plus élevés sur la nouvelle métrique MSI et qui semblaient plus « intuitives pour l'humain » (se concentrant sur les bonnes caractéristiques) que les méthodes existantes.

Le papier conclut qu'en utilisant cette nouvelle règle et cet nouvel outil d'entraînement, nous pouvons amener les systèmes d'IA à s'expliquer plus clairement et plus fiablement, même lorsque nous n'avons pas de corrigé de manuel pour les vérifier.

Résumé Technique : Apprentissage d'Explications Visuelles Quantifiables Sans Vérité Terrain

1. Énoncé du Problème

L'IA explicable (XAI) est cruciale pour valider et assurer l'utilisation responsable des modèles d'apprentissage profond, en particulier dans des domaines à haut risque nécessitant de la transparence. Cependant, évaluer la qualité des explications visuelles (par exemple, les cartes de saillance) reste un défi majeur. Le domaine manque d'une métrique standardisée car :

Absence de Vérité Terrain : La plupart des jeux de données ne contiennent pas d'annotations de vérité terrain au niveau des pixels pour définir ce qui constitue une explication « correcte ».
Limites des Métriques Existantes : Les métriques actuelles basées sur la perturbation (par exemple, Insertion, Suppression, MoRF) échouent souvent à s'aligner avec l'intuition humaine. Elles peuvent attribuer des scores élevés à des explications couvrant de vastes régions non pertinentes ou échouer à distinguer entre plusieurs voies d'attribution plausibles. Elles pénalisent souvent la compacité ou peinent lorsque plusieurs explications valides existent pour une seule prédiction.

2. Méthodologie

L'article propose une contribution double : une nouvelle métrique d'évaluation et une méthode de génération d'explications novatrice optimisée pour cette métrique.

A. La Métrique d'Intégration Minimalité-Suffisance (MSI)
Les auteurs introduisent MSI, une métrique basée sur la perturbation conçue pour évaluer les explications selon deux principes dérivés du cadre du Goulot d'Étranglement Informationnel :

Suffisance : L'explication doit contenir suffisamment d'informations pour que le modèle puisse faire une prédiction correcte.
Minimalité : L'explication doit être aussi compacte que possible, évitant les régions non pertinentes.

MSI est calculée comme la somme d'un Score de Base et d'une Pénalité de Masque :

Score de Base : Mesure le pouvoir discriminant de l'explication. Il compare la précision de la prédiction du modèle lors du maintien uniquement des pixels « pertinents » (au-dessus d'un seuil $\alpha_{min}$ ) par rapport au maintien uniquement des pixels « non pertinents ». Il intègre également la Surface Sous la Courbe (AUC) de la performance de perturbation (à la fois insertion et suppression) tronquée à $\alpha_{min}$ .
Pénalité de Masque : Un terme qui pénalise la proportion de pixels considérés comme « importants » (au-dessus de $\alpha_{min}$ ). Cela impose la parcimonie, récompensant les explications qui atteignent la suffisance avec moins de pixels.
Score Final : $MSI = \text{ScoreBase} - \text{PénalitéMasque}$ .

Cette métrique est conçue pour gérer les cas où plusieurs explications valides existent (par exemple, une image avec plusieurs objets distincts pouvant déclencher une prédiction de classe) en récompensant la séparation des régions pertinentes et non pertinentes sans supposer un masque de vérité terrain unique.

B. Le Cadre d'Explication Adaptateur Apprenable (LAX)
Pour exploiter la métrique MSI, les auteurs proposent LAX, une méthode auto-supervisée pour générer des explications sans annotations de vérité terrain.

Architecture : LAX agit comme un module adaptateur léger entraîné au-dessus d'un modèle boîte noire pré-entraîné et figé (agnostique de l'architecture). Il prend des représentations de caractéristiques du modèle de base et produit une carte de chaleur d'importance pixel par pixel.
Objectif d'Optimisation : La fonction de perte d'entraînement est dérivée du principe du Goulot d'Étranglement Informationnel, approximée pour être traitable :
- Minimalité ( $I(X, T)$ ) : Imposée via un terme de régularisation basée sur l'entropie sur le masque. Contrairement à la régularisation $\ell_1$ standard, la régularisation par entropie produit des masques plus nets et plus sémantiquement significatifs, se concentrant sur les régions critiques.
- Suffisance ( $I(T, y)$ ) : Imposée en maximisant l'information mutuelle entre l'entrée masquée $T$ et l'étiquette $y$ . Cela est approximé en minimisant la perte d'entropie croisée entre la prédiction du modèle sur l'image masquée et l'étiquette de vérité terrain.
Perte Finale : $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropie}(M)$ .

Le module est entraîné pour générer un masque qui, lorsqu'il est appliqué à l'entrée, permet au modèle figé de maintenir une haute précision de prédiction tout en gardant le masque aussi parcimonieux que possible.

3. Contributions Clés

Métrique MSI : Une métrique quantifiable novatrice pour la XAI qui équilibre la suffisance et la minimalité, répondant à l'incapacité des métriques existantes à distinguer entre des explications compactes et diffuses ou à gérer plusieurs voies d'attribution valides.
Cadre LAX : Un générateur d'explications auto-supervisé et agnostique du modèle qui apprend à produire des explications causales et compactes en optimisant directement l'objectif MSI (via ses composantes d'entropie et de fidélité) sans nécessiter de cartes de saillance de vérité terrain.
Validation Empirique : Démonstration que les explications générées par LAX surpassent les références de l'état de l'art (Grad-CAM, Layer-CAM, Attention Rollout, etc.) sur plusieurs jeux de données (MNIST Synthétique, CUB-200, CIFAR-10) et architectures (CNN, Transformers de Vision).

4. Résultats

Des expériences ont été menées sur trois jeux de données de complexité variable :

MNIST Synthétique : LAX a largement surpassé toutes les références sur toutes les métriques, y compris MSI, démontrant une forte minimalité et suffisance dans des contextes à faible ambiguïté.
CUB-200 (Oiseaux) : Alors que les métriques standard (Insertion/Suppression) étaient souvent non concluantes ou montraient des performances similaires entre LAX et Grad-CAM, LAX a obtenu le score MSI le plus élevé, indiquant un focus plus discriminant.
CIFAR-10 : LAX a mené sur les métriques basées sur l'insertion. Dans les scénarios où plusieurs régions informatives existent (entraînant des résultats mitigés dans les métriques de suppression pour les références), MSI a réussi à évaluer LAX hautement, tandis que les métriques traditionnelles peinaient à différencier la qualité.
Transformers de Vision (ViT) : LAX a obtenu des performances supérieures sur les modèles ViT par rapport à Attention Rollout et Grad-CAM, en particulier sur les scores MSI, confirmant l'applicabilité de la méthode au-delà des CNN.

L'analyse qualitative a montré que LAX produit des cartes de chaleur plus nettes et plus focalisées par rapport aux cartes de saillance souvent diffuses ou bruyantes des méthodes concurrentes.

5. Signification et Revendications

L'article revendique que l'absence d'une métrique d'évaluation standardisée a entravé les progrès de la XAI. En introduisant MSI, les auteurs fournissent un outil qui s'aligne mieux avec les intuitions humaines sur la qualité de l'explication en récompensant les explications qui sont à la fois suffisantes pour la décision et minimales en portée.

La signification de LAX réside dans sa capacité à générer des explications de haute qualité pour n'importe quel modèle pré-entraîné boîte noire sans besoin d'annotations de vérité terrain ni de réentraînement du modèle de base. Les auteurs positionnent cela comme une étape vers des systèmes d'IA plus fiables et responsables, où les explications peuvent être validées et optimisées quantitativement. Le travail suggère que les efforts futurs en XAI devraient se concentrer sur des métriques tenant compte du compromis entre l'exhaustivité de l'information et la parcimonie, et que les approches basées sur l'optimisation peuvent apprendre efficacement à satisfaire ces critères.