🤖 AI

SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches

L'article propose SketchXplain, un nouveau cadre qui génère des explications visuelles intuitives basées sur des croquis pour les classificateurs d'images en intégrant des cartes de saillance, des modèles à goulot d'étranglement conceptuel et l'optimisation de croquis afin de combler l'écart d'interprétabilité et d'accélérer la compréhension de l'utilisateur par rapport aux méthodes traditionnelles.

Auteurs originaux : Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à une IA super intelligente de regarder une photo et de vous dire ce qui s'y passe. L'IA dit : « C'est un visage en colère ! » ou « C'est une tache cutanée dangereuse ! ». Mais quand vous lui demandez : « Comment le sais-tu ? », l'IA pointe généralement un gros pâté rouge et flou sur l'image. C'est comme si l'IA disait : « Regarde ici ! », mais sans vous dire pourquoi cet endroit est important. C'est déroutant, et vous restez dans l'incertitude.

Ce document présente SketchXplain, une nouvelle façon d'expliquer les décisions de l'IA qui ressemble plus à un croquis rapide fait par un humain qu'à un surlignage de pixels par un ordinateur.

Voici la décomposition simple de son fonctionnement et de la raison pour laquelle elle est meilleure, en utilisant des analogies de la vie quotidienne :

Le Problème : Le « Gros Pâté Rouge Flou »

Considérez les explications actuelles de l'IA (appelées cartes de saillance) comme une lampe torche dans une pièce sombre. L'IA projette une lumière vive sur une zone spécifique d'une photo pour dire : « Je regarde ici ».

Le problème : La lumière est souvent diffuse. Elle vous montre où regarder, mais elle ne vous montre pas ce que vous regardez. Est-ce une ride ? Une ombre ? Une cicatrice ? Il est difficile de le dire, ce qui crée un fossé dans la compréhension.

La Solution : Le « Croquis de Dessinateur »

Les auteurs soutiennent que la meilleure façon d'expliquer quelque chose est de faire un croquis simple, comme le ferait un dessinateur de bandes dessinées. Un bon croquis laisse de côté les détails superflus (comme la texture de la peau ou la couleur exacte d'un vêtement) et se concentre uniquement sur les lignes essentielles qui racontent l'histoire.

SketchXplain est un outil qui transforme la décision d'une IA en l'un de ces croquis utiles.

Comment fonctionne SketchXplain (La recette en 3 étapes)

Pour créer un croquis qui explique réellement la pensée de l'IA, le système fait trois choses :

Il apprend le « Vocabulaire » (Concepts) :
Imaginez que vous apprenez à un enfant à reconnaître un visage « en colère ». Vous ne dites pas seulement « en colère ». Vous pointez des parties spécifiques : « Les sourcils sont abaissés », « Les yeux se plissent », et « Les lèvres sont serrées ».
SketchXplain fait cela en premier. Il identifie ces parties de « concepts » spécifiques (comme un sourcil abaissé ou un bord de peau dentelé) avant même de dessiner quoi que ce soit.
Il trouve les « Indices » (Saillance) :
Il regarde la photo pour voir exactement où ces concepts se cachent. C'est comme un détective marquant l'endroit exact sur une carte où un indice a été trouvé.
Il dessine le « Croquis » (Rationalisation) :
C'est la partie magique. Au lieu de simplement tracer tout le contour du visage ou de la tache cutanée, il dessine uniquement les lignes qui comptent.

Si l'IA pense qu'un visage est en colère, SketchXplain dessine le front plissé et les lèvres serrées, mais ignore les cheveux ou l'arrière-plan.
Si l'IA pense qu'une tache cutanée est dangereuse, elle dessine le bord irrégulier et dentelé ainsi que les zones de couleur étranges, ignorant la peau saine autour.
Il utilise des traits plus sombres et plus épais pour les indices les plus importants et des traits plus légers pour les moins importants, agissant comme un surligneur visuel.

Pourquoi est-ce meilleur ? (Les Résultats)

Les chercheurs ont testé cela sur deux éléments : les Visages (deviner des émotions comme la joie ou la colère) et les Taches Cutanées (deviner si un grain de beauté est dangereux).

Vitesse : Lorsque les gens ont vu ces croquis pendant une fraction de seconde (moins d'un clin d'œil), ils ont compris la réponse de l'IA beaucoup plus rapidement qu'en voyant les gros pâtés rouges flous. C'est comme reconnaître le visage d'un ami à partir d'un simple dessin de bonhomme bâton plutôt que d'une photo floue.
Clarté : Les gens pouvaient facilement dire : « Ah, l'IA pense qu'il est en colère à cause des sourcils », alors qu'avec le pâté rouge, ils n'étaient qu'en train de deviner.
Confiance : Les croquis semblaient plus « honnêtes ». Ils ne montraient pas seulement des pixels aléatoires ; ils montraient les véritables caractéristiques (comme une ride ou un bord dentelé) qu'un humain utiliserait pour prendre la même décision.

À retenir

Considérez SketchXplain comme un interprète qui traduit les mathématiques complexes et confuses de l'IA en un simple gribouillage fait à la main.

L'ancienne méthode : « Je regarde cette zone rouge brillante. » (Confus)
La nouvelle méthode (SketchXplain) : « Je regarde le bord dentelé et la couleur sombre ici, ce qui est la raison pour laquelle je pense que c'est dangereux. » (Clair et intuitif)

L'article affirme que cette méthode aide les gens ordinaires à comprendre les décisions de l'IA rapidement et avec précision, comblant ainsi le fossé entre ce que l'ordinateur voit et ce qu'un humain comprend. Elle transforme une « boîte noire » en un dessin clair et simple.

Résumé Technique : SketchXplain

Problématique

Les méthodes actuelles d'IA explicable (XAI) pour la classification d'images, particulièrement les cartes de saillance, souffrent d'un « fossé d'interprétabilité ». Bien que les cartes de saillance mettent fidèlement en évidence les pixels ou les neurones pertinents, elles manquent souvent de contexte sémantique, apparaissant comme des « taches nébuleuses » peu intuitives qui ne parviennent pas à transmettre pourquoi une région est pertinente. Cela force les utilisateurs à déployer un effort cognitif important pour interpréter le comportement du modèle, entravant une prise de décision rapide et précise. Les explications existantes basées sur des concepts améliorent l'alignement sémantique mais manquent souvent de cohérence visuelle avec l'instance d'image spécifique, tandis que les simples dessins au trait ou la détection de contours ne parviennent pas à capturer les indices explicatifs nécessaires. Les auteurs soutiennent que les explications de l'IA doivent être intuitives, définies par trois desiderata : la Simplicité (claire et concise), la Cohérence (alignée avec les connaissances et les preuves de l'utilisateur) et une Interprétation Rapide (permettant une assimilation rapide).

Méthodologie : SketchXplain

Les auteurs proposent SketchXplain, un cadre de réseau neuronal profond qui génère des explications visuelles sous forme de croquis. Contraな aux méthodes qui se contentent de convertir des photos en croquis ou de mettre en évidence des pixels, SketchXplain intègre la saillance, les goulots d'étranglement conceptuels (concept bottlenecks) et l'optimisation de croquis pour produire des dessins abstraits et conscients des indices (cue-aware).

L'architecture se compose de trois modules principaux :

Prédiction de Base : Un encodeur d'image ( $M$ ) prédit l'étiquette de la classe ( $\hat{y}$ ) à partir de l'image d'entrée ( $x$ ).
Explications Conceptuelles :
- Goulot d'étranglement conceptuel (Concept Bottleneck) : Le modèle prédit des concepts intermédiaires, interprétables par l'humain ( $\hat{\gamma}$ ) (par exemple, les unités d'action faciales ou les critères ABCD des lésions cutanées) via une classification binaire multi-labels. Ces concepts sont ensuite utilisés pour prédire l'étiquette de la classe finale.
- Localisation des Indices (Cue Localization) : En utilisant Grad-CAM adapté aux transformers, le système génère des cartes de saillance pour chaque concept prédit. Ces cartes sont pondérées par l'importance de chaque concept pour la prédiction finale ( $\hat{w}_\gamma$ ) afin de créer une carte de saillance unifiée et pondérée par les concepts ( $\hat{\epsilon}$ ).
Rationalisation par Croquis (Sketch Rationalization) : Ce module génère le croquis final via deux étapes :
- Initialisation des Traits : Un générateur image-vers-image pré-entraîné extrait des lignes détaillées (contours, rides, textures) de la photo. Ces lignes sont masquées par la carte de saillance pondérée par les concepts pour ne conserver que les traits les plus explicatifs.
- Optimisation des Traits : Le système initialise un ensemble de traits paramétriques (courbes de Bézier quadratiques) basés sur les lignes masquées. Ces traits sont optimisés de manière itérative via une descente de gradient pour minimiser une fonction de perte composite ( $L$ $L$ ) :
  $L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$
  Où :
  - $\hat{z}_s, \hat{z}_x, \hat{z}_y$ sont les plongements (embeddings) CLIP du croquis, de la photo d'entrée et de l'étiquette prédite, respectivement.
  - Le premier terme assure l'Alignement Photographique (fidélité à l'image).
  - Le second terme assure l'Alignement Sémantique (fidélité à l'étiquette de prédiction).
  - Le troisième terme ( $\kappa$ ) impose la Lissage (simplicité) en pénalisant une courbure élevée.

Principales Contributions

Nouvelle Modalité : Il s'agit du premier travail utilisant les croquis comme une modalité explicative intuitive pour l'XAI visuelle, allant au-delà des simples cartes d'attribution ou des descriptions conceptuelles verbales.
Cadre SketchXplain : Une méthode technique qui satisfait aux desiderata de simplicité, de cohérence et d'interprétation rapide en combinant des goulots d'étranglement conceptuels, de la localisation de saillance et un rendu de croquis différentiable.
Validation Empirique : Évaluation complète à travers deux domaines distincts :
- Reconnaissance des Expressions Faciales : Utilisation des Unités d'Action (AUs) comme concepts.
- Diagnostic des Lésions Cutanées : Utilisation des critères ABCD (Asymétrie, Bord, Couleur, Diamètre) comme concepts.

Résultats

Modélisation et Métriques de Substitution

Simplicité : Les croquis de SketchXplain ont démontré une complexité visuelle significativement plus faible (mesurée par l'entropie locale et la taille de fichier JPEG XL) par rapport aux cartes de saillance et aux « Photos Salientes », tout en conservant plus d'informations que les simples contours.
Cohérence : SketchXplain a atteint l'alignement le plus élevé avec les étiquettes de prédiction de l'IA et les concepts explicatifs (AUs/ABCD) par rapport aux bases comme CLIPasso et les cartes de saillance. Il a réussi à préserver les indices pertinents à la tâche tout en réduisant le bruit.

Études Utilisateurs (Expressions Faciales)

Qualitatif : Les participants ont trouvé SketchXplain plus intuitif que les cartes de saillance (qui manquaient de sémantique) et les simples contours (qui manquaient de détails). Les utilisateurs ont rapporté que SketchXplain mettait efficacement en évidence les « lignes saillantes » (comme la Saliency) tout en maintenant des traits faciaux reconnaissables (comme les Outlines) et des indices expressifs (comme CLIPasso).
Quantitatif (Temps Contraint) : Lors de tests de perception rapide (durées d'affichage de 33,3 ms à 500 ms), SketchXplain a permis un Alignement IA (identification correcte de l'émotion prédite) et un Rappel de Concept (identification de AUs spécifiques) significativement plus élevés par rapport aux cartes de saillance, CLIPasso, et même à la photo originale lors de durées très courtes. Les cartes de saillance ont obtenu les moins bons résultats, probablement en raison d'un manque de contexte de caractéristiques.

Études Utilisateurs (Lésions Cutanées)

Qualitatif : Dans une étude avec des participants non cliniques, SketchXplain a surpassé les autres visualisations pour aider les utilisateurs à identifier les critères ABCD et à diagnostiquer le risque de mélanome. Les participants ont noté que les « lignes déconnectées » et les « gribouillis accentués » dans SketchXplain aidaient à confirmer l'irrégularité des bords et l'asymétrie plus efficacement que les contours lisses ou les masques de saillance flous.
Compromis : Bien que SketchXplain ait amélioré l'interprétabilité, il a introduit une charge cognitive légèrement plus élevée que les simples contours, bien que les utilisateurs aient jugé le compromis valable pour l'augmentation de la cohérence avec les concepts cliniques.

Signification et Revendications

L'article affirme que SketchXplain comble le fossé de l'interprétabilité en déplaçant l'XAI de l'audit purement analytique vers l'interprétation intuitive. En exploitant la capacité humaine à traiter rapidement des croquis abstraits (pensée de Système 1), la méthode soutient :

Une Interprétation Plus Rapide : Les utilisateurs peuvent assimiler les indices pertinents et inférer les prédictions plus rapidement qu'avec les cartes de saillance traditionnelles.
Une Cohérence Accrue : Les croquis comblent le fossé entre la géométrie spatiale et les concepts sémantiques, alignant la logique de l'IA avec l'observation humaine.
Préservation de la Vie Privée : En tant que sous-produit, l'abstraction inhérente aux croquis peut protéger les informations identifiables (ex: identité, genre) tout en conservant l'utilité diagnostique.

Les auteurs positionnent SketchXplain non pas comme un remplacement de toutes les méthodes d'XAI, mais comme une approche complémentaire qui tire parti de l'abstraction visuelle pour rendre les décisions de l'IA plus accessibles aux utilisateurs novices, particulièrement dans les domaines où une compréhension intuitive et rapide est critique.