🤖 machine learning

Measuring the (Un)Faithfulness of Concept-Based Explanations

Ce papier propose SURF, une nouvelle méthode d'évaluation qui révèle que de nombreuses explications basées sur des concepts sont peu fidèles aux modèles, car les mesures précédentes surestimaient la fidélité en utilisant des surrogats trop complexes ou des approches de suppression inadéquates.

Auteurs originaux : Shubham Kumar, Narendra Ahuja

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shubham Kumar, Narendra Ahuja

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Mystère de l'IA : Qui dit vrai ?

Imaginez que vous avez un génie très intelligent (c'est le modèle d'IA) qui regarde des photos et devine ce qu'elles représentent (un chat, une voiture, un visage). Le problème ? Ce génie est têtu. Il vous donne la bonne réponse, mais il refuse de vous expliquer comment il a fait. C'est comme si un magicien vous faisait disparaître un lapin, mais vous disait : "C'est la magie, ne posez pas de questions."

Pour résoudre ça, les chercheurs ont créé des "Traducteurs de Concepts". Au lieu de dire "ce pixel rouge est important", ils disent : "Le génie a vu des oreilles pointues et de la fourrure". C'est beaucoup plus facile à comprendre pour un humain. On appelle cela les explications basées sur les concepts.

⚖️ Le Dilemme : Comprendre vs Être Honnête

Il y a deux qualités importantes pour ces traducteurs :

La Compréhensibilité : Est-ce que l'explication a du sens pour un humain ? (Oui, "oreilles pointues" est clair).
La Fidélité (Faithfulness) : Est-ce que l'explication raconte vraiment ce qui se passe dans la tête du génie, ou est-ce juste un mensonge gentil pour nous rassurer ?

Le papier de Shubham Kumar et Narendra Ahuja pose une question cruciale : "Est-ce que nos traducteurs actuels sont vraiment honnêtes ?"

🚨 La Révélation : Les Traducteurs Actuels sont des "Menteurs"

Les chercheurs ont découvert que les méthodes les plus populaires pour créer ces explications (appelées U-CBEMs) sont en réalité très peu fidèles.

Pourquoi ? Parce que pour mesurer si un traducteur est honnête, les chercheurs utilisaient des outils de mesure défectueux.

L'analogie du Test de Vérité :
Imaginez que vous voulez tester si un espion (l'explication) vous dit la vérité.

L'ancienne méthode (Déletion) : On lui enlève ses lunettes et on lui demande de deviner. Si le génie se trompe, on dit "Bravo espion, tu avais raison !". Mais le problème, c'est que sans lunettes, le génie est confus et se trompe pour n'importe quelle raison. Ce test ne prouve rien.
L'ancienne méthode (Surrogates complexes) : On donne à l'espion un ordinateur ultra-puissant pour qu'il recrée la réponse du génie. Si l'ordinateur y arrive, on dit "C'est fidèle !". Mais en réalité, c'est l'ordinateur qui a fait le travail, pas l'espion ! L'explication humaine reste incompréhensible car elle nécessite un ordinateur pour être vérifiée.

🛠️ La Solution : Le "Règle à Mesurer" (SURF)

L'équipe propose une nouvelle méthode appelée SURF (Surrogate Faithfulness).

L'analogie du Dessin d'Enfant :
Imaginez que le génie dessine un chat.

Les anciennes méthodes demandaient à un enfant de dessiner le chat en utilisant des crayons magiques qui changeaient de couleur tout seuls. Si le dessin ressemblait à un chat, c'était "parfait". Mais on ne savait pas si l'enfant avait vraiment compris le chat ou si les crayons magiques avaient fait le travail.
La méthode SURF dit : "Arrêtez les crayons magiques. Dessinez le chat avec un simple crayon noir et blanc. Si votre dessin simple correspond exactement à ce que le génie a vu, alors vous êtes honnête."

Ce que fait SURF :

C'est simple : Elle utilise une règle mathématique très basique (une ligne droite) pour vérifier l'explication. Pas de machines compliquées.
Elle vérifie tout : Elle ne regarde pas seulement si le chat est là, elle vérifie aussi si les oreilles, la queue et les moustaches sont à la bonne place.
Elle teste la vérité : Ils ont fait un test où ils ont remplacé les concepts par du bruit aléatoire (comme si l'espion inventait des concepts au hasard).
- Les anciennes méthodes ont dit : "Pas de problème, c'est toujours fidèle !" (Mensonge).
- SURF a dit : "Attendez, c'est n'importe quoi, la fidélité est nulle !" (Vérité).

📉 Les Résultats Choc

Quand ils ont appliqué leur nouvelle règle (SURF) sur les meilleures méthodes actuelles, le résultat a été dévastateur :

La plupart des explications qui semblaient superbes et fiables ne le sont pas.
Elles donnent l'illusion de comprendre, mais elles ne reflètent pas vraiment la logique interne du modèle.
Seules quelques méthodes (comme celles utilisant des "sous-espaces" ou des auto-encodeurs) ont résisté au test, mais même elles ont des limites.

💡 La Leçon à Retenir

Ce papier nous dit : "Ne vous fiez pas aux apparences."

Juste parce qu'une explication semble belle et logique pour un humain (elle parle d'oreilles et de fourrure), cela ne signifie pas qu'elle reflète la réalité du fonctionnement de l'IA.

Les chercheurs nous invitent à utiliser leur nouvelle règle SURF pour tester toutes les futures explications. C'est comme passer un contrôle technique rigoureux avant de dire à un humain : "Oui, cette voiture (l'IA) est sûre et vous savez exactement comment elle roule."

En résumé : Nous avons été trop confiants dans nos traducteurs d'IA. Ils nous ont menti pour être plus "jolis". Maintenant, avec SURF, nous avons enfin un outil pour les démasquer et exiger de la vérité, même si c'est moins joli.

1. Problématique

Les modèles de vision par ordinateur profonds (Deep Learning) sont performants mais opaques. Pour les rendre interprétables, les méthodes d'explication basées sur les concepts (CBEMs) ont été développées. Ces méthodes remplacent les calculs internes du modèle par des unités sémantiques compréhensibles par l'humain (ex: bords, couleurs, parties d'objets).

Les CBEMs non supervisés (U-CBEMs) sont particulièrement populaires car elles découvrent automatiquement ces concepts (sous forme de vecteurs d'activation de concepts ou CAVs) sans besoin d'annotations manuelles coûteuses.

Cependant, un problème majeur persiste : la fidélité (faithfulness). Une explication est fidèle si elle reflète fidèlement le calcul interne du modèle.

Le constat des auteurs : Les évaluations actuelles des U-CBEMs suggèrent qu'elles sont très fidèles et interprétables.
L'hypothèse critique : Les auteurs soutiennent que cette "fidélité" est artificielle. Elle résulte soit de l'utilisation de surrogats (modèles de remplacement) trop complexes qui masquent le manque d'interprétabilité réelle, soit de l'usage de proxies basés sur la suppression (deletion-based) qui sont intrinsèquement défectueux pour mesurer la fidélité.

2. Méthodologie et Analyse Critique

A. Critique des mesures existantes

Les auteurs unifient les mesures de fidélité sous un cadre commun impliquant un surrogat ( $s$ ) qui tente de reproduire la sortie du modèle ( $\phi$ ) à partir de l'explication (concepts $V$ et importances $A$ ).

Limites des proxies basés sur la suppression (Deletion-based) :
- Ces méthodes suppriment les concepts les plus importants (en modifiant l'image, les poids ou l'espace des concepts) et mesurent la dégradation de la précision du modèle.
- Problème : La suppression crée souvent des entrées hors de la variété des données (off-manifold), où le modèle se comporte de manière imprévisible. De plus, il est difficile de supprimer un concept sans affecter les autres. Les auteurs concluent que ces proxies ne mesurent pas correctement la fidélité.
Limites des mesures basées sur des surrogats précédents (ex: ICE, C-SHAP) :
- Complexité excessive : Ils utilisent des surrogats non linéaires ou apprenables (MLP) pour reconstruire les embeddings intermédiaires. Cela déplace le fardeau de l'interprétabilité vers le surrogat lui-même.
- Ignorance des importances : Certains surrogats n'utilisent pas les scores d'importance des concepts ( $A$ ), rendant la mesure insensible à la qualité de ces scores.
- Biais d'évaluation : Ils ne mesurent l'erreur que sur la classe prédite ou la classe de vérité terrain, ignorant le reste de la distribution de sortie.

B. La proposition : SURF (Surrogate Faithfulness)

Pour corriger ces défauts, les auteurs proposent SURF, une nouvelle mesure de fidélité respectant trois desiderata :

Simplicité du surrogat : Le surrogat doit être simple (linéaire) et ne pas nécessiter de paramètres apprenables supplémentaires. Il doit refléter le calcul mental attendu d'un humain.
Inclusion complète : Il doit utiliser à la fois les représentations des concepts ( $V$ ) et leurs importances ( $A$ ).
Évaluation globale : Il doit mesurer l'erreur sur toutes les classes de sortie, pas seulement la classe prédite.

Architecture de SURF :

Surrogat Linéaire : Au lieu de reconstruire l'embedding intermédiaire $h$ , SURF projette directement les concepts sur la couche linéaire finale du modèle. La sortie estimée $\hat{y}_i$ pour une classe $i$ est une combinaison linéaire des concepts pondérée par leurs importances :
$\hat{y}_i = \sum_{j} \sum_{k} \alpha_{i,k} P(h_j; V_i)_k$
où $\alpha$ sont les importances et $P$ la projection.
Métriques :
- SURFMAE : Erreur absolue moyenne (MAE) dans l'espace des logits (toutes les classes).
- SURFEMD : Distance de transport de masse (Earth Mover's Distance) dans l'espace des probabilités (après softmax), évaluant la distribution globale.

3. Contributions Clés

Cadre unifié et critique : Organisation des mesures de fidélité existantes et démonstration de leurs limites fondamentales (manque de simplicité, biais de mesure, dépendance à des proxies non fiables).
Proposition de SURF : Introduction d'une mesure de fidélité simple, linéaire, sans paramètres apprenables, évaluant l'ensemble de la distribution de sortie.
Validation par "Measure-over-Measure" : Les auteurs proposent un test de bon sens (sanity check) : si l'on randomise les concepts ou leurs importances, la fidélité mesurée doit diminuer.
- Résultat : Les méthodes précédentes (ICE, C-SHAP) échouent à ce test (elles ne détectent pas la randomisation ou donnent des scores paradoxaux). SURF est la seule à passer ce test.
Benchmark exhaustif : Première évaluation complète des U-CBEMs d'état de l'art (CDISCO, ICE, CRAFT, C-SHAP, MCD, HU-MCD, SAE) sur plusieurs tâches (classification d'objets, prédiction d'attributs, estimation d'âge).

4. Résultats Expérimentaux

Échec des U-CBEMs d'état de l'art : L'application de SURF révèle que la plupart des méthodes U-CBEMs précédemment considérées comme fidèles ne le sont pas. Elles produisent des erreurs significatives dans l'espace des logits et des probabilités.
- Exemple : Dans la classification d'objets, même la méthode la plus performante (SAE) présente une erreur EMD de 0.195, indiquant une divergence notable de la distribution de probabilité.
Analyse des causes d'échec :
- Les méthodes reconstruisent des embeddings spécifiques à une classe en utilisant des CAVs appris uniquement sur des images de cette classe. Appliquer ces CAVs à d'autres classes crée des erreurs de reconstruction (problème de distribution hors domaine).
- L'absence de critères de complétude basés sur les logits empêche une reproduction ciblée de la sortie.
Compromis Fidélité vs Parsimonie : L'étude montre que l'augmentation du nombre de concepts ne garantit pas une meilleure fidélité pour toutes les méthodes. Seules les méthodes utilisant des sous-espaces conceptuels (MCD, HU-MCD) montrent une amélioration uniforme, mais avec un plateau naturel.

5. Signification et Impact

Changement de paradigme : Ce travail remet en question la croyance dominante selon laquelle les explications basées sur les concepts non supervisés sont intrinsèquement fidèles. Il démontre que les métriques actuelles sont biaisées.
Nouveau standard : SURF établit un benchmark fiable pour évaluer la fidélité des explications, forçant les futurs travaux à utiliser une mesure simple, linéaire et globale.
Implications pratiques : Les chercheurs et praticiens doivent désormais être prudents face aux explications "visuellement convaincantes" qui ne résistent pas à une vérification mathématique rigoureuse de la fidélité.
Limites et travaux futurs : SURF est formulé pour la couche finale linéaire. Son extension aux couches intermédiaires non linéaires est identifiée comme un défi futur important.

En résumé, cet article fournit un outil critique (SURF) pour démêler la vérité des illusions dans l'explicabilité des modèles d'IA, soulignant que la simplicité et la rigueur mathématique sont essentielles pour garantir que les explications reflètent réellement le fonctionnement du modèle.