Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

Résumé Technique : Décomposition Ancrée sur le Langage (LAD)

1. Énoncé du Problème

Les réseaux de neurones profonds déployés dans des applications visuelles à enjeux élevés nécessitent une interprétabilité, pourtant les méthodes d'explication existantes sont confrontées à un compromis fondamental entre la fidélité (l'alignement avec le processus de décision réel du modèle) et le nommage (des étiquettes sémantiques lisibles par l'humain).

• Les méthodes de découverte de concepts post-hoc (ex. : TCAV, ACE, CRAFT, FACE) sont fidèles au comportement du modèle mais produisent des facteurs non nommés. Un même indice de facteur peut correspondre à des éléments visuels différents selon les images, nécessissant un étiquetage post-hoc qui manque de cohérence.
• Les méthodes de nommage et de conception directe (ex. : Modèles à goulot d'étranglement conceptuel, approches de nommage de neurones comme LaViSE) fournissent des noms lisibles par l'humain mais nécessitent souvent de réentraîner le modèle ou de modifier son architecture. Par conséquent, le modèle expliqué n'est plus celui qui est déployé, ou les unités nommées ne sont pas vérifiées comme étant causalement responsables des prédictions.

Aucune méthode préalable ne parvient à fournir des concepts qui soient simultanément nommés, fidèles au classificateur gelé, et obtenus sans modifier le modèle.

2. Méthodologie : Décomposition Ancrée sur le Langage (LAD)

LAD comble cette lacune en inversant le processus standard de la Factorisation de Matrices Non Négatives (NMF). Au lieu d'apprendre des coefficients latents pour les nommer plus tard, LAD fixe les coefficients à des cartes ancrées dans le langage et n'apprend que la base conceptuelle.

Cadre Fondamental :

1. Configuration : Étant donné un encodeur pré-entraîné gelé $f$ et une tête de classification $g$, LAD opère sur les cartes de caractéristiques spatiales $Z$ produites par l'encodeur. Contra[ment aux] méthodes qui regroupent les caractéristiques globalement, LAD déplie les activations pour préserver la localité spatiale, traitant chaque emplacement spatial comme une observation indépendante.
2. Coefficients Ancrés sur le Langage ($S$) :
   • Pour une classe cible, un Grand Modèle de Langage (LLM) génère un vocabulaire de concepts visuellement ancrés spécifique à la classe (ex. : « oreilles pointues », « yeux verts »).
   • La similitude image-texte de CLIP est utilisée pour localiser ces concepts à travers les régions de l'image, créant des cartes de similitude spatiale.
   • Ces cartes sont aplaties et empilées pour former une matrice de coefficients fixe $S \in \mathbb{R}^{(nhw) \times r}$, où les lignes représentent les emplacements spatiaux et les colonnes les concepts nommés.
3. Factorisation Inversée :
   • La NMF standard apprend à la fois les coefficients ($U$) et la base ($W$) de sorte que $A \approx UW^\top$.
   • LAD fixe les coefficients à la matrice $S$ ancrée sur le langage et apprend uniquement la base conceptuelle $W$ pour reconstruire les activations de l'encodeur : $\hat{\bar{A}} \approx SW^\top$.
   • L'optimisation minimise l'erreur de reconstruction $\|\bar{A} - SW^\top\|_F^2$ sous des contraintes de non-négativité en utilisant la Descente de Gradient Projetée (PGD).
4. Inférence : Pour de nouvelles images, la base $W$ est fixée, et les coefficients non négatifs $\hat{S}$ sont estimés via des moindres carrés non négatifs. Ces coefficients sont remodelés en cartes de chaleur spatiales, fournissant des explications nommées et localisées.

Mécanisme Clé : L'ancre linguistique agit comme une contrainte structurelle. La géométrie des caractéristiques de l'encodeur gelé détermine quels concepts nommés sont conservés (en leur assignant des poids de base non nuls), tandis que les concepts incohérents avec les preuves de l'encodeur sont supprimés.

3. Contributions Clés

• Un nouveau cadre post-hoc : LAD est le premier cadre capable de produire des concepts qui sont nommés, fidèles et obtenus sans réentraîner le modèle. Il y parvient en fixant les cartes de similitude CLIP ancrées sur le langage comme matrice de coefficients dans une décomposition de type NMF.
• Ancre linguistique fonctionnelle : L'article démontre que l'ancre linguistique n'est pas simplement cosmétique. Supprimer l'ancre (revenir à une NMF non supervisée standard) préserve la précision de la classification mais provoque un effondrement brutal de la fidélité de l'attribution (spécifiquement dans les tests de suppression de concepts). Cela prouve que l'ancre oriente la découverte vers des structures signifiantes pour le classificateur.
• Déroulements de concepts nommés par image : Contrairement aux bases de référence qui produisent des facteurs anonymes, LAD permet des déroulements par image où les concepts nommés spécifiques utilisés pour une prédiction sont localisés, classés par importance et annotés avec leur contribution à la reconstruction.
• Évaluation complète : La méthode est évaluée sur des images naturelles (ImageNet), des scènes (Places365) et un domaine clinique (images du fond d'œil rétinien), démontrant sa robustesse à travers diverses tâches visuelles.

4. Résultats

• Fidélité : Sur ImageNet et Places365, LAD préserve la précision Top-1 (comparable aux bases de référence) tout en atteignant les scores de Concept Insertion (C-Ins) les plus élevés, indiquant que ses concepts nommés sont suffisants pour restaurer les prédictions.
• Performance de Suppression : Bien que la méthode FACE (qui optimise conjointement les coefficients et la base) soit légèrement plus performante que LAD en Concept Deletion (C-Del) sur les images naturelles, LAD surpasse significativement toutes les bases de référence dans le domaine clinique (fond d'œil). Dans les contextes cliniques, où les signatures de maladies sont spatialement focalisées, les concepts nommés de LAD sont les plus décisifs causalement, atteignant un score C-Del de 0,954 contre 0,863 pour FACE.
• Études d'Ablation :
  • Ancre Linguistique : Remplacer les coefficients linguistiques fixes par des coefficients appris fait chuter le C-Del de 0,902 à 0,507, confirmant le rôle de l'ancre dans la découverte de directions fidèles.
  • Budget de Concepts : Augmenter le nombre de concepts ($r$) améliore la fidélité de manière monotone sans sacrifier la précision.
• Efficacité : LAD est efficace sur le plan computationnel, traitant une classe en 0,03 seconde sur une RTX A4500, ce qui est nettement plus rapide que FACE (2,6s) et CRAFT (0,5s).

5. Signification et Revendications

L'article affirme que LAD parvient à combler le fossé entre l'attribution fidèle et l'interprétabilité humaine sans compromettre l'intégrité du modèle déployé.

• Nommage Structurel vs Cosmétique : Les auteurs soulignent que le nommage dans LAD est une propriété structurelle de la factorisation, et non une étiquette post-hoc. La propre géométrie des caractéristiques du modèle détermine quels concepts sont pertinents, atténuant les biais connus des modèles de type CLIP en supprimant les concepts incohérents avec les preuves de l'encodeur.
• Preuve Auditable : Dans les domaines à enjeux élevés comme l'imagerie médicale, LAD fournit un « registre auditable » où un lecteur peut inspecter non seulement où le modèle regarde, mais aussi ce qu'il attribue à cette région (ex. : « structures de type drusen »). Cela permet de détecter les désaccords entre les preuves visuelles du modèle et son attribution sémantique.
• Généralisabilité : L'approche s'avère efficace pour les images naturelles, la compréhension de scènes et le diagnostic clinique, suggérant que fixer les coefficients ancrés sur le langage est une stratégie viable pour créer des modèles de vision transparents où le contenu d'une décision est aussi critique que sa précision.