Résumé Technique : Une Vue Distributionnelle pour l'Interprétabilité Mécaniste Visuelle

1. Énoncé du Problème

Les paradigmes actuels en interprétabilité mécaniste visuelle (IM) peinent à concilier fidélité (reflétant avec précision la manière dont un modèle active des caractéristiques spécifiques) et interprétabilité (produisant des visualisations compréhensibles par l'humain). Les méthodes existantes reposent généralement sur des approches heuristiques confrontées à un compromis fondamental :

• Recherche dans les Données : Récupère des exemples à forte activation à partir de jeux de données finis. Bien que perceptuellement plausibles, ces approches souffrent d'un biais de frontière et d'une instabilité du seuil, échouant souvent à capturer l'ensemble de la distribution des sémantiques d'une caractéristique.
• Optimisation avec Régularisation (Maximisation de l'Activation) : Synthétise des entrées pour maximiser l'activation d'une caractéristique. Bien que très fidèles au score d'activation, ces méthodes produisent souvent des « super-stimuli » ou des artefacts haute fréquence qui s'écartent considérablement de la distribution des images naturelles, les rendant perceptuellement ininterprétables.
• Génération Guidée par Proxy (ex. : Diffusion basée sur des Prompts) : Utilise des prompts textuels pour orienter les modèles de diffusion. Cela introduit un goulot d'étranglement informationnel et un écart sémantique, car les prompts textuels ne peuvent pas capturer entièrement des caractéristiques internes fines, non verbales ou polysémiques (par exemple, les caractéristiques SAE).

Le problème central réside dans le fait que ces méthodes traitent l'interprétation des caractéristiques comme une tâche de reconnaissance de motifs au niveau de l'échantillon plutôt que comme un problème d'inférence distributionnelle, conduisant à des explications soit mécanistiquement infidèles, soit perceptuellement ininterprétables.

2. Méthodologie

2.1. La Vue Distributionnelle

Les auteurs proposent de reformuler l'IM visuelle comme un problème d'optimisation minimisant la divergence de Kullback-Leibler (KL). Au lieu de trouver une seule image « meilleure », l'objectif est d'identifier une distribution induite $q$ satisfaisant deux objectifs concurrents :

1. Fidélité : $q$ doit se concentrer sur les entrées activant fortement le score intrinsèque $s(x)$ (par exemple, une activation de caractéristique SAE).
2. Interprétabilité : $q$ doit rester proche de la loi a priori des images naturelles $p(x)$ pour assurer la perceptibilité humaine.

Cette vue décompose les paradigmes d'IM en trois dimensions orthogonales :

• Objet d'Étude : Ce qui est interprété (par exemple, neurones vs caractéristiques SAE).
• Formulation de la Contrainte : Comment la fidélité est imposée (contraintes dures vs contraintes souples).
• Méthodologie d'Échantillonnage : Comment la distribution induite est instanciée (récupération, optimisation ou diffusion).

2.2. Le Principe de Contrainte Souple Minimisant le KL (KLSC)

Pour résoudre les biais des méthodes précédentes, l'article introduit le Principe KLSC. Contrairement aux méthodes à contrainte dure (qui tronquent la distribution à un seuil $m$, soit $s(x) > m$), KLSC emploie une contrainte souple exigeant que l'activation attendue atteigne un niveau cible : $\mathbb{E}_{q}[s(X)] \geq m$.

Théoriquement, la solution unique pour minimiser $KL(q \| p)$ sous cette contrainte souple est une distribution exponentiellement inclinée :
$$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$$
où $\beta$ est un multiplicateur de Lagrange contrôlant la force de l'orientation.

Avantages Théoriques de KLSC par rapport aux Contraintes Dures :

• Réduction du Biais de Frontière : Les contraintes dures concentrent la masse de probabilité dans une coquille mince près du seuil (la région « à peine activée »), tandis que KLSC distribue la masse plus uniformément, réduisant la sensibilité aux petites variations de seuil.
• Stabilité du Seuil : Les contraintes dures induisent des sauts discontinus dans la divergence KL et la distance de Variation Totale (TV) lorsque le seuil est perturbé. KLSC forme une famille exponentielle lisse, assurant une continuité locale.
• Écart d'Interprétabilité : Même lorsque la fidélité attendue est équivalente, la solution KLSC minimise l'écart par rapport à la loi a priori des images naturelles $p$ plus efficacement que les solutions tronquées durement.

2.3. Éviter l'Injection de Tâches et les Goulots d'Étranglement par Proxy

L'article s'oppose à l'injection d'objectifs de tâches externes (par exemple, étiquettes de classification ou prompts textuels) dans le processus d'interprétation.

• Dérive de l'Objet : Injecter un score de tâche $f_c(x)$ (par exemple, l'alignement CLIP) déforme la distribution induite intrinsèque. L'article démontre que satisfaire une demande de tâche entraîne un coût KL strictement positif, conduisant à des explications reflétant la tâche plutôt que le mécanisme intrinsèque.
• Goulot d'Étranglement par Prompt : Les méthodes guidées par proxy restreignent l'espace de recherche à une famille paramétrée par le prompt $Q_{prompt}$. L'article démontre que cette famille ne peut souvent pas représenter des caractéristiques fines ou polysémiques, conduisant à des échantillons infidèles.

2.4. Échantillonnage de l'Postérieur Guidé par l'Énergie (EnergyDPS)

Pour réaliser le principe KLSC de manière pratique, les auteurs proposent EnergyDPS.

• Mécanisme : Il traite le score intrinsèque $s(x)$ (par exemple, l'activation d'une caractéristique SAE) comme une fonction d'énergie.
• Processus : Il exploite l'Échantillonnage de l'Postérieur par Diffusion (DPS). Au lieu d'optimiser un prompt textuel, EnergyDPS injecte le gradient du score intrinsèque, $\nabla_x s(\hat{x}_0)$, directement dans le processus de diffusion inverse à chaque étape.
• Avantage : Cela permet d'échantillonner directement à partir de la distribution induite par KLSC, sans la perte d'information associée aux prompts textuels ni le biais de recherche de mode de l'optimisation ponctuelle. C'est une méthode sans entraînement applicable à tout score intrinsèque différentiable.

3. Contributions Clés

1. Vue Distributionnelle pour l'IM Visuelle : L'article établit un cadre théorique modélisant l'interprétation des caractéristiques comme un problème d'inférence distributionnelle minimisant le KL, identifiant des biais statistiques systématiques (biais de frontière, instabilité du seuil et écarts d'interprétabilité) dans les paradigmes existants.
2. Principe de Contrainte Souple Minimisant le KL (KLSC) : Une nouvelle formulation de contrainte qui équilibre théoriquement fidélité et interprétabilité en recherchant la distribution la plus proche de la loi a priori naturelle tout en satisfaisant une contrainte d'activation attendue.
3. Algorithme EnergyDPS : Un échantillonneur pratique et sans entraînement qui réalise le principe KLSC en utilisant des modèles de diffusion. Il évite les goulots d'étranglement informationnels des méthodes basées sur des prompts et les artefacts des méthodes basées sur l'optimisation.
4. Taxonomie Unifiée : Une catégorisation systématique des méthodes d'IM visuelle basée sur leur objet d'étude, leur formulation de contrainte et leur méthodologie d'échantillonnage, clarifiant pourquoi les méthodes précédentes échouent à atteindre simultanément fidélité et interprétabilité.

4. Résultats Expérimentaux

Les auteurs ont évalué EnergyDPS sur les caractéristiques DINOv3 ResNeXt Large en utilisant un transcodeur (une variante SAE).

• Métriques Quantitatives :
  • Fidélité : EnergyDPS a atteint des niveaux d'activation comparables aux bases de référence (MACO, DiffExplainer) après calibration.
  • Interprétabilité : EnergyDPS a nettement surpassé les bases de référence sur QualiCLIP (interprétabilité perceptuelle) et NRQM (métrique de qualité sans référence). Par exemple, sur des caractéristiques aléatoires, EnergyDPS a obtenu un score QualiCLIP de 0,5791 contre 0,4228 pour MACO et 0,3259 pour DiffExplainer.
• Étude d'Interprétabilité en Aveugle :
  • Des évaluateurs humains et IA (GPT-5.4, Gemini-3-flash-lite) ont évalué des ensembles d'images générées pour des concepts sémantiques partagés.
  • EnergyDPS a obtenu les scores d'interprétabilité les plus élevés (par exemple, 2,92 de la part des humains contre 1,92 pour MACO) et la variance pondérée la plus faible dans les descriptions sémantiques, indiquant des concepts partagés plus cohérents et clairs.
• Validation sur Modèle Jouet :
  • Des expériences sur un Modèle de Mélange Gaussien 2D (GMM) ont confirmé les prédictions théoriques : les contraintes dures ont présenté une masse de frontière plus élevée et une instabilité TV plus forte par rapport au chemin KLSC lisse.
• Études d'Ablation :
  • Robustesse des Couches : EnergyDPS est resté efficace à travers différentes couches du réseau.
  • Dépendance à la Loi A Priori : L'utilisation d'une loi a priori biaisée (visages FFHQ) a dégradé les résultats, confirmant l'importance d'une loi a priori d'images naturelles alignée avec la distribution d'entraînement du modèle.
  • Dérive de l'Objet : Les expériences ont montré que l'ajout d'injection de tâche (prompts CLIP ou références au niveau des pixels) a provoqué des décalages sémantiques significatifs même lorsque l'activation intrinsèque était équivalente, validant la nécessité d'objectifs purement intrinsèques.

5. Signification et Revendications

L'article revendique que sa contribution principale est un changement fondamental de perspective, passant de la visualisation heuristique à l'inférence distributionnelle.

• Solidité Théorique : Les auteurs soutiennent que les échecs précédents en IM visuelle découlent de biais structurels dans la formulation des contraintes (dure vs souple) et l'échantillonnage (récupération/optimisation vs échantillonnage distributionnel). Le principe KLSC fournit une base mathématique rigoureuse pour équilibrer fidélité et interprétabilité.
• Efficacité Pratique : EnergyDPS démontre qu'il est possible de générer des visualisations à la fois hautement fidèles aux mécanismes internes du modèle et perceptuellement naturelles, surpassant les méthodes de l'état de l'art sur les caractéristiques DINOv3.
• Limites : Les auteurs reconnaissent modestement que, bien que les images naturelles fournissent un espace de référence à perte minimale, elles ne peuvent pas capturer entièrement tous les concepts compréhensibles par l'humain (par exemple, des preuves non naturelles mais pertinentes pour le modèle). De plus, EnergyDPS engendre un coût computationnel dû au processus d'échantillonnage par diffusion, le rendant plus lent que les bases de référence basées sur l'optimisation.

En résumé, l'article postule que comprendre les caractéristiques visuelles nécessite de modéliser la manière dont elles redéfinissent la distribution des images naturelles, et que le principe KLSC combiné à EnergyDPS offre une solution théoriquement fondée et pratiquement efficace à ce défi.