Résumé technique : Évaluer l'interprétabilité des autoencodeurs creux avec des annotations de concepts

Problématique

Les autoencodeurs creux (Sparse Autoencoders ou SAE) sont de plus en plus utilisés pour décomposer les représentations internes de haute dimension des modèles de vision et de vision-langage (par exemple, CLIP, DINOv2) en latents creux et interprétables. Cependant, les méthodes d'évaluation existantes pour les SAE de vision reposent fortement sur des proxys structurels (par exemple, la fidélité de reconstruction, la parcimonie) ou sur une inspection qualitative. Ces méthodes ne parviennent pas à mesurer la correspondance sémantique — le degré auquel les latents appris s'alignent avec des concepts compréhensibles par l'humain.

De plus, les modèles de vision présentent des modes de défaillance systématiques tels que la fragmentation de caractéristiques (un concept fragmenté sur plusieurs latents), l'absorption de caractéristiques (des caractéristiques générales développant des zones aveugles) et la composition de caractéristiques (des concepts cooccurrents qui fusionnent). Les métriques actuelles, souvent adaptées du traitement du langage naturel, peinent à valider si un latent encode réellement un attribut sémantique spécifique ou s'il ne fait que corréler avec lui en raison de facteurs de confusion. Crucialement, l'évaluation fonctionnelle en vision est difficile car isoler un changement sémantique unique dans des images naturelles est non trivial sans interventions contrôlées.

Méthodologie

Les auteurs proposent un cadre d'évaluation ancré dans l'humain qui quantifie l'alignement entre les latents des SAE et les concepts annotés par l'humain sans nécessiter d'études utilisateurs. Le cadre se compose de trois composantes principales :

1. Appariement Latent-Concept

Pour mesurer l'alignement statistique, les auteurs comparent les activations binarisées des SAE contre des vecteurs d'attributs binaires de vérité terrain.

• Appariement Un-à-Un : Sélectionne le latent unique maximisant le score F1 pour un attribut donné.
• Recherche d'Appariement Entièrement Binaire (Fully-Binary Matching Pursuit - FBMP) : Reconnaissant que les caractéristiques se fragmentent souvent sur plusieurs latents, les auteurs introduisent une procédure d'appariement basée sur des coalitions. La FBMP est un algorithme de sélection glouton et séquentiel adapté au domaine binaire. Contrairement à la Recherche de Correspondance (Matching Pursuit) standard, elle opère entièrement dans l'espace binaire :
  • Elle utilise des métriques de similitude binaire (par exemple, $F_\beta$) au lieu de produits scalaires.
  • Elle utilise les opérateurs logiques OU ($\lor$) pour sommer les contributions et ET/NON ($\land, \neg$) pour mettre à jour les résidus.
  • Elle construit un petit sous-ensemble (coalition) de latents qui reconstruisent collectivement l'annotation de l'attribut, supportant ainsi les mappages de type plusieurs-vers-un.
• $\Delta$MATCHScore : Pour tenir compte de l'inflation des scores d'appariement dans les dictionnaires plus larges (où les corrélations aléatoires augmentent), les auteurs soustraient le score d'appariement d'un SAE non entraîné (poids aléatoires) du score du SAE entraîné.

2. Benchmarks d'Intervention Synthétique

Pour permettre une validation fonctionnelle, les auteurs construisent deux ensembles de données synthétiques où les paires d'images diffèrent par exactement un attribut sémantique :

• synCUB : Dérivé de CUB-200-2011, cet ensemble de données cible des perturbations d'attributs fins (par exemple, changer un motif ventral "uni" en "tacheté") dans des images d'oiseaux à objet unique. Il utilise Flux2 pour éditer les images de base guidées par des images de référence, préservant l'identité, la pose et l'arrière-plan.
• synCOCO : Dérivé de MS-COCO, cet ensemble de données cible la suppression d'objets dans des scènes complexes multi-objets. Il supprime des objets spécifiques tout en préservant le reste de la scène, répondant au défi des interventions contrôlées dans des contextes naturalistes.

3. Score d'Alignement de Perturbation d'Attribut Ciblé (TAPAScore)

Cette métrique teste si les latents appariés répondent de manière sélective et dans la direction attendue sous des perturbations ciblées.

• Pour une paire d'images $(x, \hat{x})$ différant d'un seul attribut, les auteurs calculent la réponse signée du coalition de latents appariée à l'attribut ajouté ou supprimé.
• Le TAPAScore est défini comme $\Delta_{add} - \Delta_{rem}$, où $\Delta$ représente le changement moyen de l'activation maximale du ensemble de latents appariés. Un score positif indique que les latents augmentent lorsque l'attribut est ajouté et diminuent lorsqu'il est supprimé, confirmant un encodage causal.

Contributions Clés

1. Algorithme FBMP : Une nouvelle procédure d'appariement par coalition qui supporte les mappages plusieurs-vers-un entre les latents des SAE et les concepts. Les auteurs démontrent que la FBMP surpasse systématiquement les baselines un-à-un et échoue aux tests de cohérence (sanity checks) là où les métriques existantes (comme le Feature Monosemanticity Score ou CKNNA) échouent.
2. Benchmarks Synthétiques (synCUB & synCOCO) : Les premiers benchmarks de type intervention pour l'évaluation des SAE dans des images naturalistes, permettant des perturbations contrôlées d'attributs et d'objets.
3. TAPAScore : Une métrique fonctionnelle qui valide si les correspondances statistiques correspondent à des encodages sémantiques causaux en testant la directionnalité de la réponse sous perturbation.
4. Directives Empiriques : L'étude fournit des conseils exploitables pour les praticiens, recommandant des tailles de dictionnaire modérées et la combinaison de la FBMP avec le TAPAScore pour une évaluation optimale de l'interprétabilité.

Résultats Expérimentaux

Le cadre a été évalué sur des SAE entraînés sur des embeddings CLIP et DINOv2 à travers différentes tailles de dictionnaires ($128$à$4096$) et variantes de SAE (TopK, BatchTopK, Matryoshka, JumpReLU).

• Tests de Cohérence (Sanity Checks) : Le TAPAScore et le $\Delta$MATCHScore (avec FBMP) sont les seules métriques capables de distinguer de manière fiable les SAE entraînés des baselines non entraînés ou aléatoires. Les métriques comme CKNNA et le Feature Monosemanticity Score (FMS) montrent une sensibilité limitée ou un comportement incohérent (par exemple, CKNNA augmentant pour les SAE non entraînés).
• Performance d'Appariement : La FBMP surpasse systématiquement l'appariement un-à-un dans toutes les variantes. La variante $F_{0.5}$ de la FBMP (favorisant la précision) produit généralement les scores les plus élevés.
• Compromis de Taille de Dictionnaire :
  • Augmenter la taille du dictionnaire (surcomplétude) améliore les scores d'appariement statistique ($\Delta$MATCHScore) jusqu'à un certain point, mais dégrade souvent l'alignement de perturbation (TAPAScore).
  • Pour les SAE TopK sur CUB, le TAPAScore culmine tôt puis décline brusquement à mesure que la taille du dictionnaire augmente, indiquant que les dictionnaires plus larges atteignent un meilleur alignement statistique sans encoder de concepts causalement valides.
  • Des tailles de dictionnaire modérées (ex: 256–1024 selon la variante) offrent le meilleur compromis entre couverture sémantique et sélectivité fonctionnelle.
• Corrélation : Bien que les scores d'appariement et le TAPAScore soient généralement positivement corrélés, la divergence à de grandes tailles de dictionnaire (où l'appariement s'améliore mais le TAPAScore chute) souligne que l'alignement statistique est insuffisant pour garantir l'interprétabilité.

Signification et Revendications

L'article affirme que l'interprétabilité ne peut être supposée par la seule conception architecturale ou la qualité de reconstruction ; elle doit être explicitement évaluée par rapport à des concepts compréhensibles par l'humain. Le cadre proposé opérationnalise l'interprétabilité comme l'alignement entre les caractéristiques apprises et les concepts annotés, validé par des interventions contrôlées.

Les auteurs concluent que des tailles de dictionnaire modérées offrent le meilleur équilibre, produisant les SAE les plus interprétables. Ils recommandent la FBMP ($F_{0.5}$, $k=3$) couplée au TAPAScore comme protocole d'évaluation par défaut. Ce travail souligne qu'une augmentation de la surcomplétude peut réduire l'alignement de perturbation, suggérant une perte d'interprétabilité malgré l'amélioration des métriques statistiques.

Les auteurs reconnaissent des limites, notant que la qualité du cadre est bornée par la granularité et la précision des annotations humaines. Ils suggèrent que les travaux futurs pourraient réduire la dépendance aux annotations manuelles en exploitant les modèles vision-langage pour la génération automatique d'attributs et explorer l'utilisation du TAPAScore comme outil de pilotage actif de modèles.