🤖 machine learning

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

Cet article introduit les autoencodeurs creux équivariants, qui incorporent les symétries des données pour résoudre les problèmes d'indéterminabilité des SAE standards sur les ensembles de données symétriques, découvrant ainsi des caractéristiques plus utiles et interprétables même lorsque la qualité de reconstruction est moindre.

Auteurs originaux : Ege Erdogan, Ana Lucic

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ege Erdogan, Ana Lucic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot géant et super intelligent réfléchit. Vous ne pouvez pas lui poser de questions, alors vous devez donc jeter un coup d'œil à l'intérieur de son cerveau pendant qu'il travaille. Ce domaine s'appelle l'interprétabilité mécaniste, et c'est comme être un détective essayant de percer le code secret d'une boîte noire. Le cerveau du robot est composé de couches de minuscules interrupteurs (neurones) qui s'allument selon des motifs complexes. Le problème est que ces motifs sont désordonnés. Souvent, le robot mélange de nombreuses idées différentes dans un seul interrupteur, un phénomène que les chercheurs appellent la « superposition ». C'est comme essayer de lire un livre où chaque phrase est un mélange confus de trois histoires différentes ; vous savez que quelque chose se passe, mais vous ne pouvez pas dire quoi.

Pour corriger ce désordre, les scientifiques utilisent un outil appelé Autoencodeur Creux (SAE). Considérez un SAE comme un bibliothécaire super organisé. Son travail est de prendre ce méli-mélo désordonné d'interrupteurs allumés et de les trier en une liste nette de concepts clairs et uniques. Si le robot regarde l'image d'un chat, le bibliothécaire essaie de trouver l'interrupteur spécifique du « chat » et de l'allumer, tout en éteignant tout le reste. Pendant longtemps, cela a bien fonctionné pour des choses comme le texte, où les règles sont principalement les mêmes, peu importe la façon dont on lit un mot. Mais que se passe-t-il lorsque les données sont symétriques ? Dans le monde réel, beaucoup de choses se ressemblent même si on les fait pivoter ou si on les retourne. Un chat reste un chat qu'il soit orienté vers la gauche ou vers la droite. Si votre bibliothécaire ne connaît pas cette règle, il pourrait être confus, pensant qu'un « chat tourné vers la gauche » et un « chat tourné vers la droite » sont deux choses complètement différentes et sans rapport. Cet article demande : que se passe-t-il lorsque nous apprenons à notre bibliothécaire à respecter ces symétries ?

Les chercheurs, Ege Erdogan et Ana Lucic de l'Université d'Amsterdam, ont décidé d'améliorer l'outil de bibliothécaire standard pour gérer ces règles de rotation et de retournement. Ils appellent leur nouvel outil un Autoencodeur Creux Équivariant. Au lieu de simplement essayer de trier les lumières désordonnées en une liste, ils ont construit un système qui comprend : « Hé, si tu fais pivoter l'image, le concept de 'chat' ne disparaît pas ; il se déplace simplement à un autre endroit de la liste. » Ils ont testé cette idée sur un modèle de jouet, un ensemble de données de formes géométriques, ainsi que sur des images réelles de galaxies et de cellules sanguines.

Voici le rebondissement surprenant qu'ils ont découvert : les nouveaux bibliothécaires, conscients des symétries, étaient en fait moins bons pour reconstruire parfaitement les images originales que les anciens, désordonnés. Si vous mesuriez leur performance par la qualité avec laquelle ils pouvaient reconstruire l'image à partir de leurs notes, les anciens outils gagnaient. Cependant, lorsque les chercheurs ont posé une question différente — « Quelles notes sont réellement utiles pour comprendre ce que le robot voit ? » — les nouveaux outils étaient les grands vainqueurs. Les anciens bibliothécaires créaient des notes qui semblaient parfaites pour reconstruire l'image, mais qui étaient en fait moins utiles pour identifier les concepts réels. Les nouveaux bibliothécaires, même si leurs notes étaient un peu plus désordonnées à regarder, donna des une image beaucoup plus fidèle de ce que le robot pensait.

L'article suggère que pour les données présentant des symétries (comme les objets en rotation), la manière standard de juger ces outils — vérifier s'ils peuvent reconstruire l'entrée — est trompeuse. En fait, plus un outil est performant pour reconstruire l'image, moins ses caractéristiques pourraient être utiles pour comprendre les concepts sous-jacents. En intégrant la règle de symétrie directement dans l'outil, les chercheurs ont trouvé des caractéristiques qui étaient bien meilleures pour aider les ordinateurs à identifier des formes, des types de galaxies et des types de cellules, même si la reconstruction de l'image finale n'était pas parfaite. Ils n'ont pas prouvé que c'est la solution ultime pour chaque IA, mais leurs simulations et leurs expériences sur des données réelles suggèrent fortement que ignorer la symétrie rend nos outils pour comprendre l'IA moins fiables, et que nous devrions cesser de compter uniquement sur la « qualité de reconstruction » comme score principal.

Résumé Technique : Autoencodeurs Creux Équivariants

Énoncé du Problème

Les modèles d'apprentissage automatique, particulièrement dans les domaines scientifiques, opèrent souvent sur des données possédant des symétries intrinsèques (par exemple, les rotations dans le repliement des protéines, les images de galaxies ou la microscopie cellulaire). Bien que les Autoencodeurs Creux (Sparse Autoencoders - SAE) soient devenus un outil principal pour l'interprétabilité mécaniste en décomposant les activations denses de réseaux de neurones en caractéristiques creuses et interprétables, ils font face à une limitation critique lorsqu'ils sont appliqués à des données symétriques : l'indéterminabilité.

Les SAE standards supposent une Hypothèse de Représentation Linéaire (LRH) où les activations sont des combinaisons linéaires creuses de caractéristiques. Cependant, lorsque les données d'entrée possèdent des symétries (actions de groupe $G$ ), un SAE classique doit apprendre des directions de caractéristiques distinctes pour le même concept sémantique sous différentes transformations (par exemple, une caractéristique "chat" pour chaque rotation possible). Cela conduit à :

L'enchevêtrement des caractéristiques : Le modèle peut apprendre des caractéristiques non orthogonales et ininterprétables pour reconstruire des entrées disparates.
L'indéterminabilité : Différentes explications peuvent s'ajuster aussi bien aux données, mais une seule peut s'aligner avec la structure réelle sous-jacente.
Le désalignement métrique : La qualité de la reconstruction (MSE) échoue souvent à corréler avec l'utilité des caractéristiques, car les SAE peuvent apprendre des caractéristiques spécifiques à la reconstruction qui ne correspondent pas aux concepts réels.

L'article postule que les SAE actuels ne parviennent pas à prendre en compte ces symétries, ce qui conduit à une interprétabilité sous-optimale dans les domaines scientifiques où ces symétries sont prévalentes.

Méthodologie : SAE Équivariants

Les auteurs proposent les Autoencodeurs Creux Équivariants, qui étendent l'Hypothèse de Représentation Linéaire pour tenir explicitement compte des symétries de groupe.

1. Hypothèse de Représentation Linéaire Étendue

Les auteurs reformulent la LRH en stipulant que pour un groupe $G$ agissant sur les entrées $X$ , les activations du réseau de neurones se transforment de manière prévisible. Spécifiquement, si $x$ est transformé par $g \in G$ , les activations se transforment via une application linéaire $\rho(g)$ :
$\psi(gx) = \rho(g) \sum_{i=1}^C z(x)_i D_i = \sum_{i=1}^C z(x)_i (\rho(g) D_i)$
Ici, les magnitudes des caractéristiques $z(x)$ restent invariantes (coefficients creux), tandis que les vecteurs de caractéristiques $D_i$ se transforment selon l'action du groupe.

2. Conception de l'Architecture

Le SAE Équivariant découple l'apprentissage des caractéristiques invariantes de l'apprentissage des règles de transformation :

SAE Invariant : Une paire encodeur-décodeur entraînée pour mapper toutes les activations au sein d'une orbite (par exemple, toutes les rotations d'une image) vers une représentation latente canonique unique. Cela permet d'apprendre les caractéristiques invariantes.
Module de Transformation Linéaire : Un ensemble distinct de matrices apprenables ( $M, R$ ) qui modélisent comment la reconstruction canonique se transforme pour revenir à l'espace d'entrée original. Pour un groupe généré par $g, h$ , le modèle apprend des matrices telles que :
$M_p R_q D(E(\psi(g^p h^q x))) = \psi(g^p h^q x)$
Cela permet au SAE de capturer la structure de symétrie sans forcer le dictionnaire lui-même à être équivariant, ce qui nécessiterait un nombre impraticable de paramètres.

3. Stratégie d'Entraînement

L'entraînement se déroule en deux étapes indépendantes (qui peuvent être parallélisées) :

Entraînement du SAE Invariant : L'encodeur et le décodeur sont optimisés pour minimiser la perte de reconstruction sur des échantillons canoniques tout en imposant l'invariance. Les auteurs expérimentent trois objectifs de perte :
- $L_{Canonical}$ : Reconstruire un échantillon canonique à partir de n'importe quel membre de l'orbite.
- $L_{Latent}$ : Imposer l'invariance directement sur les codes latents ( $E(\psi(x)) \approx E(\psi(gx))$ ).
- $L_{Output}$ : Imposer l'invariance sur les sorties du SAE.
Apprentissage de la Transformation : Les matrices $M$ et $R$ sont optimisées pour minimiser l'erreur entre les activations transformées prédites et les activations transformées réelles du modèle de base.

Principales Contributions

Extension Théorique : L'article étend l'Hypothèse de Représentation Linéaire aux données symétriques, définissant formellement comment les coefficients et les vecteurs de caractéristiques se comportent sous les actions de groupe.
Innovation Algorithmique : La conception de SAE Équivariants qui séparent l'apprentissage des caractéristiques invariantes de la modélisation de la transformation, évitant ainsi l'explosion des paramètres d'un dictionnaire équivariant de groupe.
Validation Empirique : Démonstration à travers des jeux de données synthétiques et réels (formes, images de galaxies, cellules sanguines) que les SAE Équivariants surpassent les bases vanilla, Archetypal et Group Cross-coder en termes de récupération de caractéristiques et de tâches de sondage (probing) en aval.
Aperçu Métrique : La découverte que la qualité de la reconstruction est inversement corrélée à l'utilité des caractéristiques dans les contextes symétriques. Les SAE Équivariants atteignent souvent une meilleure qualité de reconstruction (MSE plus faible) que les SAE vanilla, mais produisent des caractéristiques plus interprétables et utiles.

Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur :

Modèles de Test (Toy Models) : Données synthétiques avec des caractéristiques équivariantes de vérité terrain connues.
Jeu de Données de Formes : Images synthétiques avec des symétries $C_4$ (rotations) et $D_4$ (rotations + réflexions), utilisant des modèles de base MLP, CNN et ViT.
GalaxyMNIST : Images réelles de galaxies avec des symétries $C_4/D_4$ .
MLL23 : Images de cellules sanguines périphériques utilisant un modèle de fondation DinoBloom.

Résultats Clés :

Récupération de Caractéristiques : Sur les modèles de test, les SAE Équivariants ont obtenu une récupération de caractéristiques supérieure (Similarité Cosinus Moyenne) et une détection supérieure (Score F1) par rapport aux bases, particulièrement dans les régimes surcomplets où l'interférence est élevée.
Sondage en Aval (Downstream Probing) : À travers tous les jeux de données, les sondes entraînées sur les latents des SAE Équivariants ont atteint une précision plus élevée pour classifier les propriétés des entrées (ex: présence de forme, orientation, type de cellule) que les sondes entraînées sur les latents des SAE vanilla. Dans certains cas (ex: GalaxyMNIST), elles ont égalé les performances des sondes entraînées directement sur les activations du modèle de base.
Reconstruction vs Utilité : Une tendance constante est apparue où les SAE Équivariants présentent une erreur de reconstruction plus élevée (pire MSE) que les SAE vanilla. Cependant, cette "mauvaise" reconstruction correspond à des caractéristiques plus alignées avec la structure sémantique réelle et plus utiles pour les tâches en aval.
Modélisation de la Transformation : Les matrices linéaires apprises ( $M, R$ ) ont réussi à expliquer plus de 97 % de la variance des transformations d'activation pour la plupart des modèles, validant l'hypothèse que les symétries d'entrée induisent des transformations linéaires dans l'espace des activations.

Signification et Revendications

L'article affirme qu'aligner les priors d'interprétabilité avec la structure connue des données (spécifiquement les symétries) est crucial pour obtenir des explications fidèles. Les auteurs soulignent deux implications majeures :

La Reconstruction n'est pas l'Interprétabilité : Se fier uniquement aux métriques de reconstruction (comme la MSE) pour évaluer les SAE est dangereux, particulièrement pour les données symétriques. Un modèle qui reconstruit mal les entrées peut néanmoins découvrir les caractéristiques les plus utiles et les plus interprétables.
Interprétabilité Spécifique au Domaine : Pour les applications scientifiques (ex: biologie, astronomie) où les symétries des données sont fondamentales, les SAE standards sont insuffisants. Les SAE Équivariants offrent une voie pour découvrir des caractéristiques robustes à ces symétries, menant potentiellement à de nouvelles découvertes scientifiques et à des systèmes d'IA plus fiables.

Le travail suggère que la recherche future en interprétabilité doit aller au-delà du codage creux générique et incorporer des priors structurels spécifiques au domaine pour éviter les pièges de l'indéterminabilité.