Résumé technique : Comment les structures d'optimalité structurent les dictionnaires creux

Énoncé du problème

Les auto-encodeurs creux (Sparse Autoencoders ou SAE) sont devenus un outil primaire pour l'interprétabilité mécaniste, parvenant avec succès à segmenter les représentations de réseaux de neurones en concepts interprétables par l'humain. Cependant, les fondements théoriques de ce que les SAE extraient réellement restent obscurs. Bien que les preuves empiriques suggèrent que les SAE apprennent des caractéristiques interprétables, les conclusions scientifiques tirées d'eux sont souvent ambiguës car la relation entre le dictionnaire appris et la structure sous-jacente des données n'est pas pleinement comprise.

Le travail théorique existant sur l'identifiabilité de l'apprentissage de dictionnaire repose souvent sur des modèles de génération de données spécifiques (par exemple, des caractéristiques indépendantes et creuses) qui modélisent mal les représentations complexes, hiérarchiques et « dévorantes d'Internet » que l'on trouve dans les grands modèles de langage (LLM). Par conséquent, des phénomènes empiriques déroutants — tels que la scission de caractéristiques (feature splitting, où un concept large dans un petit SAE se divise en concepts plus fins dans un SAE plus grand), l'absorption de caractéristiques (feature absorption, où des caractéristiques de haut niveau ne parviennent pas à co-s'activer avec des caractéristiques de bas niveau) et l'émergence de caractéristiques antipodales denses — manquent d'une explication théorique unifiée.

Cet article traite la question suivante : Quelles propriétés tout optimum d'apprentissage de dictionnaire doit-il satisfaire, quel que soit le processus spécifique de génération de données ? Les auteurs visent à dériver des contraintes sur les caractéristiques optimales des SAE directement à partir du paysage d'optimisation, en évitant de faire des hypothèses sur la distribution des données.

Méthodologie

Les auteurs analysent l'objectif classique de l'auto-encodeur creux, formulé comme un problème d'optimisation conjoint non négatif :
$$\min_{W, \{z^{(i)}\}, b} \mathbb{E}_i \left[ \|W z^{(i)} + b - x^{(i)}\|_2^2 + 2\lambda \|z^{(i)}\|_1 \right]$$
sous la contrainte $z^{(i)} \geq 0$ et $\|w_d\|_2 = 1$.

La méthodologie procède à travers trois étapes théoriques principales :

1. Reformulation et convexité : Les auteurs utilisent des arguments de symétrie d'échelle (s'appuyant sur Bach, Mairal et Ponce [BMP08]) pour reformuler le problème. Ils dérivent une formulation équivalente où la perte est une fonction quadratique non contrainte dans la matrice du dictionnaire $W$, permettant à $W$ d'être optimisée. Cela conduit à un problème défini entièrement sur la matrice de codage latent $Z$.

   • De manière cruciale, ils montrent que dans la « limite large » (où le nombre de neurones $d_z \geq$ le nombre de points de données $N$), le problème peut être reformulé en termes de la matrice de similitude de représentation $Q = Z^T Z$.
   • Sous la contrainte de non-négativité, $Q$ appartient à l'ensemble des matrices complètement positives ($CP_N$), qui est un ensemble convexe. Cela établit que le problème d'apprentissage de dictionnaire devient convexe dans la limite large, garantissant que les minima locaux sont des minima globaux.

2. Conditions d'optimalité locale : Les auteurs étendent les analyses d'optimalité locale (spécifiquement Gribonval et Schnass [GS10]) au problème d'optimisation conjoint non négatif. En analysant les perturbations de premier ordre qui préservent la non-négativité, ils dérivent les conditions nécessaires pour qu'une solution soit un minimum local.

   • Contraintes Caractéristique-Caractéristique : Ils dérivent une condition reliant la similitude cosinus entre les atomes du dictionnaire à l'enveloppe convexe des données normalisées observées lorsqu'une caractéristique spécifique est inactive.
   • Contraintes Caractéristique-Résidu : Ils dérivent des conditions reliant les caractéristiques optimales aux résidus de reconstruction, montrant comment la pénalité de parcimonie $\lambda$ contraint la relation entre les caractéristiques apprises et les données non modélisées.

3. Solutions analytiques dans des modèles simplifiés : Pour valider ces contraintes théoriques, les auteurs résolvent le problème d'optimisation de manière analytique pour des cas spécifiques, incluant des données de rang 1 (variables denses) et la limite convexe large.

Contributions clés et résultats

1. Contraintes géométriques sur la stabilité des caractéristiques

L'article dérive une condition nécessaire (Éq. 6) stipulant que pour qu'une caractéristique $d$ soit stable, le vecteur de similitudes cosinus entre $w_d$ et tous les autres éléments du dictionnaire doit se situer à l'intérieur de l'enveloppe convexe des points de données normalisés où la caractéristique $d$ est inactive.

• Implication : Cela explique pourquoi les catégories mutuellement exclusives sont stables (leurs enveloppes convexes couvrent l'espace nécessaire) et pourquoi les caractéristiques hiérarchiques (par exemple, « labrador » n'est actif que lorsque « chien » est actif) sont instables. Si « labrador » n'est jamais actif quand « chien » est inactif, l'enveloppe convexe s'effondre, déstabilisant la représentation à moins que les caractéristiques ne se scindent ou ne s'absorbent.

2. Explication de la scission et de l'absorption hiérarchiques

En utilisant les contraintes dérivées, l'article fournit un mécanisme théorique pour les comportements observés des SAE :

• Scission de caractéristiques (Feature Splitting) : Les structures hiérarchiques sont instables sous les conditions d'optimalité. Pour atteindre la stabilité, le SAE doit construire des caractéristiques pour les concepts de niveau inférieur qui soient mutuellement exclusives, effectuant ainsi une « scission » d'un concept large en composantes plus fines et non chevauchantes.
• Absorption de caractéristiques (Feature Absorption) : Inversement, si une caractéristique de bas niveau est un sous-ensemble d'une caractéristique de haut niveau, l'optimisation peut favoriser l'« absorption » des instances de co-activation dans la caractéristique de bas niveau pour satisfaire les contraintes d'enveloppe convexe, créant des lacunes contre-intuitives dans l'activation de la caractéristique de haut niveau.

3. Caractéristiques antipodales denses

Les auteurs analysent l'encodage de variables denses (variables actives sur une grande fraction des données) sous des contraintes de non-négativité.

• Résultat : Ils prouvent analytiquement que pour une variable scalaire dense, le code creux non négatif optimal consiste en deux neurones antipodaux (l'un encodant la composante positive, l'autre la composante négative).
• Seuil : Ils dérivent un seuil basé sur la parcimonie : si une variable est active moins de 50 % du temps, elle est encodée par un seul neurone ; si elle est active plus de 50 %, elle se divise en une paire antipodale. Cela explique les découvertes empiriques de paires antipodales denses dans les SAE entraînés avec des activations non négatives (ex: JumpReLU) et leur disparition avec les activations de valeur absolue.

4. La limite convexe large et le regroupement par rayons (Ray-Clustering)

Dans la limite où la largeur du dictionnaire dépasse la taille de l'ensemble de données ($d_z \geq N$), le problème est convexe.

• Optima globaux : Le minimum global correspond à une solution où chaque point de donnée est représenté par un atome unique du dictionnaire aligné avec le point de donnée (relativement au biais).
• Minima globaux les plus étroits : L'article caractérise le dictionnaire le plus étroit qui atteint ce minimum global. Il dépend de la médiane géométrique de l'ensemble de données (le biais optimal $b$) et du nombre de « rayons » nécessaires pour atteindre tous les points de données plus loin que $\lambda$ de $b$.
• Implication : Cela suggère qu'à mesure que la largeur du SAE augmente, les caractéristiques continueront de se scinder jusqu'à ce que chaque « rayon » de données possède son propre atome, renforçant la dépendance des concepts découverts vis-à-vis de la largeur du SAE.

Signification et affirmations

L'article affirme fournir un cadre théorique pour comprendre le comportement des SAE en séparant les propriétés du problème d'optimisation de la distribution spécifique des données.

• Outil vs Objet : Les auteurs soutiennent que les observations issues des SAE sont filtrées par les hypothèses de l'outil (apprentissage de dictionnaire). Des phénomènes comme la scission ou l'absorption ne sont pas nécessairement des preuves de la manière dont les réseaux de neurones représentent l'information, mais plutôt des conséquences involontaires de l'application du codage creux à des données structurées de manière hiérarchique.
• Interprétabilité : En comprenant ces contraintes d'optimalité, les chercheurs peuvent mieux distinguer les représentations neuronales authentiques des artefacts de l'architecture du SAE. Cela permet de lier plus précisément les observations au comportement sous-jacent du réseau.
• Principes de conception : Les intuitions théoriques offrent des principes pour concevoir les futurs SAE. Par exemple, comprendre les conditions de stabilité des caractéristiques pourrait guider le développement d'architectures ou de fonctions de perte qui préservent mieux les structures hiérarchiques ou empêchent la scission indésirable.

Les auteurs restent modestes, reconnaissant que leur analyse se concentre sur le problème d'apprentissage de dictionnaire « classique » et que les SAE du monde réel utilisant des architectures d'encodeurs spécifiques (ex: ReLU, JumpReLU) peuvent introduire des contraintes supplémentaires. Cependant, ils affirment que les conditions d'optimalité dérivées fournissent une base fondamentale pour interpréter les succès et les échecs des implémentations actuelles de SAE.