Résumé Technique : Les Autoencodeurs Bilinéaires Découvrent des Variétés Interprétables

Énoncé du Problème

L'interprétabilité mécanistique actuelle repose fortement sur les Autoencodeurs Parsimonieux (SAE) pour révéler des représentations latentes interprétables dans les réseaux de neurones. Ces méthodes opèrent sous l'Hypothèse de Représentation Linéaire, en supposant que les concepts sont encodés le long de directions linéaires. Cependant, des recherches récentes indiquent que les concepts saillants s'étendent souvent sur des variétés complexes et multidimensionnelles (par exemple, des ellipsoïdes, des hyperboloïdes) que les méthodes linéaires ne peuvent capturer sans analyse a posteriori. De plus, l'étude isolée des latents linéaires échoue souvent à rendre compte de la dépendance au contexte, où la signification d'un latent évolue en fonction des caractéristiques co-activées. Bien que l'augmentation de la capacité du modèle puisse capturer davantage de structure, une expressivité illimitée conduit souvent à des solutions triviales qui contrecarrent l'interprétabilité. Le défi central consiste à trouver une classe de représentation suffisamment non linéaire pour capturer ces variétés, mais suffisamment algébriquement traitable pour permettre une analyse géométrique sous forme fermée et une compréhension compositionnelle.

Méthodologie

L'article propose les Autoencodeurs Bilinéaires comme solution, étendant l'architecture standard des autoencodeurs parsimonieux pour apprendre des latents quadratiques.

Architecture

Au lieu de reconstruire directement le vecteur d'entrée $x$, l'autoencodeur bilinéaire reconstruit l'espace produit relevé $X = xx^\top$.

• Encodeur : Le modèle utilise des Unités Linéaires à Portes (GLU) adaptées pour calculer des polynômes du second ordre. L'activation du $i$-ème latent est définie par $z_i = x^\top W_i x$, où $W_i$ est une matrice symétrique représentant une forme quadratique.
• Décodeur : La reconstruction est effectuée linéairement dans l'espace relevé : $\hat{X} = W^\top W X$.
• Efficacité de l'Entraînement : La matérialisation directe de la matrice $d \times d$ $X$ est computationnellement intraitable pour les grands modèles. Les auteurs emploient une astuce de noyau pour calculer la fonction de perte de reconstruction et les gradients sans construire explicitement $X$. La matrice de noyau $K = WW^\top$ est calculée efficacement via la factorisation $K = C^\top (LL^\top \odot RR^\top) C$, où $L$ et $R$ sont des matrices de facteurs de l'encodeur et $C$ est une matrice de composition.
• Parsimonie : Les auteurs introduisent la densité de Hoyer comme pénalité d'échelle invariante pour la parcimonie. Contrairement aux pénalités $L_1$ standard qui peuvent provoquer un rétrécissement trivial, la densité de Hoyer encourage la prédominance relative au sein du lot, garantissant que les latents s'activent sélectivement sur des structures spécifiques sans s'effondrer vers zéro.

Hypothèses Structurelles

L'article formalise trois hypothèses de représentation imbriquées qui définissent les priors géométriques des atomes du dictionnaire :

1. Hypothèse de Représentation Quadratique : Le dictionnaire est composé de matrices symétriques $W_i$. Le modèle décompose $xx^\top$ en une somme parcimonieuse de ces matrices. Cela permet la détection de géométries quadriques (ellipsoïdes, hyperboloïdes, paraboloïdes).
2. Hypothèse de Représentation Atomique : Une contrainte où chaque atome du dictionnaire est une matrice de rang 1 ($W_i = w_i w_i^\top$). Le champ récepteur est un « plan » symétrique (deux hyperplans parallèles), détectant l'énergie le long d'une direction indépendamment du signe.
3. Hypothèse de Représentation Composite : Les atomes du dictionnaire sont des mélanges parcimonieux de matrices de rang 1 ($W_i = \sum C_{ij} w_j w_j^\top$). Cela permet au modèle d'apprendre automatiquement des sous-espaces de rang faible. Un atome composite peut former un ellipsoïde (si défini positif semi-défini) ou un hyperboloïde (si indéfini), capturant efficacement des concepts qui nécessitent plusieurs directions linéaires pour être définis.

Contributions Clés

1. Architecture : Les auteurs adaptent les autoencodeurs bilinéaires pour l'apprentissage de dictionnaire, permettant un entraînement efficace via une astuce de noyau. Cela fournit une extension naturelle et traitable des SAE linéaires qui opère dans l'espace des poids, permettant une analyse géométrique sans passes avant.
2. Cadre : Ils proposent un cadre formel de priors structurels (Atomique, Composite, Quadratique) qui mappent les contraintes du dictionnaire vers des géométries de champ récepteur spécifiques (plans, ellipsoïdes/hyperboloïdes, et quadriques arbitraires). Cela remet en question l'hypothèse linéaire standard en démontrant que les concepts peuvent être détectés par leur proximité avec des surfaces quadriques plutôt qu'avec des demi-espaces linéaires.
3. Validation Empirique :
   • Reconstruction : Les expériences sur Qwen 3.5 (0,8B), Gemma-3 (1B) et Llama-3.2 (1B) montrent que les latents composites et quadratiques atteignent systématiquement une erreur de reconstruction (NMSE) plus faible que les latents atomiques (rang 1) et les bases linéaires.
   • Prévalence Géométrique : L'analyse spectrale révèle que, bien que de nombreux concepts soient de rang faible, une « longue traîne » significative de concepts nécessite des géométries de dimension supérieure (rang > 1) pour être capturée avec précision.
   • Stabilité : Bien que les atomes individuels du dictionnaire (décompositions) varient considérablement d'une exécution d'entraînement à l'autre et selon les hyperparamètres, le sous-espace d'entrée global récupéré par les autoencodeurs reste hautement stable (>90 % de similarité). Cela suggère que la décomposition spécifique est moins importante que la structure de la variété sous-jacente.
   • Analyse Qualitative : Un visualiseur interactif démontre que les autoencodeurs bilinéaires capturent des motifs géométriques divers, notamment des cônes (années), des clusters (lieux), des interpolations (ponts sémantiques) et des sous-ensembles (distinctions contextuelles comme « pour » vs « par exemple »).

Importance et Revendications

L'article soutient que les autoencodeurs bilinéaires représentent une étape significative vers des représentations latentes non linéaires mais mathématiquement traitables.

• Au-delà de la Linéarité : Le travail remet en question la domination de l'hypothèse de représentation linéaire, montrant que les concepts saillants habitent souvent des variétés multidimensionnelles que les méthodes linéaires manquent.
• Interprétabilité Compositionnelle : En utilisant des polynômes, le modèle garantit que la composition se produit dans l'espace des poids. Cela permet des interactions explicites et calculables entre les caractéristiques, faisant passer l'interprétabilité de bases isolées à des structures compositionnelles compréhensibles.
• Découverte de Variétés : Les auteurs positionnent ces modèles comme des outils non supervisés pour la découverte de variétés. Parce que la géométrie est lue directement à partir des tenseurs de poids (valeurs propres et vecteurs propres de $W_i$), les modèles offrent une « lentille » sur la géométrie de la représentation qui est interprétable par conception.
• Portée Modeste : Les auteurs déclarent explicitement que les priors structurels présentés constituent une preuve de concept. Ils ne prétendent pas avoir balayé tous les priors possibles pour trouver le compromis optimal, ni avoir résolu l'ablation causale. Au lieu de cela, ils présentent cela comme une fondation pour les travaux futurs en matière de pilotage causal et de caractérisation des priors géométriques que des modèles spécifiques préfèrent.

L'article conclut que, bien que les méthodes linéaires soient utiles, le domaine doit évoluer vers des représentations capables de modéliser explicitement la géométrie courbe et de haute dimension inhérente aux activations des réseaux de neurones pour atteindre une véritable compréhension compositionnelle.