The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

Résumé technique : Le Mur Géométrique : La Structure de Variété Prédit les Lois d'Échelle Couche par Couche des Autoencodeurs à Dictionnaire Sparse

Énoncé du Problème
Les Autoencodeurs à Dictionnaire Sparse (SAE) opérationnalisent l'Hypothèse de Représentation Linéaire (LRH) en reconstruisant les activations du modèle comme des combinaisons linéaires éparses d'atomes de dictionnaire. Cette approche suppose implicitement que l'espace des activations est bien approximé par une structure globalement linéaire. Cependant, les lois d'échelle existantes pour la perte de reconstruction des SAE — spécifiquement la loi de puissance conjointe reliant la perte à la largeur du dictionnaire ($n$) et à l'éparcité ($k$) — n'ont été ajustées que sur des couches individuelles (par exemple, la couche 5/6 de GPT-4) et ne tiennent pas compte de la variation marquée de l'erreur de reconstruction observée entre différentes couches d'un réseau.

L'article soutient que cette variation n'est pas simplement une limitation de ressources, mais une trace empirique d'un désaccord géométrique. Alors que les SAE supposent une base plate et globalement linéaire, les variétés d'activation des grands modèles de langage sont courbes, et leur dimension intrinsèque varie systématiquement avec la profondeur. Par conséquent, aucun dictionnaire linéaire sparse unique ne peut correspondre uniformément à ces variétés, ce qui fait que l'échelle largeur-éparcité du SAE devient une fonction dépendante de la couche de la géométrie de la variété, plutôt qu'une loi universelle.

Méthodologie
Les auteurs mènent la première étude d'échelle inter-couches utilisant 844 points de contrôle de SAE du flux résiduel de la famille Gemma Scope, couvrant toutes les 26 couches de Gemma 2 2B et toutes les 42 couches de Gemma 2 9B. L'analyse se déroule en deux étapes :

1. Étape 1 : Ajustement de Surface d'Échelle par Couche

   • Pour chaque couche, les auteurs ajustent une surface d'échelle log-linéaire « sans plancher » à la perte de reconstruction ($L$) en fonction de la largeur du dictionnaire ($n$) et de l'éparcité ($k$).
   • En raison d'une couverture limitée en largeur à la plupart des couches (seules deux largeurs de base disponibles), ils ajustent une surface à 4 paramètres : $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
   • À partir de cela, ils dérivent l'exponentielle d'échelle de largeur par couche $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$.
   • À six couches « vitrines » avec des grilles de largeur plus riches ($\ge3$ largeurs), ils effectuent un ajustement non linéaire conjoint d'une surface à 6 paramètres « avec plancher » ($L = A(k)n^{-\alpha(k)} + B(k)$) pour identifier le plancher de reconstruction asymptotique $B(k)$.

2. Étape 2 : Régression Géométrique Inter-couches

   • Les auteurs calculent quatre résumés géométriques par couche de la variété d'activation en utilisant des estimateurs euclidiens extrinsèques (TWO-NN, PCA multi-échelle, etc.) :
     • Dimension intrinsèque ($d_{int}$) : Degrés de liberté locaux.
     • Courbure multi-échelle ($\kappa_{ms}$) : Écart moyen par rapport au plan tangent à travers des rayons variables.
     • Variation tangentielle ($\kappa_{tv}$) : Taux de rotation de l'espace tangent.
     • Hétérogénéité ($\nu$) : Variation locale de la dimension intrinsèque.
   • Ils régressent les sorties de l'Étape 1 (spécifiquement l'exposant de largeur $\alpha_\ell(k)$ et les coefficients $\beta_n, \gamma$) contre ces résumés géométriques en utilisant les Moindres Carrés Ordinaires (OLS).
   • Les tests d'hypothèse comparent une nullité invariante par la géométrie ($H_0$) contre des modèles où la cible dépend de caractéristiques uniques, de paires de caractéristiques à faible corrélation, ou des quatre caractéristiques.
   • Transfert Inter-modèles : Les coefficients appris sur un modèle (par exemple, 2B) sont utilisés pour prédire les exposants par couche de l'autre modèle (9B) afin de tester l'existence d'une loi géométrique transférable.

Contributions Clés

1. Cadre Géométrique pour les Résidus SAE : L'article fournit un compte rendu informationnel-géométrique par tirage en arrière (pullback) expliquant pourquoi les espaces d'activation peuvent ne pas admettre de codes linéaires épars globalement efficaces. Il postule que la métrique « naturelle » sur l'espace d'activation est la métrique de Fisher-Rao par tirage en arrière, tandis que les SAE optimisent pour la distance euclidienne ambiante, créant un désaccord base-variété.
2. Loi d'Échelle Conditionnée par la Géométrie : Les auteurs étendent la loi d'échelle largeur-éparcité standard à un compte rendu conditionné par la géométrie. Ils démontrent que les paramètres de la loi d'échelle (spécifiquement l'exposant de largeur) sont des fonctions par couche de la géométrie de la variété d'activation.
3. Loi Géométrique Inter-modèles et Couplage de Plancher :
   • Ils montrent que les coefficients de régression appris sur un modèle prédisent avec succès les exposants d'échelle de largeur par couche d'un autre modèle, indiquant une loi géométrique transférable.
   • Aux couches vitrines, le plancher de reconstruction asymptotique ($B$) suit l'ordre géométrique : les couches avec une courbure et une dimension intrinsèque plus élevées présentent des planchers irréductibles plus élevés.

Résultats

• Prédiction des Exposants d'Échelle : La géométrie de la variété prédit fortement l'exposant d'échelle de largeur par couche $\alpha_\ell(k=50)$. La courbure multi-échelle ($\kappa_{ms}$) est la caractéristique unique dominante, expliquant presque toute la variation inter-couches dans le modèle 2B et la majorité dans le modèle 9B.
• Transférabilité : La loi géométrique est transférable. Les coefficients de régression ajustés sur Gemma 2 2B prédisent les exposants 9B avec une haute fidélité ($R^2 \approx 0,92-0,93$), et vice versa, suggérant que la relation n'est pas un artefact d'une taille de modèle spécifique.
• Le Mur Géométrique : Aux couches où le plancher asymptotique est identifiable, l'ampleur du plancher corrèle avec la complexité géométrique. Une courbure et une dimension intrinsèque plus élevées correspondent à des planchers plus élevés. Cela est interprété comme un résidu d'ordre second irréductible : un dictionnaire linéaire sparse plat ne peut pas approximer parfaitement une variété courbe, laissant une erreur résiduelle qui ne disparaît pas même lorsque la largeur du dictionnaire tend vers l'infini.
• Interprétation Mécaniste : Le « mur géométrique » n'est pas un plafond de ressources finies mais une limite dépendante de la géométrie. Une courbure plus élevée augmente l'écart d'ordre second par rapport au plan tangent, tandis qu'une dimension intrinsèque plus élevée réduit la part de l'espace tangent local couvrable par un budget d'atomes fini.

Signification et Revendications
L'article prétend reconfigurer la limite SAE comme un mur dépendant de la géométrie plutôt qu'un plafond de ressources. Il soutient que la variation de la fidélité des SAE entre les couches est conditionnée par la structure géométrique des activations, que les pratiques actuelles d'échelle sur une seule couche laissent sans modèle.

Les auteurs ne prétendent pas que les SAE sont inadaptés à l'interprétabilité. Au contraire, ils affirment que le comportement d'échelle par couche est fondamentalement contraint par la structure de variété que le SAE tente de reconstruire. Les résultats suggèrent que l'hypothèse de « représentation linéaire » est une approximation dépendante de la métrique ; les « directions linéaires significatives » ne sont pas libres de métrique, et l'alignement entre la métrique euclidienne ambiante (utilisée par les SAE) et la métrique de prédiction par tirage en arrière varie systématiquement avec la profondeur. Le travail fournit un cadre diagnostique pour comprendre où et pourquoi la reconstruction SAE échoue, la reliant directement à la géométrie intrinsèque des états cachés du réseau neuronal.