The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

技術的サマリー：幾何学的壁——多様体構造が層別スパースオートエンコーダのスケーリング則を予測する

問題定義
スパースオートエンコーダ（SAE）は、モデルの活性化を辞書原子のスパースな線形結合として再構成することで、線形表現仮説（LRH）を実用的に定式化する。このアプローチは、活性化空間が全球的な線形構造によってよく近似されると暗黙的に仮定している。しかし、SAE の再構成損失に関する既存のスケーリング則、特に損失と辞書幅（$n$）およびスパース性（$k$）との間の結合べき乗則は、単一の層（例えば GPT-4 の層 5/6）においてのみ適合されており、ネットワークの異なる層間で観測される再構成誤差の急激な変動を考慮していない。

本論文は、この変動が単なるリソースの制約ではなく、幾何学的なミスマッチの経験的痕跡であると主張する。SAE は平坦で全球的に線形な基底を仮定するが、大規模言語モデルの活性化多様体は曲がっており、その内在次元は深さに応じて体系的に変化する。したがって、単一のスパース線形辞書ではこれらの多様体を均一にマッチングできず、SAE の幅 - スパース性のスケーリングは、普遍的な法則というよりは、多様体の幾何学に依存する層依存関数となる。

手法
著者は、Gemma 2 2B の全 26 層と Gemma 2 9B の全 42 層を網羅する、Gemma Scope ファミリーからの 844 個の残差ストリーム SAE チェックポイントを用いて、初の層間スケーリング研究を実施した。分析は 2 つの段階で進行する。

1. 段階 1：層別スケーリング曲面の適合

   • 各層において、再構成損失（$L$）を辞書幅（$n$）とスパース性（$k$）の関数として、「フロアなし」の対数線形スケーリング曲面に適合させる。
   • ほとんどの層で幅の範囲が限定的（ベースバックの幅が 2 つのみ）であるため、4 パラメータ曲面 $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$ を適合させる。
   • これより、層別の幅スケーリング指数 $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$ を導出する。
   • 幅グリッドが豊富な 6 つの「ショーケース」層（幅 $\ge3$）では、漸近的な再構成フロア $B(k)$ を特定するために、6 パラメータの「フロアあり」曲面（$L = A(k)n^{-\alpha(k)} + B(k)$）の結合非線形適合を行う。

2. 段階 2：層間幾何回帰

   • 著者は、外部ユークリッド推定量（TWO-NN、マルチスケール PCA など）を用いて、活性化多様体の 4 つの層別幾何学的要約を計算する。
     • 内在次元（$d_{int}$）：局所的な自由度。
     • マルチスケール曲率（$\kappa_{ms}$）：変化する半径にわたる接平面からの平均的な逸脱。
     • 接空間変動（$\kappa_{tv}$）：接空間の回転率。
     • 不均一性（$\nu$）：内在次元の局所的変動。
   • これらの幾何学的要約に対して、段階 1 の出力（特に幅指数 $\alpha_\ell(k)$ と係数 $\beta_n, \gamma$）を、最小二乗法（OLS）を用いて回帰する。
   • 仮説検定では、幾何不変の帰無仮説（$H_0$）を、単一特徴、低相関の特徴ペア、または 4 つ全ての特徴に依存するモデルと比較する。
   • モデル間転移：あるモデル（例：2B）で学習した係数を用いて、他モデル（9B）の層別指数を予測し、転移可能な幾何法則をテストする。

主要な貢献

1. SAE 残差のための幾何学的枠組み：本論文は、活性化空間が全球的に効率的なスパース線形符号を許容しない理由を説明する、プルバック情報幾何学的な記述を提供する。活性化空間上の「自然な」計量はプルバック・フィッシャー・ラオ計量であるが、SAE は環境ユークリッド距離の最適化を行うため、基底と多様体のミスマッチが生じると仮定している。
2. 幾何条件付きスケーリング則：著者は、標準的な幅 - スパース性スケーリング則を、幾何条件付きの説明に拡張する。スケーリング則のパラメータ（特に幅指数）が、活性化多様体の幾何学に依存する層別関数であることを実証する。
3. モデル間幾何法則とフロアの結合：
   • あるモデルで学習した回帰係数が、他モデルの層別幅スケーリング指数を成功裡に予測することを示し、転移可能な幾何法則を明らかにする。
   • ショーケース層において、漸近的な再構成フロア（$B$）は幾何学的順序を追跡する。曲率と内在次元が高い層は、より高い不可避なフロアを示す。

結果

• スケーリング指数の予測：多様体の幾何学は、層別幅スケーリング指数 $\alpha_\ell(k=50)$ を強く予測する。マルチスケール曲率（$\kappa_{ms}$）が支配的な単一特徴であり、2B モデルにおける層間変動のほぼ全て、9B モデルにおける大部分を説明する。
• 転移性：幾何法則は転移可能である。Gemma 2 2B に適合した回帰係数は、9B の指数を高い忠実度（$R^2 \approx 0.92-0.93$）で予測し、逆もまた同様であり、この関係が特定のモデルサイズのアーティファクトではないことを示唆する。
• 幾何学的壁：漸近的なフロアが同定可能な層において、フロアの大きさは幾何学的複雑さと相関する。より高い曲率と内在次元は、より高いフロアに対応する。これは、不可避な 2 次残差として解釈される。平坦なスパース線形辞書は曲がった多様体を完全に近似できず、辞書幅が無限大に近づいても消えない残差誤差が残る。
• メカニズム的解釈：「幾何学的壁」は有限のリソースの天井ではなく、幾何学に依存する限界である。より高い曲率は接平面からの 2 次逸脱を増加させ、より高い内在次元は、有限の原子予算でカバレッジ可能な局所接空間の割合を減少させる。

意義と主張
本論文は、SAE の限界をリソースの天井ではなく、幾何学に依存する壁として再定義することを主張する。層間の SAE の忠実度の変動は、現在の単一層スケーリング実践では未モデル化となっている活性化の幾何学的構造によって条件付けられると論じる。

著者は、SAE が解釈可能性に不適切であると主張するのではなく、層別スケーリング挙動は、SAE が再構成しようとする多様体構造によって根本的に制約されていると断言する。この知見は、「線形表現仮説」が計量依存の近似であることを示唆する。「意味のある線形方向」は計量自由ではなく、SAE が使用する環境ユークリッド計量と予測的なプルバック計量との間の整合性は、深さに応じて体系的に変化する。この研究は、SAE 再構成がどこで、なぜ失敗するかを理解するための診断枠組みを提供し、それをニューラルネットワークの隠れ状態の内在幾何学に直接結びつける。