技術要約：抽象化のダイナミクスに関する厳密解

問題提起

人工および生物学的ニューラルネットワークにおいて、高次概念は表現空間内の近似的な線形方向として振る舞うことが頻繁に観察される。この現象は**線形表現仮説（Linear Representation Hypothesis: LRH）**として定式化されており、概念検出のための線形プローブや活性化ステアリングといった多くの解釈可能性および制御手法の基礎となっている。先行研究では、抽象的表現（概念ベクトルが異なるコンテキスト間で完全に整列している状態）が損失関数のグローバルな最小値において出現し得ることが確立されているが、学習中にこれらの表現がどのように出現するかというダイナミクスについては、依然として理解が進んでいない。経験的な観察によれば、抽象化は非自明で非単調な軌跡を示すことが多く、単純な漸近理論が予測する完全な抽象化（$\alpha=1$）に到達できないことも頻繁にある。

本論文は、以下の中心的な問いに取り組む：学習中の抽象化の軌跡はどのようなものか？ それはデータセットの幾何学、ネットワークの深さ、および初期化によってどのように影響を受けるのか？ 非線形性はこれらのダイナミクスにどのように影響するのか？

手法

著者らは、解析的に解くことが可能な最小限の設定を用いて、「抽象化」と呼ばれる概念ベクトルの整列を研究するためのダイナミカルなフレームワークを開発した。

1. 最小線形ネットワークモデル:

   • 設定: 2つのバイナリ潜在変数（「形状」と「色」）を持つデータセットで学習される2層線形ネットワーク（4クラス）。
   • 抽象化スコア ($\alpha$): 異なるコンテキスト間（例：赤のコンテキストにおける「正方形マイナス円」のベクトルと、青のコンテキストにおける同ベクトル）の概念ベクトルの余弦類似度として定義される。$\alpha=1$ は完全な線形性を意味する。
   • 仮定:
     • 変数投影型リードアウト (Variable-Projected Readout): リードアウト重み ($W_r$) は常にリッジ最適解にあると仮定され、実質的に特徴量重みのみを正則化する。これにより、ダイナミクスは特徴量カーネル $Q = Z^\top Z$ の関数へと簡略化される。
     • 二因子対称性 (Two-Factor Symmetry: 2FS): 入力 ($\Sigma_x$)、ターゲット ($\Sigma_y$)、および特徴量カーネルは、クラス内での置換および潜在変数のグローバルなラベル付けに対して不変な特定の対称構造を持つと仮定される。これにより、カーネルのダイナミクスは5つの固有モード（グローバル平均 $G$、形状 $S$、色 $C$、形状-色の相互作用 $SC$、および残差$I$）に、対角化が可能となる。
   • ダイナミクス: 著者らは、勾配流の下でのカーネル $Q$ の固有値に対する正確な常微分方程式（ODE）を導出する。抽象化スコアは、$S$ と $SC$ の固有値の比（逆信号対雑音比：Inverse SNR）の関数として表される。

2. 非線形ネットワークへの拡張:

   • 著者らは、無限幅の2層非線形ネットワークに対し、ニューラルタンジェントカーネル（NTK）およびニューラルネットワークガウス過程（NNGP）の極限を用いて、理論を拡張した。
   • 2つの非線形性が分析された：誤差関数 ($\text{erf}$) および Leaky ReLU である。
   • 著者らは、事前活性化カーネル $Q$ を特徴量カーネル $K$ へと変換するカーネル写像を導出し、これらの写像が、瞬間的および動的に抽象化スコアにどのように影響するかを分析した。

3. 経験的検証:

   • 合成データおよび実世界のデータセット（3dshapes）を用いて、ResNetおよびTransformer（DINOv3, Gemma 4）に対する実験を行った。
   • 理論的な非線形性の影響をテストするために、Transformerモデルに対して「局所的GELUアブレーション」手順を適用した。

主な貢献と結果

1. 線形ネットワーク・ダイナミクスの厳密解

本論文は、学習中の抽象化の軌跡 $\alpha(t)$ に関する厳密な暗黙的解を提供している。

• 終端抽象化則 (Terminal Abstraction Law): 最終的な抽象化 $\alpha_\infty$ は、入力およびターゲットカーネルの逆SNRの幾何平均のみによって決定される：
  $$\alpha_\infty = \frac{1 - \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}{1 + \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}$$
  ここで $\nu = \lambda_{SC}/\lambda_S$ である。いずれかの入力またはターゲットがノイズレスであれば、完全な抽象化 ($\alpha_\infty=1$) が達成される。
• 初期化スケールによる最大抽象化の制御: 終端値は初期化に依存しないが、最大抽象化は初期化スケール ($\kappa$) に決定的に依存する。
  • リッチ極限 (Rich Limit): 初期化が小さい場合、ネットワークは終端値へと減衰する前に、パラメトリックに長い時間、完全な抽象化に近い状態 ($\alpha \approx 1$) を維持できる（メタ安定性）。
  • レイジー極限 (Lazy Limit): 初期化が大きい場合、抽象化がその終端値を超えることはない。
• 非単調性: 信号が支配的なレジームでは、抽象化は終端値をオーバーシュートし、収束する前にピークに達することがある。

2. 深さと層ごとの補間

「層ごとのバランシング」仮定の下で、$L$ 層を持つ深い線形ネットワークへと拡張した場合：

• 層ごとの補間: 層 $\ell$ における抽象化は、$\text{arctanh}$ 空間において、入力の抽象化と最終層の抽象化の間を線形に補間する：
  $$\text{arctanh}(\alpha^{(\ell)}) = \left(1 - \frac{\ell}{L}\right)\text{arctanh}(\alpha_{\Sigma_x}) + \frac{\ell}{L}\text{arctanh}(\alpha^{(L)})$$
• 深さによる抽象化の向上: ターゲットの幾何学が入力の幾何学よりも抽象的な場合、ネットワークの深さを増すことで、最終層の終端抽象化は単調に向上する。

3. 非線形ネットワークにおける減衰則 (Attenuation Law)

無限幅の非線形ネットワークに関する顕著な理論的結果：

• 減衰則: 非線形性（具体的には $\text{erf}$ および Leaky ReLU）は、事前活性化空間 ($Z$) に対する特徴空間 ($H$) における抽象化を弱める。形式的には、$|\alpha_K| \leq |\alpha_Q|$ である。
• 差異的な影響:
  • Erfネットワーク: ダイナミクスは線形理論に密接に近似する。
  • ReLUネットワーク: ダイナミクスはターゲットの幾何学よりも、入力の幾何学に強く依存する。純粋なReLUの場合、ターゲットがノイズレスであっても、入力ノイズが高い場合には完全な抽象化は保証されず、システムは「反抽象化（anti-abstraction, $\alpha \approx -1$）」へと収束する場合がある。

4. 経験的応用

• Transformer (DINOv3, Gemma 4): この理論を適用することで、著者らは、Transformerブロック内の非線形性をアブレーション（GELUを局所的に恒等写像に置き換える）すると、抽象化が増大し、線形プローブの汎化性能が向上することを示した。これは、非線形性が抽象化を減衰させるという理論的予測を裏付けるものである。
• 神経科学 (マカク猿の腹側視覚路): V4およびIT領域の記録を分析した結果、抽象化は腹側視覚階層に沿って増大することが示された。これは、より深い層（行動出力に近い層）ほど高い抽象化を示すという理論的予測と一致している。

意義と主張

本論文は、単なる漸近的な終端ではなく、学習の全軌跡を捉える抽象化のダイナミクス理論を初めて提供したと主張している。

• 理論と実践の架け橋: なぜ現実世界の環境において抽象化が完全性に達しないことが多いのか（入力/ターゲットのノイズや初期化スケールの影響）、そしてなぜそれが非単調な挙動を示すのかを説明している。
• 解釈可能性と制御: 抽象化のダイナミクスが、線形プローブおよびステアリングベクトルの品質と根本的に結びついていることを示唆している。非線形性を除去することでプローブの汎化が改善するという知見は、非線形性が抽象化を減衰させるという理論的根拠を提供している。
• 神経科学への示唆: 本理論は、脳における抽象的表現の出現に対するメカニズム的な説明を提供する。より深い皮質階層が高い抽象化スコアを示すという予測は、マカク猿のデータによって確認されている。

著者らは、厳密解が単純化された仮定（線形ネットワーク、2FS対称性、無限幅）に基づいているものの、定性的な予測（オーバーシュート、初期化依存性、深さによる向上、非線形性による減衰）は、現実的な有限幅の深層学習モデルや生物学的データにおいても強固に保持されることを強調している。