技術的概要：深層ニューラルネットワークにおいて幾何学的連続性が現れる理由

問題提起

最近の観察により、特に大規模言語モデル（LLM）において、深層ニューラルネットワークの隣接層の重み行列は幾何学的連続性を示すことが明らかになっている。すなわち、それらの主特異ベクトルは類似した方向を指し、ネットワークの深さにわたって滑らかな軌跡を形成している。この現象は経験的に文書化され、層のプルーニングや層間パラメータ共有といった実用的な利点と関連付けられてきたが、その根本的な起源は未解明のままだ。この連続性が深層ネットワークの学習において避けられない帰結なのか、それとも特定のアーキテクチャ条件を必要とするものなのかは不明である。本論文は、幾何学的連続性の機械的起源を調査し、それが特定のオプティマイザの産物なのか、それとも残差ネットワークにおける学習の構造的な副産物なのかを明らかにすることを目的としている。

手法

著者らは、「玩具（トイ）」マルチレイヤパーセプトロン（MLP）および小規模なトランスフォーマーに対する制御されたアブレーション実験と、事前学習済み LLM の分析を組み合わせて用いた。

1. 玩具 MLP 実験（MNIST）：

   • アーキテクチャ： 256 次元の隠れ層を持つ 16 層の残差 MLP。
   • 変数： 本研究は以下の方法でアーキテクチャ構成要素を体系的に分離した。
     • 残差接続の除去（NoRes）。
     • 活性化関数の除去（Res+None）。
     • 標準的な活性化関数を回転等価な非線形性（$\sigma_{rad}(x) = x \cdot \tanh(\|x\|$）を用いた Res+Radial）に置換。
     • 初期化スケールとオプティマイザ設定（例：$\beta_2=0$ の Adam）の変更。
   • 指標： 著者らは、隣接層間の入力空間における主特異ベクトル（$v_1$）と出力空間における主特異ベクトル（$u_1$）の余弦類似度を測定した。また、完全な特異スペクトルにわたる連続性を評価するための$\sigma^2$重み付けアライメント指標を定義し、累積勾配の一貫性を追跡した。

2. トランスフォーマー実験（WikiText-103 および事前学習済み LLM）：

   • 小規模： WikiText-103 で学習された 8 層、3400 万パラメータの Llama 風トランスフォーマー。著者らは、異なる射影行列（Q, K, V, Gate, Up, O, Down）に対する MLP 活性化の特定の影響をテストするために、MLP 活性化に対するアブレーションを行った。
   • 大規模： 観測されたパターンがスケールしても維持されるかを確認するため、事前学習済み Llama-3.1-8B および最大 700 億パラメータのモデルを分析した。

主要な貢献と発見

1. 幾何学的連続性に必要な 2 つの条件

本論文は、幾何学的連続性が生じ、持続するために必要な 2 つの異なるメカニズムを特定している。

• 条件 1：残差接続（勾配の一貫性）：
  残差接続は、隣接層が類似した誤差信号を受け取ることを保証する。残差ネットワークでは、層の入力に関する勾配には恒等項（$I$）が含まれており、これにより層間勾配の一貫性が生み出される。経験的結果は、残差接続がない場合、勾配の連続性がランダムなレベル（約 0.05）に低下し、重みの連続性が発達しないことを示している。
• 条件 2：対称性を破る非線形性（座標系の安定化）：
  残差接続は一貫した勾配を提供するが、対称性の破れがなければ重みの連続性を維持するには不十分である。
  • 「Res+None」の失敗： 活性化関数を除去（線形残差ネットワークのまま）すると、高い勾配連続性（約 0.93）が得られるが、低い重み連続性（約 0.22）となる。重みは当初、連続的な構造を形成するが、回転ドリフトにより崩壊する。
  • メカニズム： 線形ネットワークでは、重みの積は連続的な回転対称性（$SO(d)$）を持ち、重みが独立してドリフトできる損失ランドスケープ上の平坦な方向が生まれる。要素ごとの活性化関数（ReLU, GELU, SiLU）はこの対称性を破り、層を共有された座標系に制約し、ドリフトを防ぐ。
  • 非線形性対対称性の破れ： 重要なのは、非線形性自体が能動的な要素ではないということだ。$SO(d)$対称性を保持する回転等価な活性化（Res+Radial）は非線形であるが、連続性を維持できない（重み $v_1 \approx 0.22$）。これにより、対称性の破れが決定的な要因であることが特定された。

2. 活性化と正規化の異なる役割

• 活性化： 幾何学的連続性を先頭の特異方向（$v_1$）に集中させる。
• レイヤーノルム： 対称性を異なる方法で破り、連続性を複数の特異方向に分散させる。これらを組み合わせると、活性化の$v_1$に集中したモードが支配的になる。

3. トランスフォーマーにおける射影固有の連続性

トランスフォーマーアーキテクチャにおいて、幾何学的連続性は均一ではなく、射影固有であり、非線形性の近接性と残差ストリームに対する情報の流れの方向によって決定される。

• 入力空間（$v_1$）連続性： 残差ストリームから読み取り、その後に非線形性が続く射影は、強い入力空間連続性を発達させる。これには、Softmax によって安定化されるQ, K、MLP 活性化によって安定化されるGate、そして活性化された Gate とのゲート付き乗算によって安定化されるUpが含まれる。
• 出力空間（$u_1$）連続性： 残差ストリームに書き込み、非線形性後の信号を受け取る射影は、出力空間連続性を発達させる。これにはOとDownが含まれる。
• 低い連続性： V（Value）射影は、対称性を破りフレームを固定する隣接非線形性を欠くため、両空間において低い連続性のみを発達させる。

4. 勾配から重みへの転移ダイナミクス

本研究は、以下の因果的順序を明らかにしている。

1. 勾配の一貫性： 残差接続により、層間勾配の連続性は重み更新前（初期化直後）に即座に存在する。
2. 重みの形成： 学習が進むにつれ、重み更新が蓄積する。累積更新の大きさ（$\|\Delta W\|$）が初期重み（$\|W^{(0)}\|$）を支配するようになると、重み構造は累積勾配構造と整合するようになる。
3. 安定化： 対称性を破る非線形性は、そうでなければ重み構造を一貫した勾配信号から切り離すことになる「回転ドリフト」を防ぐ。

意義と主張

本論文は、幾何学的連続性が特定のオプティマイザや学習のトリックの産物ではなく、対称性を破る非線形性を持つ残差ネットワークにおける学習の構造的な副産物であると主張している。

• 機械的説明： この研究は、LLM の隣接層がなぜ類似した特異ベクトル構造を共有するのかに対する機械的説明を提供し、アーキテクチャの選択（残差接続、活性化）を直接的に現れた重みの幾何学と結びつけている。
• 圧縮戦略の検証： この発見は、既存のモデル圧縮技術（層のプルーニング、層間パラメータ共有など）に対する理論的基盤を提供する。本論文は、連続性が学習プロセスから自然に生じるため、よく学習されたモデルは本質的にこれらの圧縮戦略を可能にする層間類似性を有していると論じている。
• 設計への示唆： 射影固有のパターンは、圧縮やパラメータ共有戦略が、各射影が構造化されている特定の空間（入力対出力）を尊重すべきであることを示唆している。例えば、Q, K, Gate, Up は入力空間の基底を共有し、O と Down は出力空間の基底を共有するのに対し、V は明らかな層間共有の機会を提供しない。

著者らは主張について謙虚であり、メカニズムが MLP と Gate 射影については直接のアブレーションを通じて明確である一方、トランスフォーマーにおける Q/K と V に関する主張は、それぞれ間接的な証拠や非線形性の欠如に依存していることを指摘している。また、パターンはスケール（最大 700 億パラメータ）にわたって維持されるが、より大規模なスケールにおける回転ドリフトの具体的な学習ダイナミクスは完全には検証されていないことも認めている。