技術的サマリー：特異分布の安定性（SoSD）

問題提起

大規模言語モデル（LLM）の事前学習は、一貫して「初期の急激な損失減少に続く、長期間の漸近的・重尾型の改善」という特徴的な「速い後、遅い」の二相軌道を示す。この経験則は主要な技術報告書で広く文書化されているが、高速学習フェーズから低速飽和フェーズへの遷移を支配する背後の理論的メカニズムは、依然として根本的に未探索のままである。既存の分析は、しばしば制限されたタスク定式化（例えば、コンテキスト内学習や線形回帰）に依存するか、ランク崩壊のような特定の構造的現象に焦点を当てており、一般的な事前学習シナリオにおける損失地形の巨視的時空進化に関する統一的なスペクトル的視点を提供できていない。

手法

著者らは、パラメータ行列の収束から、そのスペクトル特性の時空進化へと分析の焦点を移すことで、LLM の最適化ダイナミクスを調査する。

経験的アプローチ

本研究は、2 つのデコーダ専用モデルファミリーに対する事前学習実験を実施した：

• GPT-2（Small および Medium）：FineWeb データセットで学習。
• LLaMA（0.5B および 2B）：C4 データセットで学習。

著者らは、パラメータ行列（$W$）およびその特異値行列（$\Sigma$）について、現在の状態と最終学習済み状態との間のコサイン類似度を監視した。彼らは**特異分布（SD）**をトレース正規化されたスペクトル（$\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$）として定義し、**特異分布変動（SD Variation）**を、この正規化スペクトルに対する更新のフロベニウスノルム（$\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$）として測定した。

理論的枠組み

観測された現象を説明するために、著者らは、小初期値を用いたフルバッチ勾配降下法における単純化された単一層・単一ヘッドのトランスフォーマーを分析した。彼らは以下の基礎に基づいて理論的枠組みを確立した：

1. 厳密に増加するノルム：重みノルムは学習中に単調に増加する（重み減衰がない場合）。
2. 非退化性と勾配の有界性：パラメータは条件数が有界なフルランクを維持し、勾配は消失しないが有界である。
3. 滑らかさとマージン条件：損失地形の局所的滑らかさに関する仮定と、学習後期におけるアテンションおよびロジット分布における正のマージンに関する仮定。

主要な貢献

1. 特異分布の安定性（SoSD）の同定

本論文は、**特異分布の安定性（Stability of Singular Distribution: SoSD）**と呼ばれる現象を同定した。経験的結果は、トレース正規化された特異値スペクトル（$\hat{\Sigma}$）が、パラメータ行列（$W$）自体よりもはるかに早期に安定化することを示している。

• スペクトル的脱結合：重み成分が最終構成から遠く離れている間、特異値スペクトルの相対的な形状は 1 に近い値で飽和する。
• 同期：SoSD の開始（SD 変動が準安定の床値に低下する時点）は、検証損失が急激な降下フェーズから低速降下（漸近的）レジームへ遷移する時点と正確に一致する。この同期は、多様なアーキテクチャ（GPT-2、LLaMA）、モジュール（アテンション、MLP）、および最適化設定において観察される。

2. SoSD と二相ダイナミクスに関する理論的分析

著者らは、標準的な学習条件下では SoSD の出現が避けられず、それが機械的に損失減少率を制限することを証明した。

• 定理 4.5（SoSD の出現）：重みノルムの単調増加を仮定すると、特異分布の安定性 bound は $\varepsilon \propto \eta / \|W\|$ としてスケーリングする。学習が進み $\|W\|$ が成長するにつれて、特異分布で許容される変動は縮小し、システムを安定状態へと強制する。
• 定理 4.9（二相ダイナミクス）：
  • フェーズ I（急激な降下）：SoSD 閾値以前（$t < T^*$）では、中程度のパラメータノルムが大きなスペクトルシフトを可能にし、一定オーダーの損失減少（$\Delta L(t) = O(1)$）を実現する。
  • フェーズ II（緩やかな降下）：SoSD 閾値以降（$t > T^*$）では、特異分布が安定化する。損失減少は運動学的に制約され、理論的には SD 変動の大きさによって上限が付けられる（$\Delta L(t) \le O(\varepsilon^p)$）。$\hat{\Sigma}$ の安定化はボトルネックとして機能し、損失を漸近的なプラトーへと追いやっている。

3. 事前学習戦略の解釈

本論文は、SoSD 安定性 bound（$\varepsilon \propto \eta / \|W\|$）を調節するメカニズムという観点から、標準的な最適化戦略を解釈する：

• 学習率スケジューリング：ステップごとの減衰、Warmup-Stable-Decay（WSD）、およびコサイン減衰などの戦略は、学習率 $\eta$ を低下させることで機能する。これにより安定性 bound が厳格化され、システムを現在の準平衡状態から脱出させ、より微細な特徴を解決することでさらなる損失最小化を可能にする。
• 重み減衰：重みノルム $\|W\|$ の成長を抑制することで、重み減衰は安定性制約を緩和し（$\varepsilon$ を増加させる）、特異分布に対するより大きな更新を許容する。これにより損失減少の理論的上限を実質的に引き上げ、早期の飽和を防ぐ。
• オプティマイザ（Muon vs Adam）：SoSD 現象は Muon オプティマイザを用いても存続しており、それがトランスフォーマー事前学習の根本的な特性であることを確認する。ただし、Muon は Adam に比べて SD 変動の大きさを著しく低く維持しており、スペクトル地形をより高い効率でナビゲートしていることを示唆している。

結果

• 経験的検証：GPT-2 および LLaMA モデルを用いた実験は、特異分布が早期（多くの場合、学習ステップの最初の 10〜20% 以内）に安定化し、パラメータは進化を続けることを確認した。この安定化は、検証損失が重尾型の低速降下レジームに入る時点と一致する。
• 相関：SD 変動の減衰と、損失曲線の低速降下フェーズへの遷移との間に、緊密な同期が観察された。
• 戦略の有効性：
  • 学習率の低下は SD 変動の急激な減少を引き起こし、損失降下の再開と同期する。
  • 重み減衰モデルは、正則化されていないベースラインよりも低い最終損失を達成し、$\|W\|$ に対する制約の緩和に伴う持続的な高い SD 変動と相関する。
  • Muon オプティマイザは、Adam よりも低い SD 変動の大きさを維持しながら、より低い損失とより高速な収束を達成する。

意義と主張

本論文は、微視的なスペクトル挙動と巨視的な学習ダイナミクスを結びつけることで、トランスフォーマー最適化軌道に対する新たな機械的理解を提供すると主張している。

• 統一的視点：それは、普遍的な「速い後、遅い」収束パターンを説明するためのスペクトル的レンズを提供し、この遷移が単に特定の層のアーティファクトではなく、特異分布の飽和によって特徴づけられる全球的な運動制約であると仮説を立てている。
• 理論的基盤：この研究は、重みノルムの成長が必然的に早期の SoSD 閾値を招致し、その後は損失減少率が特異分布の変動によって厳密に制限されることを証明する理論的枠組みを確立している。
• 実践的洞察：学習率スケジューリングや重み減衰を SoSD スケールを調節するメカニズムとして捉えることで、これらの戦略が効率的な事前学習を促進する理由に根拠を与え、スペクトル障壁を克服することがより低い学習損失を達成する鍵であることを示唆している。

著者らは謙虚な立場を維持しており、SoSD が特異値ダイナミクスの特性記述であり、低速降下レジームの指標ではあるものの、SoSD 値の低さが本質的に優れた性能を意味するわけではない（重み減衰の実験において、より高い SoSD がより低い損失と共存していることによる）と指摘している。主な貢献は、スペクトル安定性と最適化飽和との間の同期の同定にある。