技術的サマリー：オプティマイザ誘発スペクトルスケーリング則

問題定義

大規模言語モデル（LLM）の古典的なスケーリング則は、検証損失とモデルサイズ、データ量、計算リソースなどのリソースとの間に予測可能な冪乗則関係を確立してきた。しかし、これらの枠組みは通常、オプティマイザを固定された訓練の詳細として扱い、それが収束速度に影響を与えるか、乗法的な効率因子としてのみ機能すると仮定している。本論文はこの仮定に異議を唱え、オプティマイザは表現スケーリングの根本的な軸であると提唱する。具体的には、著者らは異なるオプティマイザが、増大するフィードフォワードネットワーク（FFN）の幅を、いかに効果的にスペクトル容量（潜在空間の有効次元数）に変換するかを調査する。検証損失が一致すれば内部表現幾何学も一致するのか、それとも異なるオプティマイザが根本的に異なるスペクトル構造を通じて同一のアーキテクチャ容量を実現するのか、という問いを立てる。

手法

本研究は、Transformer アーキテクチャ内の FFN 表現の固有スペクトルに焦点を当てたスペクトル分析フレームワークを採用する。

• スペクトル指標: 著者らはスペクトルの広がりを定量化するためにRényi 有効ランク族を利用する。分析は以下の 2 つの主要指標に基づいて行われる。
  • ソフトランク（$R_1$）: $\alpha=1$（シャノンエントロピー）に対応し、エントロピー重み付けされたスペクトルの広がりを測定し、拡散的な容量を捉える。
  • ハードランク（$R_2$）: $\alpha=2$（参加比率）に対応し、集中度に敏感な有効次元数を測定し、支配的モードの容量を捉える。
  • ハード - ソフト非対称性（$\Delta_{1,2}$）: $\log R_1 - \log R_2$ と定義され、拡散的容量と支配的容量の間のギャップを定量化する。
• 実験設定: 実験は FineWeb-Edu データセットで訓練された GPT スタイルのデコーダ専用 Transformer（1 億 6000 万パラメータおよび 3 億 5000 万パラメータ）で行われた。スケーリング則（$R(D) \propto D^\beta$）を確立するため、FFN の隠れ次元（$D$）を変化させた。
• オプティマイザ比較: 本研究では、標準的なAdamWを、行列を考慮したオプティマイザ（Muon、NorMuon）およびランク制約付きバリアント（ランク割合 $r$ を変えるDion）と比較した。
• 層別化: 言語データの Zipf 分布に対処するため、FFN 表現はトークン頻度に基づいてHEAD（頻出）、MID、TAIL（稀）の領域に層別化された。
• アーキテクチャ制御: 著者らは、オプティマイザ誘発のシフトを、アーキテクチャ介入（具体的にはヘッド数を減らすことによるヘッドあたりのアテンションランクの増加、および Rotary Positional Embeddings（RoPE）の除去）と比較した。

主要な結果

1. オプティマイザ依存のスペクトルスケーリング則

同一の Transformer アーキテクチャは、オプティマイザに応じて著しく異なるスペクトルスケーリング則を示す。

• ハードランクのスケーリング: AdamW は、特に稀な（TAIL）トークンにおいて、弱いハードランクのスケーリング（$\beta_{hard} \approx 0.29$ から $0.44$）を示す。これに対し、Muon は同じ領域でほぼ線形のスケーリング（$\beta_{hard} \approx 1.02$）を達成する。これはスケーリング指数の2.3 倍の増加を表す。
• ハード - ソフト非対称性: AdamW は大きな正の非対称性（$\Delta_{1,2} \approx 0.37$）を示し、追加された FFN 幅が支配的な表現方向ではなく、拡散的なスペクトル質量を拡大することを示唆する。Muon と NorMuon はこの非対称性をほぼゼロ（$\Delta_{1,2} \approx 0.14$）に減少させ、追加された幅が効率的に支配的モードの容量に変換されることを意味する。

2. 損失一致 $\neq$ 幾何学一致

本論文は、検証損失が表現構造の十分代理指標ではないことを実証する。

• 延長訓練: AdamW を延長ステップ（12K 対 6K）で訓練することで、Dion（1/16）バリアントのパープレキシティと一致させることができた。しかし、スペクトル幾何学は依然として明確に異なっていた。AdamW のハードランクのスケーリングはほぼ消滅（$\beta_{hard} \to 0.03$）したが、Dion は堅牢な冪乗則スケーリングを維持した。
• 学習率: 学習率のスウィープにより、AdamW と Muon のスペクトルギャップがハイパーパラメータのアーティファクトではないことが確認された。スウィープ全体を通じて、Muon の最低ハードランク指数は常に AdamW の最高値を上回った。

3. 頻度とランクの依存関係

• トークン頻度: オプティマイザの効果は、MIDおよびTAILトークン領域で最も顕著である。AdamW は稀なトークンに対してハード容量をスケーリングすることに苦労するのに対し、Muon は線形にスケーリングする。
• 更新ランク: Dion を使用して、著者らは更新ランクの影響を分離した。ランク割合（$r$）を $1/2$ から $1/16$ に減少させると、ハードランクのスケーリングは $\beta \approx 0.88$ から $\beta \approx 0.40$ に低下し（AdamW レベルに近づく）、一方ソフトランクのスケーリングはより緩やかに劣化した。これは、更新ランクが幅を支配的モード容量に変換するための制御ノブとして機能することを示している。

4. アーキテクチャ介入への優位性

オプティマイザ誘発のスペクトルシフトは、しばしばアーキテクチャ変更の影響を上回るか、再構成する。

• アテンションランク: ヘッド数を減らすことによるヘッドあたりのアテンションランクの増加は、30 の頻度/指標領域のうち 28 で、オプティマイザを切り替えることよりも小さなスペクトルスケーリングシフトを生み出した。
• 位置符号化: RoPE を除去すると、オプティマイザ依存の再分配が誘発された。Muon の場合、NoPE は HEAD のハードランクスケーリングを増加させたが、MID/TAIL のスケーリングを減少させた。NorMuon の場合、すべての領域でスケーリングを減少させた。これは、アーキテクチャ信号がオプティマイザ幾何学を通じて表現されることを示している。

意義と主張

本論文は、オプティマイゼーションをモデルサイズ、データ、計算に並ぶ表現スケーリングの第一級軸として扱うべきであると主張する。

• アーキテクチャ - オプティマイザの共設計: 実現されたスペクトル容量は、アーキテクチャ単独ではなく、アーキテクチャ - オプティマイザのペアの性質である。アーキテクチャ介入（アテンションランクや位置符号化の変更など）は、固定されたオプティマイザ非依存のシフトを誘発しない。それらの効果はオプティマイザの幾何学によって媒介される。
• 表現構造: オプティマイザの選択は、モデル容量が固有モード間でどのように構造化され、トークン頻度領域間でどのように割り当てられるかを決定する。それは単に収束速度のための効率ノブではない。
• 限界: 著者らは、これらの知見が制御された経験的領域（最大 3 億 5000 万パラメータの GPT スタイルモデル）内で確立されたものであると指摘する。3 億 5000 万パラメータの結果は 1 億 6000 万パラメータのパターンを再現しているが、フロンティア規模（10 億パラメータ以上）でのさらなる検証が必要である。さらに、スペクトルランクは容量利用を定量化するが、ダウンストリームタスクの動作を完全に特徴付けるものではない。

結論として、本研究はオプティマイザ - アーキテクチャ共設計への転換を動機付け、将来のスケーリング則はモデル容量が実現される方法の主要な決定要因としてのオプティマイザの暗黙的帰納バイアスを考慮する必要があることを示唆している。