📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

本論文は、ニューラルスケーリング則におけるスケーリング指数が固定された定数ではなく、オプティマイザに体系的に依存することを示しており、特に自然言語に特徴的なスペクトル条件の下では、標準的な勾配降下法に比べて前条件付き手法が著しく急峻な性能向上をもたらすことを明らかにする。

原著者： Vansh Ramani, Shourya Vir Jain

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vansh Ramani, Shourya Vir Jain

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「Neural Scaling Laws のオプティマイザ依存性」について、平易な言葉と日常的な比喩を用いて解説します。

大きなアイデア：重要なのはサイズだけではない、「どのように」学ぶか

あなたが図書館のすべての本を読むように、膨大な量の情報を学ぼうとしていると想像してください。人工知能（AI）の世界には、スケーリング則と呼ばれるルールがあります。これは、「AI の脳を大きくする（ニューロンを追加する）と賢くなるが、その改善の度合いは特定の予測可能な曲線に従う」というものです。

長らく、科学者たちはこの曲線は固定されていると考えていました。AI のサイズを倍にしても、それを教えるために使ったツールが何であれ、得られる改善の量は一定で不変だと信じていたのです。

この論文は言います。「実は、AI を教えるツールによってその曲線は変わるのです。」

その「ツール」はオプティマイザと呼ばれます。オプティマイザを教師や学習方法だと考えてください。この論文は、一部の教師は学習プロセスを整理するのが非常に上手いため、AI が単に「速く」学ぶだけでなく、AI が大きくなるにつれてどの程度改善するかという根本的な数学さえ変えてしまうと主張しています。

比喩：図書館と司書

論文の発見を理解するために、「図書館」と「司書」の比喩を使いましょう。

1. 図書館（データ）

AI が学ぶ必要があるデータを図書館だと想像してください。

「急峻な」図書館： 本のごく大部分が一つの人気トピック（例えば「パンの焼き方」）についており、非常に少数の本だけが難解なトピック（例えば「18 世紀の苔の栽培」）についています。現実世界では、これは言語に似ています。いくつかの単語が頻繁に使われ、数百万の単語はめったに使われません。これは急峻なスペクトルと呼ばれます。
「平坦な」図書館： すべてのトピックに本が全く同じ数だけあります。これは自然には稀ですが、想像するのは簡単です。

2. 生徒（AI モデル）

AI は、テストに合格するためにこれらの本を読もうとする生徒です。生徒には限られた時間（計算能力）と限られた記憶容量（モデルサイズ）しかありません。

3. 教師たち（オプティマイザ）

ここがこの論文の面白い点です。著者たちは、生徒がどのように学ぶのを助けるかを見るために、異なる「教師」（オプティマイザ）をテストしました。

教師 A（標準的な勾配降下法 / GD）： この教師は、図書館を順番に読む生徒のようです。彼らは見つけやすい人気のある「パン」の本を最初に読みます。「苔の栽培」の本にたどり着く頃には、時間が尽きてしまいます。
- 結果： 彼らはパンについては上手になりますが、苔についてはひどいです。図書館が大きくなるにつれて、彼らは人気のあるものに固執し、残りを無視するようになります。彼らの改善曲線はすぐに平坦化します。
教師 B（Muon や Full NG などの前処理付きオプティマイザ）： この教師は天才的な整理係です。彼らは「苔」の本が希少であっても、まだ重要であると理解しています。彼らは前処理器と呼ばれる特別な地図を使って、「苔」の本を「パン」の本と同じくらいアクセスしやすくします。彼らは生徒にすべてを均等に学ばせるよう強制します。
- 結果： 生徒は少しのことすべてを学びます。人気のあるものだけに時間を浪費しないため、図書館が大きくなるにつれて、はるかに賢くなります。

重要な発見：「魔法の乗数」

論文は、「ランダム特徴回帰」と呼ばれる簡略化された数学モデルを用いたコンピュータ実験を行い、生徒たちがどの程度賢くなったかを正確に測定しました。

彼らは、図書館が急峻なスペクトル（いくつかのものが非常に一般的で、多くのものが希少である、実際の人間の言語のような状態）を持っている場合、以下のことを発見しました。

教師 A（標準的）は壁にぶつかります。生徒は一定のサイズを超えると、ほとんど改善しなくなります。
教師 B（高度な）は登り続けます。生徒はサイズが一段階上がるごとに、著しく賢くなります。

「魔法の」数値：
論文は $\alpha$ （アルファ）と呼ばれる数値を測定しました。この数値は「改善の率」を表します。

標準的な教師の場合、 $\alpha$ は低く（約 0.12）、
高度な教師の場合、 $\alpha$ ははるかに高く（約 0.31）なりました。

なぜこれが重要なのか？
これらの数値は指数であるため、わずかな違いが時間とともに大きな隔たりを生み出します。

標準的な教師で AI のサイズを倍にすると、わずかなブーストしか得られません。
高度な教師でサイズを倍にすると、2.6 倍も大きなブーストが得られます。
サイズを倍にし続けると、高度な教師はさらに先へ先へと引き離されます。これは複利のようであり、利点は一歩ごとに成長します。

注意点：それは図書館に依存します

論文はまた、重要な条件も発見しました。この利点は、図書館が「急峻」である場合にのみ発生します。

図書館が急峻な場合（実際の言語のように）： 高度な教師はゲームチェンジャーです。彼らは不均衡を修正し、AI が効率的に学ぶことを可能にします。
図書館が平坦な場合（すべてが等しい）： 標準的な教師はすでに良い仕事をしています。修正すべき不均衡がないからです。高度な教師はここであまり追加の助けを提供しません。

実際の AI についてはどうでしょうか？（「未解決の問題」）

著者たちは慎重にも、彼らの結果は Google や OpenAI が現在使用しているような実際の巨大な AI ではなく、簡略化された数学モデルから得られたものであると述べています。

彼らは現実世界における矛盾を認めています。

いくつかの最近の研究では、高度な教師（Muon など）は小規模では優れているが、AI が巨大になるにつれてその利点が薄れていくと言っています。
この論文は、彼らの簡略化されたモデルでは、その利点は増え続けるはずだと示唆しています。

結論：
論文は、現実世界で見られる「利点の薄れ」は、実際の AI が独自に特徴を学習する（図書館の構造を変える）ためであり、彼らのモデルは図書館が同じままだと仮定しているため起こるのかもしれないと提案しています。

一般向けのまとめ

神話： 「AI が大きくなれば、常に一定の割合で賢くなる。」
現実： AI が賢くなる割合は、学習に使用される数学的ツール（オプティマイザ）に大きく依存します。
発見： 高度なツールは「スペクトル・イコライザー」として機能します。それらは AI が希少だが重要な情報を無視するのを防ぎ、成長するにつれてはるかに効率的に学ぶことを可能にします。
条件： このスーパーパワーは、データが「不均衡」（人間の言語のように）である場合に最もよく機能します。データが完全に均等であれば、凝ったツールはあまり役立ちません。
未来： この「魔法の乗数」が維持されるのか、モデルが巨大になるにつれて薄れていくのかを確認するために、実際の巨大な AI モデルでテストする必要があります。

要約： 正しい教師を選ぶことは、単に生徒が速く学ぶだけでなく、生徒がどれほど賢くなれるかという天井そのものを変えます。

技術的概要：ニューラルスケーリング則におけるオプティマイザ依存性

問題定義
ニューラルスケーリング則は、テスト損失 $L$ がモデルサイズ $N$ とべき乗則に従って減少する（ $L(N) \propto N^{-\alpha}$ ）と仮定しており、ここで指数 $\alpha$ は従来、アーキテクチャとデータ分布によって決定される固定定数として扱われてきた。この仮定は、最先端モデルに対する計算資源配分戦略の根幹を成している。しかし、第二階オプティマイザ（Muon、SOAP、Shampoo など）に関する最近の実証結果は矛盾する証拠を示している：一部は AdamW に対して顕著な計算速度向上を提案する一方、他方はこれらの利点がモデルサイズが増大するにつれて減衰することを示唆している。本論文は、以下の根本的な問いを検証する：高度なオプティマイザは単にスケーリング則の定数因子を改善するだけなのか、それともスケーリング指数 $\alpha$ 自体を根本的に変えるのか？もし $\alpha$ が変化すれば、スケーリング予測への影響は甚大である。なぜなら、指数の変化はモデルサイズが倍増するごとに累積的に増幅されるのに対し、定数因子の改善はそうではないからである。

手法
著者らは、この問いをランダム特徴回帰フレームワーク（Maloney et al., 2022; Bordelon et al., 2024）の中で検証する。この理論的設定は、特徴重みを固定し、最上層の線形重みのみを訓練することで、データのスペクトル構造、オプティマイザのプリコンディショニング、およびモデル容量間の相互作用を分離する。

実験設定: 本研究は、べき乗則固有値 $\lambda_i \propto i^{-(1+s)}$ を持つガウス分布から抽出された入力を用いた回帰タスクをシミュレートする。ここで $s$ はスペクトル指数である。自然言語データは $s \approx 0.8\text{--}1.2$ として特徴付けられる。
オプティマイザ変種: 5 つのオプティマイザが勾配プリコンディショナとして実装される：
1. GD: ベースライン（単位プリコンディショナ）。
2. Diagonal: AdamW の代理（ $P = \text{diag}(F^\top F)^{-1/2}$ ）。
3. Full NG: Shampoo/K-FAC の代理（ $P = (F^\top F)^{-1}$ ）。
4. Sign-GD: 符号更新を用いたネガティブコントロール。
5. Matrix-Sign: Muon の代理（ $P = (F^\top F)^{-1/2}$ ）、これは特異値を均等化する。
プロトコル: 実験では、6 つのスペクトル条件（ $s \in [0.25, 2.0]$ ）と 8 つのモデルサイズ（ $N \in [25, 5000]$ ）を網羅する。スケーリング指数 $\alpha$ は、 $N \ge 200$ におけるモデルサイズ対損失の対数 - 対数プロット上で、最小二乗法（OLS）を用いてフィットされる。

主要な貢献

体系的測定: 本論文は、5 つのプリコンディショナ変種にわたって、オプティマイザの種類とデータのスペクトル減衰の両関数としての $\alpha$ の体系的測定を初めて提供する。
メカニズム的説明: プリコンディショニングされたオプティマイザがモードごとの学習率を均等化することを説明するスペクトルヒューリスティック（命題 1）を提供する。勾配降下法（GD）は高分散モードに「過剰支出」し、低分散モードに「過少支出」するのに対し、プリコンディショナは過少供給されたモードを救済し、特定の $N$ において利用される実効容量を増加させる。
スペクトル診断: 著者らは診断則を提案する：プリコンディショニングの恩恵はスペクトルの急峻さ $s$ に依存する。平坦なスペクトル（ $s < 0.3$ ）では恩恵は無視できるが、 $s$ が増加するにつれて顕著に増大する。
検証可能な予測: 本論文は、人工的に平坦化されたスペクトルデータ（例えば、ホワイトニングを介して）上で訓練を行うと、Muon のような高度なオプティマイザの利点が縮小するか、あるいは消失すると予測する。

結果

$\alpha$ のオプティマイザ依存性: プリコンディショニングされたオプティマイザは、GD よりも一貫して急峻なスケーリング（大きな $\alpha$ ）をもたらす。順序は一般的に $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ である。
スペクトル依存性: 差 $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ はスペクトル指数 $s$ $s$ とともに増大する。
- $s \approx 1.0$ （自然言語に特徴的）において、フル・ナチュラル・グラディエントは $\alpha \approx 0.31$ を達成するのに対し、GD は $\alpha \approx 0.12$ であり、フィットされた指数が $2.6\times$ 大きいことを示している。
- $s \approx 0.5$ において、曲線はほぼ平行であり、利点は減衰する。
- $s \approx 2.0$ において、GD の指数はほぼゼロに崩壊し（ $\alpha \approx 0.01$ ）、プリコンディショニングされたオプティマイザは優雅に劣化する（ $\alpha \approx 0.20$ ）。
計算乗数: $\alpha$ のシフトを実効的な計算乗数に変換すると、ランダム特徴モデルは、 $s \approx 1.0$ において強力なプリコンディショナがパラメータ同等の大幅な利点を予測する。これは、中規模スケールにおける Muon の AdamW に対する $\sim 1.4\times$ の計算速度向上に関する最近の実証報告（Chen et al., 2025）と方向的に一致する。

意義と主張
本論文は、スケーリング則予測がオプティマイザの選択を考慮しなければならないと主張する。プリコンディショニングされたオプティマイザが指数 $\alpha$ を変化させる場合、AdamW 下で較正された予測は、高度なオプティマイザで訓練されたモデルに対するスケーリングの収益を大幅に過小評価する可能性がある。

しかし、著者らはこれらの知見が大規模 LLM への転移に関して控えめな立場を維持している：

限界: ランダム特徴モデルは「怠惰」な領域（固定特徴）で動作し、深さ、アテンション、トークナイズ化を省略している。
スケールによる減衰: 本論文は、Muon/SOAP の利点が非常に大規模なスケール（例えば 12 億パラメータ）で減衰する可能性を示唆する矛盾する証拠（Wen et al., 2025）を認めている。著者らは、この減衰は有限- $N$ 効果、特徴学習が自然にスペクトル不均衡を緩和すること、またはスケールにおける実効データスペクトルの変化に起因する可能性があると提案している。
結論: 主要な貢献は、スケーリング指数がアーキテクチャとデータのペアの固定定数ではなく、オプティマイザとデータスペクトルの相互作用に体系的に依存することを確立することである。本論文は、この指数シフトが「豊か」な特徴学習領域において持続するか、あるいは減衰するかを決定するための実モデル検証を呼びかけている。