🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

本論文は、Schatten- $p$ ノルム最適化手法に関する相反する観察結果を、Schatten- $\infty$ 手法であるMuonが高次元設定において優れている一方で、Chinchillaスケーリングのような低次元レジームにおいてはより小さなSchatten- $p$ 幾何学が実際に最適であることを示すことで解決しており、この知見は、 $p>2$ における新たなノイズ耐性加速の結果によって支持されており、その結果はMuonのウォームアップ不要性と大バッチへの嗜好性をも説明している。

原著者： Thomas Pethick

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thomas Pethick

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文の解説を、シンプルかつ創造的な比喩を用いて日本語に翻訳したものです。

大きな問い：どの「定規」を使うべきか？

あなたが広大で霧に包まれた谷（これは学習しようとしているAIモデルです）の中で、最も低い地点を見つけようとしていると想像してください。そのためには、地面の傾斜を測り、どちらの方向に一歩踏み出すべきかを決めるための「定規」が必要です。

ディープラーニングの世界には、シャッツェン（Schatten） $p$ ノルムと呼ばれる異なる種類の定規が存在します。

シャッツェン-2（ユークリッド）: 私たちが通常使っている、標準的で真っ直ぐな定規です（Adamのようなオプティマイザ）。
シャッツェン- $\infty$ （「Muon」の定規）: 最も急な崖の１点だけに注目する、特殊で硬い定規です。最近では、この定規を用いたMuonという手法が、いくつかのテストで非常に高速に動作したため、非常に人気を集めています。
シャッツェン- $p$ （「ゴルディロックス（適温）」の定規）: これらはその中間にある定規で、地形の傾斜を、硬すぎず柔らかすぎない絶妙な方法で測定します。

混乱の種:
人々は、どの定規がベストかを巡って議論していました。

ある人々はこう言いました。「Muon（シャッツェン- $\infty$ ）は素晴らしい！最速だ！」
またある人々はこう言いました。「いや、Muonは過大評価されている。膨大な量のデータで学習する場合、標準的な手法の方がうまくいく。」

論文の答え:
著者であるThomas Pethick氏は、こう述べています。「皆さんはどちらも正しいですが、見ている『谷のサイズ』が違います。」

最適な定規は、問題の規模と、手元にあるデータの量の関係によって完全に決まります。

2つのレジーム：小さな池 vs 大海原

この論文は、世界を主に2つのシナリオに分けています。

1. 「低次元」レジーム（小さな池）

どのような状態か: モデルが比較的小さい場合、あるいは学習ステップ数（データ）がモデルの複雑さよりもはるかに多い場合（論文で言及されているゲームの「スピードラン」のようなケース）です。
比喩: あなたが小さくて、よく照らされた庭を歩いているところを想像してください。あなたは道全体を見渡すことができます。
最適な定規: このシナリオでは、シャッツェン- $\infty$ の定規（Muon）は実はベストではありません。驚くべきことに、より小さな $p$ の定規（標準的なユークリッド定規に近いもの）の方が高速に動作します。
なぜか？: 小さな庭では、単一の最も急な崖だけに極端に集中する必要はありません。より速く加速するためには、より滑らかでバランスの取れたアプローチが必要です。論文では、ここで「より柔らかい」定規を使うことがスピードアップにつながると証明されています。

2. 「高次元」レジーム（大きな大海原）

どのような状態か: 巨大なAIモデル（LLMなど）で使用される大規模な学習ランのことで、モデルが極めて複雑で、データも膨大です。
比喩: 何千もの島々がある、広大で暗い海を航海しているところを想像してください。地図全体を見ることはできません。
最適な定規: ここでは、**シャッツェン- $\infty$ の定規（Muon）**が輝きます。これは、これほど巨大で複雑な地形特有の「粗さ」に対処するように設計されています。
注意点: この大きな海でMuonを機能させるには、非常に大きなバッチサイズ（海の非常に広い範囲を一度に見ること）が必要です。このレジームで小さなバッチサイズを使ってMuonを使おうとしても、失敗してしまいます。

「バッチサイズ」の秘密

論文の重要な発見の一つは、バッチサイズ（AIが1ステップ進む前に、どれだけの事例を見るか）についてです。

ルール: 論文では、定規を変える（ $p=2$ から $p=\infty$ へ）と、理想的なバッチサイズも変化しなければならないという数学的なルールを導き出しています。
比喩: 定規を「船」と考えてみてください。
- **小さな船（標準的な定規）**は、少人数のクルー（小さなバッチサイズ）でも航行できます。
- **巨大なクルーズ船（Muon / シャッツェン- $\infty$ ）**は、安定して高速に移動するために、膨大な数のクルー（巨大なバッチサイズ）を必要とします。もしクルーズ船をわずか2人だけで操ろうとすれば、船はただその場で回転するだけになってしまいます。
洞察: これにより、なぜMuonが「スピードラン」（小さなモデルに対して巨大なバッチを使用する場合）では素晴らしい成果を出し、一方で大規模なベンチマーク（バッチサイズが特定の幾何学的構造に対して十分にスケールアップされていない場合）では苦戦するのかが説明されます。

なぜ「ウォームアップ」が必要なのか？

AIのトレーナーには、「ウォームアップ」（最初はゆっくり始めて、徐々に加速する）が必要だと聞いたことがあるかもしれません。

論文の発見: **シャッツェン- $\infty$ の定規（Muon）**は非常に堅牢であるため、ウォームアップを必要としません。最初からフルスピードで開始できます。
対照的なケース: 低次元レジームでより小さな $p$ の定規を使用する場合、加速を軌道に乗せるためにウォームアップ・フェーズの恩恵を受けることになります。

「チンチラ（Chinchilla）」とのつながり

この論文は、AIにおける有名なルールである「チンチラ・スケーリング（データが増えるにつれて、モデルも大きくすべきであるという法則）」に関連付けています。

ひねり: 論文は、チンチラ・スケーリングに従っていたとしても、私たちは依然として**「低次元レジーム」**（小さな庭）の中にいることが多いと主張しています。
結果: 私たちはしばしばこの「小さな庭」のレジームにいるため、標準的なMuon（シャッツェン- $\infty$ ）を使うことは、有限の $p$ ノルム・オプティマイザ（HTMuonやSoft-Muonなど）を使うよりも効率が低くなる可能性があります。これが、新しい手法（より「柔らかい」定規を使用するもの）が、一部の大規模テストでMuonを上回り始めている理由です。

まとめ：どのように定規を選ぶべきか

論文は、シンプルなガイドで締めくくっています。

「低次元」レジームにいる場合（小さなモデル、またはモデルのサイズに対してデータ量が非常に多い場合）：
- 極端なシャッツェン- $\infty$ （Muon）を自動的に使うのは避けてください。
- 有限のシャッツェン- $p$ ノルム（より「柔らかい」定規）の使用を検討してください。その方が加速が速く、ノイズにも強いです。
- 注：学習を進める過程で、定規を切り替える（最初は「硬い」定規で始め、後に「柔らかい」ものに変える）のも有効かもしれません。
「高次元」レジームにいる場合（極めて高い複雑性を持つ場合）：
- シャッツェン- $\infty$ （Muon）が適切な選択である可能性が高いですが、それを機能させるためには非常に大きなバッチサイズを使用しなければなりません。

結論: 「唯一最高のオプティマイザ」というものは存在しません。最適なツールは、問題のサイズと、どれだけのデータを持っているかによって決まります。コミュニティにおける混乱は、人々が、自分がどの「レジーム」にいるのかを理解しないまま、ツールをテストしていたために起こったのです。

技術要約：「ディープラーニングにおける Schatten- $p$ ノルムの使い分け」

問題提起

Muon のような Schatten- $\infty$ ベースのオプティマイザは、特定のディープラーニングの設定、特に短いトレーニング実行や大きなバッチサイズを伴う設定において、有望な経験的性能を示している。しかし、その汎用性については相反する観察結果が存在する。これらは特定のレジーム（例：CIFAR-10 のスピードラン）では優れているが、膨大なトークン予算を伴う大規模なトレーニングシナリオにおいては、Adam や SGD のような標準的な手法を一貫して上回るわけではない。さらに、有限の Schatten- $p$ ノルムを利用した最近のバリアント（例：HTMuon、Soft-Muon）は、競争力のある、あるいはより優れた結果を示しており、Schatten- $\infty$ ノルムのみを使用する必要性に疑問を投げかけている。

核心となる問いは、**「どのような Schatten- $p$ ノルムを使用すべきか、そしてどのようなトレーニングレジームにおいてそれが最適となるのか？」**である。既存の理論的枠組み、具体的には SODA (Schedule-free Optimistic Dual Averaging) フレームワークは、確率的ノイズ下での $p > 2$ における $p$ ノルム幾何学を分析する能力を欠いており、Muon の成功のメカニズムとその限界を理論的に説明できていなかった。

メソドロジー

本論文は、現代的なオプティマイザの構成要素（楽観的デュアルアベレージング、ネステロフ・モメンタム、ウェイトディケイ）を統一する SODA フレームワーク (Pethick et al., 2026) を拡張するものである。著者らは、SODA の解析を、ベクトル $\ell_p$ および行列 Schatten- $p$ 幾何学の両方をカバーする $p$ -一様凸参照関数（ $p \ge 2$ ）へと一般化している。

主要なメソドロジーの構成要素は以下の通りである：

アルゴリズム・テンプレート: 解析には、参照関数 $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ のフェンシェル共役の勾配によって定義される双対写像を用いた、原始・双対更新則を利用する。
- $p=2$ の場合、これはユークリッド幾何学を復元する。
- $p \to \infty$ の場合、これは Muon で使用される線形最小化オラクル (LMO) である $UV^\top$ を復元する。
- 有限の $p > 2$ の場合、これは HTMuon や Soft-Muon のような手法に対応する。
ノイズの仮定: 解析には、勾配が $r$ 次モーメント条件（ $r \in (1, 2]$ ）を満たすと仮定する ヘビーテイル（重い裾）ノイズ の仮定が含まれている。これにより、双対指数 $q = p/(p-1)$ に依存する収束レートの導出が可能になる。
レジーム解析: 著者らは、以下の 2 つの異なるレジームにおけるオラクル複雑度の境界を導出している：
- 決定論的 (Deterministic): ノイズが無視できる場合。
- 確率的 (Stochastic): ノイズが存在し、分散を管理するためにバッチサイズがスケールされる場合。
スケーリング則: 理論的な境界を、現代的なディープラーニングのスケーリング則（例：Chinchilla）に適用し、モデル行列の有効次元 $d$ と総トークン予算 $N$ の関係を関連付けている。

主要な貢献

1. 任意の $p$ に対するノイズ耐性加速

著者らは、SODA が $p$ ノルム幾何学上の最適化において、確率的ノイズに対して頑健性を保ちながら加速収束レートを達成することを証明した。以下の次元に依存しないレートを確立している：
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
この結果は、選択される幾何学 $p$ と、ノイズの裾の重さ（双対指数 $q$ を通じて）との間の根本的なつながりを明らかにしている。これは、任意の $p$ ノルム幾何学に対する初のノイズ耐性加速の結果として提示されている。

2. バッチサイズ・スケーリング則

有界分散（ $r=2$ ）の下でのオラクル複雑度を分析することで、本論文は ノルム依存のバッチサイズ・スケーリング則 を導出している。固定された総オラクル予算 $N$ に対して、最適なバッチサイズ $B_p$ は次のようにスケールする：
$B_p \asymp N^{2(p-1)/(3p-2)}$

$p=2$ （ユークリッド）の場合、 $B_2 \asymp N^{1/2}$ 。
$p \to \infty$ （Schatten- $\infty$ ）の場合、 $B_\infty \asymp N^{2/3}$ 。
これは、なぜ Schatten- $\infty$ 手法である Muon がその恩恵を実現するために大きなバッチサイズを必要とするのかを説明している。

3. レジーム依存の最適性

本論文は、有効次元 $d$ とオラクル予算 $N$ の関係によって決定される、最適な $p$ の選択が レジーム依存 であることを示すことで、Muon の有用性に関する矛盾を解決している。

高次元レジーム ( $N \lesssim d$ ): 問題の滑らかさと幾何学を一致させることが有利である。目的関数が Schatten- $\infty$ ノルムにおいて滑らかであれば、 $p \to \infty$ を使用するのが最適である。
低次元レジーム ( $N \gtrsim d$ ): より小さな $p$ $p$ が好ましい。
- 決定論的 設定では、 $p=2$ （ユークリッド）がより強力な加速を提供する。
- 確率的 設定でヘビーテイル・ノイズが存在する場合、ノイズの仮定とより良く適合するため、最小の許容可能な幾何学 $p = r/(r-1)$ が最適となる。

4. スケーリング則への示唆

著者らは、これらの理論的レジームを現代的なスケーリング則（例：Chinchilla）に結びつけている。モデルサイズがトークン数 $N$ に対して線形にスケールするという典型的なスケーリング・レシピの下では、重み行列の有効ランクは $d \propto N^{1/3}$ として成長する。その結果、 $N \gg d$ となり、標準的な大規模トレーニングは明確に 低次元レジーム に位置することになる。

結論: このレジームでは、Schatten- $\infty$ よりも小さな $p$ （有限の Schatten- $p$ ）の方が理論的に好ましい。これは、なぜ Muon の優位性がスケールとともに減退し、なぜ有限 $p$ のオプティマイザ（HTMuon, Soft-Muon）が強力な候補として浮上しているのかに対する理論的な説明を提供している。

結果と意義

本論文は、Schatten- $\infty$ オプティマイザの経験的パフォーマンスにおける明白な矛盾を解決したと主張している。本研究の意義は以下の点にある：

理論的統一: Muon、Soft-Muon、およびユークリッド・オプティマイザの挙動を、 $p$ ノルム幾何学の観点から説明する単一のフレームワーク（SODA）を提供したこと。
経験的現象の解明:
- ウォームアップ: 解析は、なぜ Schatten- $\infty$ 手法はステップサイズのウォームアップを必要としないのか（有効ステップサイズが $k^{-1}$ として減衰するため）に対し、一方でより小さな $p$ の幾何学はウォームアップのようなフェーズを示すのかを説明している。
- バッチサイズ: Schatten- $\infty$ 手法の大きなバッチの必要性を定量化し、任意の $p$ に対するスケーリング則を提供した。
- スケーリング: Schatten- $\infty$ 手法が Chinchilla 型のレシピの下で期待ほどスケールしない可能性があるという観察に対し、理論的根拠を提供し、低次元的な性質が有限 $p$ を支持していることを示した。
実践的なガイダンス: 結果は、トレーニング中に $p$ を調整する（予算 $N$ が次元 $d$ を超えるにつれて $\infty$ に近い値から有限の $p$ へ切り替える）という潜在的なスイッチング戦略を示唆しており、これは Soft-Muon のような最近の経験的なスケジュールと一致している。

著者らは、解析が最悪ケースのノルム変換に依存していることや、より鋭い問題依存の関係が境界を精緻化できる可能性があることを述べ、控えめなトーンを維持している。また、動的な $p$ スイッチングの実践的な探索を今後の課題としている。