💻 computer science

DynMuon: A Dynamic Spectral Shaping View of Muon

本論文は、Muon ベースの学習を最適化するために、曲率とノイズに基づいてスペクトル電力パラメータ $p$ を正から軽度の負の値へとスケジューリングする動的スペクトル成形手法 DynMuon を導入し、それにより標準的な Muon よりも低い検証損失と高速な収束を達成することを示す。

原著者： Fangzhou Wu, Rikhav Shah, Sandeep Silwal, Qiuyi Zhang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fangzhou Wu, Rikhav Shah, Sandeep Silwal, Qiuyi Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑なロボット（大規模言語モデル）に人間の言語を教えることを想像してください。そのためには、そのミステイクに基づいて、内部の「つまみ」や「ダイヤル」を絶えず微調整する必要があります。このプロセスはトレーニングと呼ばれます。

長らく、これらのつまみを調整する標準的な方法は、汎用的なドライバーを使うようなものでした。つまり、役に立ちそうな方向に少しづつ回すだけでした。最近、Muonという新しい方法がチャンピオンとなりました。これは、ドライバーから、ロボットがより速く、より安定して学習できるように、つまみをどの方向に回すべきかを正確に知っている、ハイテクな自動水準器付きレンチへとアップグレードするようなものです。

DynMuonは次の進化です。これは「スマートなスケジューラー」であり、レンチの設定を常に全く同じにするべきではないことに気づいています。代わりに、トレーニングが進むにつれて戦略を変化させます。

いくつかの比喩を用いて、その仕組みを簡単に解説します。

1. 問題点：「万能型」レンチ

現在のチャンピオンである Muon は、ロボットのつまみを調整するための特定のルールを使用します。それは、学習のすべての「方向」を同じように扱います。

比喩： 山を登っている状況を想像してください。Muon は、常に最も急な道を進むよう指示するガイドのようです。これは山の麓（トレーニングの初期）にいるときには非常に効果的です。なぜなら、急な道は素早く登らせてくれるからです。
課題： 頂上（トレーニングの後期）に近づくにつれて、地形は変化します。急な道は岩だらけで危険（ノイズに満ちている）かもしれません。一方、平坦な道こそが、頂上への最後の数歩が隠されている場所かもしれません。もし急な道を進み続けようとすれば、立ち往生したり、道に迷ったりする可能性があります。

2. 発見：ゲーム中盤での戦略変更

この論文の著者たちは、つまみを回す「最良」の方法は、トレーニングプロセスのどの段階にいるかによって変化することを発見しました。彼らは、レンチの動作を制御する数学的な「つまみ」である $p$ （スペクトル指数）を調べました。

初期段階（登山）： 始めの頃、ロボットは大きく明らかなミステイクを犯しています。「急な」方向（高い曲率）には、有用な情報が満載です。
- DynMuon の動き： つまみを正の値に設定します。これは、「急な道に全力で進め！」と叫ぶようなものです。これにより、ロボットは山の最初の部分を非常に速く駆け上がることができます。
後期段階（頂上）： ロボットが上達するにつれて、大きなミステイクは消えます。今や、有用な情報は「平坦な」方向（低い曲率）に隠れています。しかし、これらの平坦な道は、ランダムなノイズ（雑音）が潜みやすい場所でもあります。
- DynMuon の動き： つまみをゆっくりとわずかに負の値に回します。これは、「優しく、しかし平坦な道に集中せよ」と囁くようなものです。これにより、ロボットは、まだ有用なシグナルを持つ微妙な平坦な方向に注意を向けつつ、ノイズの多い雑音を慎重に避けるようにシフトします。

3. 魔法：「動的」スケジューラー

この論文は、この切り替えを自動的に処理するDynMuonを導入しています。

仕組み： トレーニングが進むにつれて、正の設定（攻撃的、急な道への集中）から負の設定（穏やか、平坦な道への集中）へと滑らかに移行します。
結果： これは、「スプリントモード」から「精密モード」へ切り替えるタイミングを正確に知っているガイドを持っているようなものです。

4. 重要性（結果）

この論文は、さまざまなサイズのロボット（小規模から超大型まで）でこれをテストし、以下の結果を得ました。

トレーニングの高速化： DynMuon は、古い Muon 方法と同じレベルの知能に達しますが、ステップ数を 10% から 26% 削減します。これは、4 日かかっていた頂上への到達を 3 日で達成するようなものです。
パフォーマンスの向上： 最終的な「誤りスコア」（検証損失）が低くなり、つまり最終的なロボットがより賢くなります。
効率性： 実行するためにスーパーコンピュータは必要ありません。トレーニングの各ステップにほとんど追加の時間を要しません。これはハードウェアのアップグレードではなく、ソフトウェアのアップグレードです。

まとめ

Muonを、山を登るための非常に優れた固定ルール付きのガイドだと考えてください。DynMuonは、同じガイドですが、「急崖を登る」ことから「穏やかな尾根を歩く」ことに切り替えるタイミングを教えてくれる地図を持っています。戦略を動的に変えることで、ロボットはより速く学習し、一つのルールに固執し続けた場合よりも良い場所に到達します。

この論文は、これが大規模言語モデルのトレーニングに特いて機能すると主張しており、一般的な AI トレーニングの効率性以外の医療診断、自動運転車、その他の特定のアプリケーションへの使用については主張していません。

技術概要：DynMuon：Muon の動的スペクトル成形の視点

問題提起

Muon は、大規模言語モデル（LLM）およびトランスフォーマーの学習における支配的なオプティマイザとして最近登場しました。その中核メカニズムは、標準的な勾配更新行列 $M = U\Sigma V^\top$ をその極分解因子 $UV^\top$ に置き換えることで、特異値を「平坦化」しつつ特異方向を保持することにあります。これは収束性と安定性を向上させますが、本論文は重要な限界を指摘しています。すなわち、Muon は静的なスペクトル変換（具体的には、スペクトル指数 $p=0$ の場合である $U\Sigma^p V^\top$ の族におけるケース）を採用しているという点です。

この研究が扱う中心的な未解決の問いは、単一の固定されたスペクトル成形規則が学習プロセス全体を通じて最適であり続けるかどうかです。先行研究では、スペクトル成形の固定された変種（例えば、固定されたべき則成形や支配的部分空間の抑制など）が探求されてきましたが、学習が進むにつれて異なるスペクトル方向の相対的な影響力がどのように変化するかを説明する理論モデルは欠けていました。著者らは、最適なスペクトル指数 $p$ は、損失関数の変化する地形、勾配ノイズの性質、および学習段階に基づいて動的に適応すべきであると仮説を立てています。

手法

1. 理論的枠組み：ノイズ認識局所モデル

著者らは、 $D(p) := U\Sigma^p V^\top$ と定義されるスペクトル成形操作の学習ダイナミクスを分析するためのノイズ認識局所モデルを開発しました。

信号 - ノイズのトレードオフ: このモデルは、更新を局所的な曲率方向（モード）に分解します。これは指数 $p$ $p$ によって制御される根本的なトレードオフを明らかにします。
- 高い $p$ （正）: 高曲率（強い）モードにおける残留信号の収縮を加速しますが、平坦なモードにおける更新を抑制します。
- 低い $p$ （負）: 低曲率（平坦）モードにおける収縮を増加させますが、同時にそれらと同じ方向における確率的勾配ノイズを増幅します。
段階依存ダイナミクス:
- 学習初期: 残留信号は高曲率方向に集中しています。正の $p$ は有益であり、これらの方向を優先することで、ノイズ増幅を限定的に抑えつつ信号収縮を加速します。
- 学習後期: 学習が進むにつれて、強いモードにおける残留信号は減衰し、集中は平坦なモードへと移行します。わずかに負の $p$ が有利となり、まだ有用な信号を含むこれらの平坦な方向に更新強度を再配分します。ただし、 $p$ が過度に負であると、ノイズ増幅が最適化を劣化させます。

2. DynMuon アルゴリズム

$p$ が正からわずかに負へと遷移すべきだという理論的洞察に基づき、著者らはDynMuon、すなわち動的スペクトル成形アルゴリズムを提案します。

スケジューリング戦略: DynMuon は、スペクトル指数 $p$ を正の学習初期値（ $p_{max} = 1$ ）からわずかに負の学習後期値（ $p_{min} = -0.25$ ）へ単調に減少させる、単純なロジスティックスケジューリングを採用します。
効率的な実装: 任意の $p$ $p$ に対する正確な SVD の計算は計算量的に禁止的です。DynMuon は、Muon で使用されるニュートン・シュルツ（NS）近似を拡張します。
- $p \ge 0.25$ の場合、元のMuon更新（または $p \in [0, 0.25)$ の場合の標準的なNS直交化）を使用します。
- $p < 0$ の場合、分数スペクトル成形 $A^{p/2}$ （ここで $A = X_n X_n^\top$ ）を単位行列周りの2次テイラー展開を用いて近似します。これにより、標準的なNS計算に多項式補正項が追加されるのみで、Muon と同じ漸近計算複雑性を維持します。
安定性のアンカー: $p$ が正で大きい場合に安定性を確保するため、アルゴリズムは正の領域を安定な演算子にアンカーし、その領域での信頼性の低いテイラー近似を回避します。

主な貢献

動的スペクトル視点: 固定されたスペクトル操作から、学習ダイナミクスとともに変化するスペクトル指数 $p$ を選択する適応的な問題へと、Muon 様式の最適化を再定義すること。
ノイズ認識局所モデル: 局所的な曲率方向全体における残留信号の削減と確率的ノイズの増幅とのトレードオフを通じて、 $p$ に対する段階依存の好みを説明する理論モデルの開発。
段階依存領域の発見: 正の指数が学習初期（強いモードを強調）に有益である一方、わずかに負の指数（以前は見過ごされていた）が、有用な残留信号を保持する平坦なモードを強調することで学習後期の最適化を改善することを発見したこと。
DynMuon アルゴリズム: $p$ を正からわずかに負へスケジューリングする効率的な動的スペクトル成形アルゴリズムを提案し、わずかな計算オーバーヘッドで固定されたMuonに対して一貫した改善を達成すること。

実験結果

著者らは、DynMuon をさまざまなモデルサイズ（1.27 億から 11 億パラメータ）、アーキテクチャ（GPT スタイルおよび Qwen スタイル）、および学習設定（FineWeb および FineWeb-Edu データセット）で評価しました。

性能: DynMuon は、標準的なMuon（ $p=0$ ）および AdamW ベースラインよりも一貫して低い検証損失を達成します。
効率性: 同一の目標検証損失（学習の 80% 時点でMuonが到達する損失として定義）に達するために、DynMuon は10.6% から 26.5% 少ない学習ステップを必要とします。
オーバーヘッド: DynMuon のステップあたりの時間コストはMuonの1.003–1.025 倍に過ぎず、テイラー近似されたスペクトル成形の効率性を確認しています。
ロバスト性:
- アーキテクチャ: 恩恵は Qwen スタイルのアーキテクチャにも転移します。
- 学習予算: トークン予算が 25 億から 200 億の範囲で改善が維持されます。
- 学習率: DynMuon はMuonと比較して学習率の選択に対する感度が低いです。
- 損失目的: 軽度の負の成形の恩恵は、CE-Brier 損失の補間族全体で持続し、このメカニズムが異なる確率空間損失に対してロバストであることを示唆しています。
アブレーション: 実験により、滑らかなロジスティック遷移が急峻な切り替えや固定された負のスケジュールよりも優れていることが確認されました。最適な $p_{min}$ は $-0.25 $であることが判明しました。より攻撃的な負の値（例：$ -0.5$）は、ノイズ増幅により性能を劣化させます。

意義と主張

本論文は、DynMuonが「最良の」スペクトルバイアスは静的ではなく、学習中に進化することを示していると主張しています。高曲率方向から平坦な方向へと重点を動的にシフトさせることで、DynMuon はMuonのような固定変換では見逃される最適化ダイナミクスを捉えます。

著者らは、この研究をより適応的なオプティマイザへの一歩として位置づけています。彼らは控えめに、ロジスティックスケジューリングが固定された選択を上回る一方で、これが最終的な答えではない可能性があると指摘しています。最適な $p$ は、リアルタイムの最適化統計に依存するかもしれません。 $p$ の有用な範囲が比較的小さいように見えるため、将来的な研究は、より高価な信号を頻繁でない適用で用いる可能性のある、 $p$ のオンライン推定に焦点を当てることが提案されています。この手法は、LLM 学習における汎用的な最適化改善として提示され、顕著な計算コストなしに効率性と性能を向上させます。