🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

本論文は、Muonが主に、データ不均衡によって増幅され、層内の曲率の減少によって維持される、より低い正規化方向鋭敏度（NDS）曲率ペナルティを通じた幾何学的な優位性によって、大規模言語モデルの学習においてAdamを凌駕し、より大きな一歩あたりの損失減少を達成することを実証している。

原著者： Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

広大な、霧に包まれた山脈の中で、最も低い地点を探しているところを想像してみてください。これが、巨大なAIモデル（大規模言語モデルなど）を訓練することの正体です。「山」はエラー率であり、「最も低い地点」は完璧で最も正確なモデルです。そこに到達するためには、あなたにどの方向に一歩踏み出すべきかを教える「ガイド」、つまりオプティマイザ（最適化アルゴリズム）が必要です。

長い間、Adamが標準的なガイドとして君臨してきました。しかし最近、Muonという新しいガイドが登場し、山の麓にAdamの2倍の速さで到達し始めました。しかし、一体なぜなのでしょうか？この論文は、「曲率の視点（地形の形を見る視点）」を用いて、この謎を解明する探偵のような役割を果たしています。

彼らの発見を、分かりやすく説明します：

1. 二人のガイドは同じ歩幅で進むが、Muonの方が滑らかである

あなたと友人が丘を下っているところを想像してください。二人とも、全く同じ長さの一歩を踏み出すことに決めました。

最初の一歩（推進力）： あなたも友人も、同じ強さで前方に押し出されます。数学的には、これを「一次ゲイン（first-order gain）」と呼びます。これらは等しいものです。
凸凹（曲率によるペナルティ）： 地面は完全に平坦ではありません。凸凹があります。もし凸凹の激しい方向に強く踏み込みすぎると、少し跳ね返ってしまい、エネルギーを無駄にしてしまいます。
- Adamは、地形の中で「最も凸凹が激しい」部分へと足を踏み入れる傾向があります。高い凸凹に当たり、跳ね返され、前進の勢いを失ってしまいます。
- Muonはより賢いです。地面の形を観察し、より滑らかで平坦な道へとステップを導きます。歩幅自体は同じですが、より小さな凸凹しか当たりません。

結果： Muonは（Adamよりも）「曲率によるペナルティ」が小さいため、たとえ最初の一押しが同じであっても、一歩ごとにAdamよりも実際に遠くまで進むことができるのです。

2. 秘密兵器：「正規化方向鋭度」（NDS）

この論文では、NDSという専門的な用語を導入しています。これは、本質的に「自分が歩いている方向の地面がいかに鋭いか（険しいか）」を測定するものです。

発見： MuonとAdamは同じサイズのステップ（同じ更新ノルム）を踏みますが、Muonのステップは常に、地面がそれほど鋭くない方向へと向かっています。
比喩： 背の高い、鋭いトウモロコシ畑の中を歩いているところを想像してください。
- Adamは、最も密集した、最も鋭いトウモロコシの茎の中を真っ直ぐ突き進みます。すると、トウモロコシに切りつけられ（高いNDS）、トウモロコシが押し返してきます。
- Muonは特別なコンパスを使い、トウモロコシの隙間を見つけ出します。歩く距離は同じですが、トウモロコシの密度がずっと低い（低いNDS）場所を通ります。抵抗なく、滑るように進んでいくのです。

3. なぜMuonは隙間を見つけるのが得意なのか？（データの不均衡）

論文は、データが**不均衡（アンバランス）**になると、地形がより凸凹になることを発見しました。

シナリオ： 図書館に、本の90%が「猫」についてで、わずか10%が「犬」についての本しかない状況を想像してください。これが不均衡なデータセットです。
影響： このような不均衡な図書館では、地面が極めてギザギザになり、鋭いスパイク（突起）が満ち溢れます。
勝者： Adamは「猫」のスパイクに捕まって動けなくなります。しかし、Muonはこのようなギザギザで不揃いな風景をナビゲートするのが非常に得意です。データが不均衡であればあるほど、Muonの滑らかな道とAdamの凸凹した道の差は大きくなります。

4. 魔法はどこで起きているのか？（レイヤー内部）

AIモデルは、積み重なった層（多層ケーキのようなもの）で構成されています。論文は、Muonの優位性がケーキ全体によるものなのか、それとも特定の層によるものなのかを調査しました。

発見： 学習が進むにつれて、Mu子の優位性は変化していきます。Muonは、層同士がどのように相互作用するか（クロスレイヤー）を気にすることをやめ、個々の層の内部（ウィズインレイヤー）においてステップを滑らかにすることに完全に集中するようになります。
比喩： リレーレースを考えてみてください。最初は、全員がランナー間でバトンを渡すことに気を取られています（クロスレイヤー）。しかし、レースが熱を帯びてくると、Muonはスピードの秘訣は、他のランナーのノイズを無視して、自分の区間をただ完璧に滑らかに走ることだと気づくのです（ウィズインレイヤー）。

5. 理論的証明：「イコライザー」

最後に、著者たちはなぜこれが機能するのかを証明するために、単純な数学モデル（「定型的な二次問題」）を構築しました。

問題： 山に、非常に急で鋭い崖（高い曲率）と、広大で緩やかな斜面（低い曲率）がある状況を想定します。
Adamのミス： 「崖」があまりにも急であるため、Adamはそこに引き寄せられてしまいます。急な崖を降りようとして全エネルギーを費やしますが、あまりに鋭いため、激しく跳ね返されてしまいます。
Muonの戦略： Muonは「スペクトル正規化」というテクニックを使用します。これは、急な崖に対して、緩やかな斜面に対してと同じだけのエネルギーを均等に使うように強制する、魔法のイコライザーを持っているようなものです。
結果： 危険な崖に過剰に集中しないことで、Muonは激しい跳ね返りを回避します。エネルギーを均等に分配することで、Adamには到底真似できない、着実で効率的な下山を実現するのです。

まとめ

MuonがAdamに勝つ理由は、より大きなステップを踏んだり、より強く押したりするからではなく、より優れたナビゲーターだからです。AIが跳ね返されてしまうような数学的な景観の「鋭い」部分を避けることができるのです。特にデータが乱雑であったり不均衡であったりする場合に、経路を滑らかにすることで、Muonは山の麓（最高のモデル）へとより早く到達します。

技術要約：なぜMuonはAdamを凌駕するのか：曲率の観点から

問題提起

Muonは、大規模言語モデル（LLM）の事前学習において非常に効率的なオプティマイザとして台頭しており、様々なモデルスケールにおいて標準的なAdamオプティマイザと比較して約2倍の高速な学習収束を実現しています。近年の研究では、連想メモリやデータのロングテール性といったメカニズムにその優位性の理由を求めてきましたが、Muonの優位性がもたらされる局所的な幾何学的ソースは依然として不明なままです。本論文は、以下の2つの主要な問いに対処します。

どのような特定の性質が、最適化のランドスケープにおけるMuonの優位性を支えているのか？
事前学習の要因（具体的には学習データの分布とモデル構造）は、この性質にどのように影響を与えるのか？

手法

著者らは、LLMの学習軌跡に関する実証的分析と、定型的な二次形式最適化問題に関する理論的分析を組み合わせて用いています。

実証的分析:

二次テイラー展開: 著者らは、テイラー展開を用いて、一歩の損失減少（ $\Delta D$ ）を一次の利得（勾配の整列）と二次の曲率ペナルティに分解することで分析を行っています： $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ 。
指標の定義: 更新の方向と更新スケールの影響を分離するために、**正規化方向鋭度（Normalized Directional Sharpness: NDS）**を導入しています。これは $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ と定義されます。これにより、曲率ペナルティを更新ノルムとNDSに分解して扱うことが可能になります。
実験設定: 実験は、FineWebデータセットで学習された124MパラメータのNanoGPTモデルを用いて行われます。公平性を確保するため、検証損失レベルを一致させた状態でMuonとAdamの比較が行われます。
データと構造のバリエーション:
- データの不均衡: 重い裾を持つ分布の影響をテストするため、制御された不均衡レベル（Zipf指数 $s$ ）を持つZipf-確率文脈自由文法（PCFG）を用いて合成データを生成しています。
- 層の分解: 異なるモデルコンポーネントがどのように曲率の優位性に寄与するかを理解するために、NDSを「層内」（対角Hessianブロック）と「層間」（非対角成分の相互作用）の寄与に分解しています。

理論的分析:

定型的な二次形式モデル: 著者らは、LLMのランドスケープの特徴を反映した4つの実証的に検証された仮定に基づき、二次形式最適化問題を構築しています。
1. 低クロネッカー階数（Low Kronecker-Rankness）: ヘッシアンが低ランクのクロネッカー近似を許容すること。
2. 同時対角化（Simultaneous Diagonalization）: クロネッカー因子が共通の直交基底を共有していること。
3. 曲率の不均質性（Curvature Heterogeneity）: ヘッシアンのスペクトルが強い不均質性（固有値のロングテール分布）を示すこと。
4. 勾配の整列（Gradient Alignment）: 勾配が高曲率の固有方向に対して強く整列していること。
比較: 理論的証明では、Muon（スペクトル正規化された更新）を勾配降下法（GD）と比較しています。この特定の定型設定において、AdamはGDと同様の挙動を示すことが指摘されているため、著者らはスペクトル正規化と勾配ベースの更新との対比に焦点を当てています。

主な貢献と結果

1. Muonの優位性の源泉：減少した曲率ペナルティ
分析の結果、MuonがAdamよりも大きな一歩の損失減少を実現できる主な理由は、一次の勾配利得が大きいためではなく、二次の曲率ペナルティが大幅に小さいためであることが明らかになりました。

観察1: 検証損失が一致している場合、MuonとAdamの一次の減少量は同程度ですが、Muonの曲率ペナルティは大幅に低くなっています。

2. メカニズム：より低い正規化方向鋭度（NDS）
減少した曲率ペナルティは、ステップサイズではなく、Muonの更新方向によって駆動されています。

観察2: MuonとAdamの更新ノルム（ $\|Z\|_F$ ）は同程度です。しかし、Muonは顕著に低いNDSを示しています（平均してAdamより約1.76倍低い）。これは、Muonのスペクトル正規化が、局所的な曲率が低い方向へと更新を導いていることを示しています。

3. データの不均衡の役割
MuonのNDSにおける優位性は、データの不均衡によって増幅されます。

観察3: Zipf-PCFGデータを用いた実験により、データセットが不均衡になるほど（Zipf指数 $s$ が高くなるほど）、両方のオプティマイザのNDSは上昇しますが、AdamとMuonの差は大幅に拡大することが示されました（ $s=0$ から $s=1$ にかけて1.8倍に増加）。Muonは、ヘビーテイルなデータによって誘発される鋭さ（sharpness）に対してより堅牢です。

4. モデル構造の役割
曲率の優位性は、学習の過程で変化します。

観察4: 層内および層間の両方のNDSコンポーネントにおいてMuonの方が低い値を示しますが、学習の中期および後期段階では、層内のコンポーネントがMuonの優位性においてますます支配的になります。Adamは層内と層間の鋭さのバランスを安定して維持しますが、Muonの層間への寄与は急速に低下します。

5. 理論的正当化
本論文は、不均質な曲率と高曲率モードへの勾配の整列を持つ二次形式問題において、以下を証明しています。

Muonは、GDが高曲率モードにエネルギーを集中させるのに対し、スペクトル正規化によって曲率グループ間で更新エネルギーを分散させるため、平均的なNDSが小さくなります。
曲率の不均質性が十分に強い場合、MuonはGDと同じステップ数の後において、より低い局所二次損失を達成します。

意義と主張

本論文は、局所的な曲率の観点から、Muonの優位性を解明するための「第一歩」を踏み出したと主張しています。中心的な結論は、Muonの効率性は、スペクトル正規化された更新を実行することで、本質的に低い方向鋭さを備え、それによって最適化ステップの二次的なコストを最小化できる能力に由来するというものです。

著者らは、本研究を既存の「メモリ中心」の説明（例：Wang et al., 2025b）を補完するものとして明確に位置づけており、異なる幾何学的メカニズムを提示しています。すなわち、同じ反復時点において、MuonはAdamよりも小さな方向鋭さのペナルティを支払っているという点です。本研究の範囲は控えめであり、因果的LLMに焦点を当て、グローバルな収束保証や拡散モデルを含むすべてのモデルクラスへの適用可能性を主張するのではなく、局所的なメカニズムを特定することに注力しています。