To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters

この論文は、Adam に代わって注目されるオプティマイザ Muon が学習速度を向上させる一方で、SGD などが持つ「単純性バイアス」を除去し、結果としてモデルが共通構造の発見に苦しみ偽の特徴に適合しやすくなるという潜在的な欠点を理論的・実証的に指摘し、新しいオプティマイザ開発において導入されるバイアスの影響を慎重に考慮すべきだと警鐘を鳴らしています。

要約

この論文は、深層学習（AI を訓練する技術）の世界で最近非常に人気が出ている新しい「最適化アルゴリズム（学習の進め方）」であるMuon（ムオン）について、「本当に素晴らしいのか？それとも隠れたリスクがあるのか？」を分析したものです。

一言で言うと、**「速いからといって、それがいつも良い結果とは限らない。AI が『物事を理解する』か『単に丸暗記する』かは、学習の『歩き方』によって決まる」**というお話です。

以下に、専門用語を避け、日常の例え話を使って分かりやすく解説します。

---

1. 背景：AI の「足取り」を変える新しい靴

これまで、AI を訓練する際の「標準的な靴（最適化器）」はSGD（確率的勾配降下法）やAdamでした。これらは確実で、AI が物事を「段階的に」理解していく傾向がありました。

しかし最近、Muonという新しい靴が登場し、**「圧倒的に速い」**ことで大ブームになりました。まるで、他の人が歩いている道を、Muon は飛行機で移動しているかのような速さです。多くの人が「速いから、これが新しい標準だ！」と使い始めています。

でも、この論文の著者たちは疑問を持ちました。
「なぜそんなに速いのか？その『速さ』の代償は何なのか？」

2. 核心：シンプルさの「バイアス（偏り）」を失う

論文の最大の発見は、**「速い Muon は、AI が持つべき『シンプルに考える癖（シンプル・バイアス）』を失わせてしまう」**という点です。

例え話：迷路の歩き方

AI が学習する過程を「複雑な迷路をゴールまで歩くこと」だと想像してください。

• SGD（従来の方法）の歩き方：
  迷路の入り口から、**「まずは一番簡単な道筋を見つけ、それを完全に理解してから、次に少し難しい道筋へ進む」**という順番で歩きます。

  • メリット：この「段階的な歩き方」のおかげで、AI は「本質的なルール」をゆっくりと理解し、複雑な問題でも応用が利くようになります。これを**「シンプル・バイアス（シンプルさを好む性質）」**と呼びます。
  • デメリット：道に迷ったり、一時停止したりするので、時間がかかります。

• Muon の歩き方：
  「全部同時に覚えちゃえ！」という方針です。簡単な道も難しい道も、すべてを同時に、均等に、一気に学習しようとします。

  • メリット：迷路を抜けるのが驚くほど速いです。
  • デメリット：本質的なルール（共通の構造）を理解する前に、「その場限りの細部（ノイズや偶然の一致）」まで全部丸暗記してしまいます。

3. Muon が失敗する 2 つのシナリオ

著者たちは、この「速すぎて単純なルールを無視する」性質が、具体的にどんな問題を引き起こすかを実験で示しました。

① 「共通のルール」が見えなくなる（共有表現の欠如）

シチュエーション：
7 つの異なる国（入力ソース）から来たデータを使って、同じ「数字の意味」を教えるタスクです。

• SGD：「あ、どの国も『1』は同じ意味なんだ！」と気づき、共通のルールを学びます。だから、訓練で見たことのない国の組み合わせでも正解できます。
• Muon：「国 A の『1』はこう、国 B の『1』はああ」と、国ごとの細部まで丸暗記してしまいます。共通のルール（本質）を見失い、新しい組み合わせには全く通用しなくなります。

比喩：
料理のレシピを教える時、SGD は「火を通せば肉が固まる」という原理を学びます。Muon は「A 社の肉は 5 分、B 社の肉は 6 分」という具体的な数字だけを暗記してしまいます。新しい肉が来たら、Muon はどうすればいいか分かりません。

② 「嘘のヒント」に踊らされやすい（スパイラスな特徴）

シチュエーション：
「数字の形」で分類するタスクですが、訓練データには「特定のピクセルの色」がクラスごとに決まっているという**偶然の一致（嘘のヒント）**が含まれています。

• SGD：まず「数字の形」という本質的な特徴を学びます。その後、少し遅れて「色」にも気づきます。だから、色がないデータでも正解できます。
• Muon：「形」と「色」を同時に学習します。結果として、「色」という嘘のヒントにすぐに依存し始めます。色がないデータを見ると、すぐに正解できなくなります。

比喩：
試験勉強で、SGD は「教科書の本文（本質）」をじっくり読みます。Muon は「過去問の答えと、問題文の特定の文字の太さ（偶然のヒント）」を同時に暗記してしまいます。本番で「太い文字がない問題」が出ると、Muon はパニックになります。

4. 結論：速さだけが全てではない

この論文が伝えたいメッセージは以下の通りです。

• Muon は確かに速い：計算リソースを節約したい場合や、単純なタスクには素晴らしいです。
• しかし、代償がある：その速さは、「AI が物事を深く理解し、一般化（応用）する能力」を犠牲にしている可能性があります。
• 開発者への警告：新しい AI の学習アルゴリズムを作る時、**「どれくらい速いか」だけでなく、「どのような癖（バイアス）を AI に植え付けるか」**を必ず考える必要があります。

まとめの比喩：
Muon は「時短料理」のようなものです。忙しい日には最高ですが、料理の「味や栄養のバランス（本質的な理解）」を追求したい時や、未知の食材（新しいデータ）に対応したい時には、時間をかけて丁寧に調理する（SGD のような）方法の方が、結果的に美味しい料理（汎用性の高い AI）ができるかもしれません。

私たちは、**「速さ」に飛びつく前に、「その学習方法が AI にどんな性格（癖）を与えるか」**を慎重に選ぶべきなのです。

技術概要

論文サマリー：「Muon を使うか使わないか：オプティマイザにおけるバイアスの重要性」

この論文は、深層学習のトレーニングにおいて近年注目されている新しいオプティマイザ「Muon」の特性を分析し、その高速な収束の背後にあるメカニズムが、学習経路や最終的な解の性質にどのような影響を与えるかを理論的・実験的に検証したものです。特に、Muon が従来の SGD（確率的勾配降下法）が持つ「単純性バイアス（simplicity bias）」を失うことによる潜在的な欠陥を指摘しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

• 背景: 長年、Adam が深層ニューラルネットワークのデフォルトのオプティマイザとして使われてきたが、最近「Muon（MomentUm Orthogonalized by Newton-Schulz）」がトレーニング速度の面で優位性を示し、急速に普及している（例：NanoGPT Speedrun での記録、産業界での採用）。
• 課題: 多くの研究が Muon の「速度向上」という利点に焦点を当てているが、その高速化をもたらすメカニズムがもたらす潜在的な欠点や、学習経路（loss landscape 上での移動軌道）の違いが最終的な解の機能的な性質にどう影響するかは十分に理解されていない。
• 核心: 異なるオプティマイザは、異なる学習経路をたどり、異なる**帰納的バイアス（inductive biases）**を持つ。Muon は SGD が持つ「単純性バイアス（解の複雑さを段階的に増やす傾向）」を失っており、これがタスクによっては不利に働く可能性がある。

2. 手法 (Methodology)

著者は、Muon の理論的な分析を容易にするために、Muon の主要な特性（直交化）を保持しつつ、数学的に扱いやすい「Spectral GD（スペクトル勾配降下法）」を導入して分析を行った。

• 理論的枠組み:
  • モデル: 2 層の深層線形ネットワーク（Deep Linear Networks）を使用。
  • 比較対象: 従来の勾配降下法（GD/Gradient Flow）と、Muon の近似版である Spectral GD。
  • 仮定: 厳密な SVD（特異値分解）を使用し、モメンタムや Newton-Schulz 反復による近似を理論分析では除外して、純粋なオプティマイザのバイアスを抽出。
• 実験的検証:
  • 共有表現の学習タスク（Routing Task）: 複数の入力ドメインから共通の構造を学習するタスク。SGD と Spectral GD/Muon の一般化性能を比較。
  • 偽相関（Spurious Correlations）タスク: MNIST データセットに、クラス固有の特定のピクセル強度（偽の特徴）を追加。SGD、Adam、Muon の、偽の特徴への依存度と一般化性能を比較。

3. 主要な貢献と理論的発見 (Key Contributions & Theoretical Findings)

A. 学習ダイナミクスの違い

• GD（SGD）の挙動:
  • 逐次的学習（Sequential Learning）: 解のランク（複雑さ）を段階的に増加させる。特異値の大きい順に学習が進み、鞍点（saddle points）を一つずつ越えていく「鞍点から鞍点へのダイナミクス」を示す。
  • 単純性バイアス: 複雑な構造を一度に学習せず、最も支配的な特徴（主成分）から順に学習するため、暗黙的な正則化（implicit regularization）として機能し、共有構造や本質的なルールを発見しやすい。
• Spectral GD（Muon）の挙動:
  • 同時学習（Equal Learning）: 特異値の大小に関わらず、すべての主成分を同時に、同じ速度で学習する。
  • 単純性バイアスの欠如: 解のランクが段階的に増えることがなく、すべての特徴を同時に学習しようとするため、GD のような「単純性バイアス」が失われる。
  • 高速化の理由: 鞍点を避けて直接最適解へ向かうため、GD よりも収束が速い。

B. 理論的帰結

• Muon の高速化は、学習経路が GD と異なり、鞍点を回避することによるものである。
• しかし、この「鞍点を避けること」は、解の複雑さを段階的に増やすという「単純性バイアス」を失うことを意味する。
• このバイアスの欠如は、タスクによっては「共有された本質的な構造」の発見を妨げ、過剰適合（memorization）や偽の特徴への依存を招くリスクがある。

4. 実験結果 (Results)

実験 1: 共有表現の学習（Routing Task）

• 設定: 異なる入力ドメインから共通の写像（1, 2, 3, 4 を特定のベクトルにマッピング）を学習するタスク。訓練データでは入力 - 出力の組み合わせの一部しか見せない。
• SGD の結果: 訓練で見たことのない入力 - 出力ペアに対しても正解する。これは、モデルが「入力と出力の共通の構造（共有表現）」を学習し、一般化できたことを示す。解のランクはタスクの次元（4）に収束し、低ランク構造を維持。
• Muon (Spectral GD) の結果: 訓練データには適合するが、未見のペアでは失敗する。モデルは各入力 - 出力ペアを個別に「暗記（memorization）」しており、共有構造を学習していない。解のランクは高く、スペクトルが重い尾部を持つ（過剰適合の兆候）。
• 結論: Muon は共有構造の発見に失敗し、単純な暗記に頼る傾向がある。

実験 2: 偽相関（Spurious Features）

• 設定: MNIST の数字認識タスクにおいて、クラスごとに特定のピクセル強度（偽の特徴）を付与。
• SGD の結果: 初期段階では「数字の形」という本質的な特徴を優先して学習し、偽の特徴への依存が遅れる。早期停止（early stopping）を適用すれば、偽の特徴に依存しない高い精度が得られる。
• Muon の結果: 「数字の形」と「偽の特徴」を同時に学習する。そのため、偽の特徴が支配的になる前に、モデルはすでに偽の特徴にも依存し始めてしまう。
• 結論: 偽の特徴が支配的でない場合、SGD の方が一般化性能が高い。Muon は学習が均一かつ高速であるため、偽の特徴に早く依存し始め、一般化性能が低下する可能性がある。

5. 意義と結論 (Significance & Conclusion)

• オプティマイザ設計への示唆:
  • 新しいオプティマイザ（Muon など）を開発する際、単に「トレーニング速度」だけでなく、それが導入する帰納的バイアスを慎重に検討する必要がある。
  • 速度向上は、しばしば「単純性バイアス」の喪失というトレードオフを伴う。
• 実用的な影響:
  • Muon は不均衡なデータや、すべてのモダリティを均等に学習する必要があるタスクでは優位性を示すが、共通構造の発見や偽相関への頑健性が求められるタスク（例：数学的推論、医療診断など）では、SGD の方が優れた性能を発揮する可能性がある。
  • 「良いオプティマイザ」とは、単に速いものではなく、問題の性質に適合したバイアスを持つものであるべきである。
• 将来の展望:
  • GD のような「鞍点から鞍点への学習経路（単純性バイアス）」を維持しつつ、鞍点を素早く通過できるような、新しいオプティマイザの設計が期待される。

総括:
この論文は、Muon の驚異的な速度の裏側にある「単純性バイアスの欠如」を理論的に解明し、それが一般化性能や構造学習に悪影響を及ぼす可能性を実証しました。深層学習の実務においては、タスクの性質に応じてオプティマイザを選択する重要性、および新しいオプティマイザの評価において「バイアス」の観点からの分析が不可欠であることを強く訴求しています。