🤖 machine learning

Muon as a Residual Connection

本論文は、Muonオプティマイザを、下流の層における表現の保持を向上させるために即時的な勾配の忠実度を犠牲にする暗黙的な残差接続として解釈するメカニズム的な解釈を提案しており、それによってその有効性に対する概念的な説明と、局所的な降下と下流での有用性のバランスを取るための新しい設計の視点を提供するものである。

原著者： Hao Huang

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：Muonは「隠れたショートカット」である

想像してみてください。あなたは、複雑なパズルを解くようにチームの作業員（ニューラルネットワーク）に教えているところだとします。通常、あなたは各作業員が直面した直近のミスに基づいて、次に何をすべきかを正確に指示します。これが標準的なオプティマイザ（最適化アルアルゴリズム）の仕組みです。彼らは、現在のエラーをできるだけ速く修正することに集中します。

この論文では、Muonと呼ばれる新しいオプティマイザを紹介しています。Muonは単純な数学的トリック（作業員の更新を、現在の経路に対して「直交」、つまり直角になるように強制するもの）のように見えますが、著者らは、なぜそれがこれほど上手く機能するのかという新しい理解法を提案しています。

彼らは、Muonは隠れた「残差接続（Residual Connection）」として機能していると主張しています。

ディープラーニングにおける「残差接続」とは、キッチンの最初から最後まで、材料を刻んだり混ぜたりする工程をスキップして、生の原材料を運ぶコンベアベルトのようなものです。これにより、最終的なシェフ（最後の層）は、刻まれた後のバージョンだけに頼るのではなく、元の材料を見て、それをどう使うべきかを判断できるようになります。

著者らは、Muماがこれを暗黙的に行っていると主張しています。Muonはネットワークに物理的なコンベアベルトを追加するわけではありません。その代わりに、重みの「更新の仕方」を変えることで、現在の層が自分のミスを完璧に修正できなかったとしても、後の層が情報を使いやすいように、情報の「形状」を自然に維持するのです。

トレードオフ：スピード vs 使いやすさ

Muonを理解するには、2つの目標の間のトレードオフを見る必要があります。

勾配の忠実度（「今」の目標）： 現在の層のエラーをできるだけ速く修正すること。
表現の保存（「後」の目標）： 次の層に渡される情報が、依然として理解しやすく、使いやすいものであるようにすること。

彫刻家の例え：
彫刻家（オプティマイザ）が彫像を彫ろうとしている場面を想像してください。

標準的なオプティマイザ (SGD): 彫刻家は、エラーがある場所を正確にノミで削ります。彼らは現在のセクションの形を非常に素早く完璧にします。しかし、そのせいで、次の彫刻家が次のパーツを取り付けるのが難しくなるような削り方をしてしまうかもしれません。
Muon: 彫刻家は少し異なるノミの経路を取ります。最初の彫刻家ほど、現在のセクションを完璧にするのは遅いかもしれません。しかし、彼らは次の彫刻家が掴みやすいように、滑らかで平らな面を残すような彫り方をします。

論文の主張：
Muonは、現在の層のミスを修正するスピード（勾配の忠実度）をわずかに犠牲にしても、その結果が次の層にとってはるかに作業しやすいものになる（表現の保存を向上させる）ことを選んでいます。

実験：2フェーズのテスト

著者らは、2つの数学的な層（ラインに並んだ2人の作業員のようなもの）を用いた、シンプルで制御された実験を用いてこのアイデアをテストしました。

フェーズ1：ローカルテスト
最初の作業員に特定のパターンを学習させました。

結果： 標準的なオプティマイザ（SGD）の方が、Muonよりも速く、正確にパターンを学習しました。Muonの方がここでは「遅かった」のです。
教訓： Muonは確かに、局所的なタスクにおける即時的なスピードを犠牲にしました。

フェーズ2：ダウンストリームテスト
最初の作業員の出力を固定し、2番目の作業員に、その出力を最終的なターゲットに変換する方法を学習させました。

結果： 最初の作業員（Muonで訓練された）は、自身の特定の仕事においてはわずかに精度が低かったものの、2番目の作業員は、最初の作業員がSGDで訓練されていた場合よりも、最終的なタスクをはるかに速く学習しました。
教訓： Muonで訓練された作業員による「不完全な」出力は、実は次の人が使う上でより扱いやすいものでした。

「Tau」スケジュール（実世界のテスト）
また、両方の作業員が同時に学習する場合（エンドツーエンドの訓練）に何が起こるかもテストしました。

結果： Muonは、その場での最初の作業員のミスを修正することには時間がかかりましたが、システム全体としては、パズルを完了する速度が速くなりました。
なぜか？： Muonが作り出した「隠れたショートカット」により、後の層が最初の層を助けることが可能になったからです。これは、条件付けられた（コンディションの良い）ダウンストリーム層が、アップストリーム層の仕事を容易にするというフィードバックループを生み出しました。

「なぜ」：データの形状

なぜMuonはデータを使いやすくするのでしょうか？

論文では、Muonはデータの「スペクトル」（重要性の分布）をより**平坦（フラット）**にする傾向があると説明しています。

平らなテーブル vs 岩だらけの丘の例え：

標準的なオプティマイザ： データの表現を、険しい岩だらけの丘のように作ってしまうことがあります。頂上では非常に精密ですが、ボール（データ）を転がそうとすると、途中で止まったり予測不能に跳ねたりします。
Muon： データの表現を、平らで滑らかなテーブルのように作ります。それは必ずしも「最も急な」経路ではありませんが、ボールは滑らかに、かつ予測通りに転がることができます。

「テーブル」が平らであるため、次の層（次の作業員）は、データをどのように処理すべきか判断するために苦労する必要がありません。彼らはただ、ボールをゴールまで転がしていけばよいのです。

まとめ

論文は、Muonは単なる数学的な好奇心の対象ではなく、暗黙的な残差接続として機能するメカニズムであると結論付けています。

ネットワークに新しいワイヤーを追加するわけではありません。
ネットワークが学習する経路を変更します。
結果： 現在の問題を解決することをわずかに遅らせることで、その解決策がシステムの次の部分にとって「ユーザーフレンドリー」であることを保証します。

要するに、Muonは、単に速い個人であることではなく、優れたチームメイトであることをネットワークに教えているのです。 全体のチームがレースをより早く終えられるように、即時的なスピードをわずかに犠牲にして、列に並んでいる次の人が仕事をやりやすくしています。

技術要約：残差接続としてのMuon

問題提起

Muonは、CNNから大規模言語モデル（LLM）に至るまで、あらゆるアーキテクチャにおいて最先端の性能を達成する、大規模ニューラルネットワークの学習における非常に効果的なオプティマイザとして浮上しています。その有効性に関する既存の説明は、スペクトルノルム最急降下法、非ユークリッド・トラストリージョン最適化、スペクトルノルム球上のフランク・ウルフ法、ロングテール学習、曲率解析など、多様で高度な数学的枠組みに依存しています。

本論文は、広範な数学的訓練を必要としない、より直感的かつメカニズム的な説明の必要性に対処しています。具体的には、単なる即時的な勾配の忠実度や局所的な損失減少にのみ焦点を当てるのではなく、ダウンストリーム層に対する「表現の使いやすさ（usability）」という観点から最適化のダイナミクスを再定義することで、「なぜMuonがうまく機能するのか」を説明することを目的としています。

手法

著者らは、新しい解釈を提案しています：Muonは暗黙的な残差接続（implicit residual connection）として機能する。

理論的枠組み

直交化としての残差性： 標準的な残差ネットワークでは、更新は明示的です： $x_{l+1} = x_l + \text{Block}(x_l)$ 、あるいは重み空間においては $W \leftarrow W + I$ （または直交行列 $R$ ）となります。Muonは、標準的な更新 $W \leftarrow W + \Delta W$ を、直交化された更新 $W \leftarrow W + \text{Orth}(\Delta W)$ に置き換えます。
トレードオフ： 本論文は、勾配の忠実度（即時の損失減少のために生の勾配に近く留まること）と、表現の保存（アップストリームの表現構造がダウンストリーム層にとって利用しやすい状態を維持すること）の間のトレードオフを仮定しています。更新を直交化することは、即時の勾配の忠実度を犠牲にしますが、アップストリームの表現の使いやすさを維持する、残差のような変換を暗黙的に注入します。

実験による検証

この仮説をテストするために、著者らは、メカニズムを分離するために複雑な非線形深層ネットワークを避け、制御された線形モデルを用いた実験を行いました。

二段階線形実験：
- フェーズ1（局所最適化）： 二層線形ネットワーク（ $\hat{y} = W_2 W_1 x$ $\overset{y}{^} = W_{2} W_{1} x$ ）をターゲットとなる変換 $A$ $A$ に一致するように学習させます。 $W_2$ $W_{2}$ は固定し、 $W_1$ $W_{1}$ を局所的なターゲット $W_1^*$ $W_{1}^{*}$ に向けて最適化します。
  - 仮説： SGDは局所的な目的関数に対して最急降下方向を辿るのに対し、Muonは更新を直交化するため、ここではSGDがMuonよりも優れた性能を示すはずです。
- フェーズ2（ダウンストリーム適応）： 学習された $W_1$ $W_{1}$ を固定し、 $W_2$ $W_{2}$ を再初期化して $\|W_2 W_1 - A\|_F$ $∥ W_{2} W_{1} - A ∥_{F}$ を最小化するようにSGDを用いて最適化します。
  - 仮説： もしMuonの「暗黙的な残差」効果が成立しているならば、フェーズ1でMuonによって学習された $W_1$ は、フェーズ2においてSGDよりも $W_2$ が適応しやすいものになっているはずです。
$\tau$ -スケジュール実験：
- エンドツーエンドの学習をシミュレートするために、層を長さ $\tau$ （例： $W_1$ で $\tau$ ステップ、次に $W_2$ で $\tau$ ステップ）の交互セグメントで更新するスケジュールを導入しました。
- この設定により、「局所的なコスト」（ $W_1$ の更新中）が「ダウンストリームの利益」（ $W_2$ の更新中）とどのように相互作用するかを、連続的な学習ループの中で観察することが可能になります。

主な結果

二段階線形実験

フェーズ1： 予想通り、600ステップ後の局所的な再構成誤差において、SGDは0.0312であったのに対し、Muonは0.0447となり、SGDの方が優れた結果となりました。これは、Muonが勾配の忠実度を犠牲にしていることを裏付けています。
フェーズ2： 固定された $W_1$ を用いて $W_2$ を最適化すると、フェーズ1でSGDを用いて学習したモデルは、Muonを用いて学習したモデルよりも、ターゲット誤差閾値に達するまでに多くのステップ（13,436ステップ）を要しました（Muonは13,321ステップ）。
解釈： Muonによって学習された表現は、局所的なターゲットに対しては最適ではないものの、「平坦な」特異スペクトル（高いスペクトル平坦性）を持っており、その結果、ダウンストリーム層にとって条件数の良い問題を実現していました。

$\tau$ -スケジュール実験

完全な同時更新（ $\tau=0$ ）および交互更新（ $\tau > 0$ ）を含む、テストされたすべてのスケジュールにおいて、MuonはSGDよりも一貫してターゲットの組成損失に早く到達しました。
ダイナミクス分析：
- 「ブルーセグメント」（ $W_1$ のみの更新中）では、SGDが当初、損失をより速く減少させることが多く、これはMuonの勾配忠実度のコストを反映しています。
- 「レッドセグメント」（ $W_2$ のみの更新中）では、Muonの軌跡によって学習された $W_2$ が、より速い収束を可能にしました。
- 決定的なのは、Muonの軌跡における改善された $W_2$ が、後続の $W_1$ サブ問題を解きやすくするというフィードバックループを生み出し、初期の局所的な遅延を補償したことです。

主な貢献

メカニズム的解釈： 本論文は、Muonの成功に対するシンプルで直感的な説明を提供しています。それは、Muonが暗黙的な残差接続として機能しているということです。すなわち、勾配降下による即時のニーズと、表現保存という長期的なニーズのバランスを取っています。
新しい設計の視点： 更新を、単に局所的な損失減少のみで判断するのではなく、更新がダウンストリーム層のための表現をどのように形成するかを考慮するという、オプティマイザ設計のパラダイムを転換させています。
実証的エビデンス： 制御された線形実験を通じて、局所的な最適化速度を犠牲にすることが、ダウンストリームの最適化問題の条件数を改善することで、エンドツーエンドの収束を加速させ得ることを示しました。

意義と主張

本論文は、この解釈が既存の説明（スペクトル、曲率、トラストリージョン）を置き換えるものではなく、それらを補完するものであると主張しています。Muonを暗黙的な残差接続として捉えることで、著者らは以下のことを示唆しています：

オプティマイザは局所的およびダウンストリームの目的をバランスさせるべきである： 効果的なオプティマイザは、層ごとのサブ問題における即時の損失減少だけで判断されるべきではありません。
コンテキストが重要である： Muonのような挙動（ダウンストリームの使いやすさのために局所的な忠実度を犠牲にする挙動）の恩恵は、ダウンストリームの層が、構成された変換の深い連鎖において、より条件の良い表現を利用するための十分な容量と学習時間を持っている場合に最も価値を発揮します。
今後の方向性： この視点は、層のスペクトル、条件数、またはダウンストリームの進捗に基づいて、直交化またはスペクトル平坦化の強度を制御する適応的なオプティマイザ設計を示唆しています。

著者らは、実験が意図的に制御された線形モデルであることを認めつつ、控えめなトーンを維持しています。彼らは、このメカニズムがすべての現代的な非線形ネットワークにおいて証明されたと主張しているのではなく、Muonに見られる経験的な優位性に対して、妥当で直感的なメカニズムを提示していると考えています。