Delving into Muon and Beyond: Deep Analysis and Extensions

巨大で複雑なロボット（ニューラルネットワーク）に人間の言葉を教えようとしている場面を想像してください。これを行うためには、ロボットの脳内にある何百万もの小さなつまみ（パラメータ）を調整しなければなりません。この「オプティマイザ（最適化アルゴリズム）」は、毎回のレッスンが終わるたびに、どのつまみをどれくらい回すべきかを決定する教師です。

長い間、最高の教師はAdamでした。Adamは賢いです。ロボットのミスを聞き取り、過去のミスを記憶し（モーメンタム）、各つまみの音量を個別に調整します（正規化）。それは、特定の一つひとつのボタンをどれくらい強く押すべきかを正確に知っている教師のようなものです。

最近、Muonと呼ばれる新しい教師が非常に人気を集めています。Muonは異なります。個別のつまみを調整する代わりに、Muolenはグリッド状に配置されたつまみのグループ（行列）全体に注目し、それらが完璧にバランスの取れた「直交」した方法で動くように強制します。それは、個々のダンサーがどれほど大きく動こうが小さく動こうが関係なく、一列のダンサー全員に完璧なユニゾンで動くよう指示するダンスインストラクターのようなものです。

この論文は問いかけています：Muonは本当にAdamよりも優れているのか、それとも単に異なるスタイルのダンスを見せているだけなのか？

大きなアイデア：「スペクトル・ファミリー」

著者たちは、Muonが単なる一回限りのトリックではないことに気づきました。彼らは、Muonが実際には一連の手法の極端な末端であるということを発見しました。イメージしてみてください、ロボットの脳におけるさまざまな方向の重要性をどれくらい「平坦化」するかを制御するスライダーがあるとします。

• スライダーが 1.0 の場合（標準）： 特別なことは何も行いません。これは標準的なAdamやモーメンタムと同じです。あらゆる方向のオリジナルの「大きさ」を維持します。
• スライダーが 0.5 または 0.25 の場合（中間領域）： 違いを緩やかに滑らかにします。大きなエラーはトーンダウンされ、小さなエラーは少しブーストされます。
• スライダーが 0.0 の場合（Muon）： すべてを完全に平坦にします。あなたはロボットにこう伝えます。「ある方向が巨大であろうと極小であろうと関係ない。すべての方向を等しく重要として扱いなさい」。これがMuonの核心である**直交化（Orthogonalization）**です。

これをテストするために、著者たちは、巨大なコンピュータで実行するには不可能で遅い数学的計算を回避しながら、これらの異なるスライダー設定を試すことができる、巧妙な数学的トリック（「結合ニュートン・シュルツ法」と呼ばれるもの）を用いた超高速な計算機を構築しました。

実験：管理されたレース

著者たちは、非常に公平なレースを用意しました。彼らは、8つの異なるバージョンの教師を使用して、小さな言語モデル（「nanoGPT」）を訓練しました。

• 他の論文がMuonで使用している特別な安定化装置（「チートコード」）をすべてオフにしました。
• すべての教師が同じ時間とリソースを使えるようにしました。
• 彼らは2種類の入力をテストしました。一つは、教師が生のモーメンタム（単純な押し）だけを見ている場合、もう一つは、Adamが行うように、教師がまずノイズを正規化している場合です。

結果：判明したこと

1. Muonは「スーパー・オプティマイザ」ではなく「スタビライザー（安定化装置）」である
教師が単に生のモーメンタム（「単純な押し」）を使用している場合、Muonは驚異的な力を発揮します。それはロボットが暴走して崖から転落するのを防ぎます。トレーニングを非常に安定させます。

• 比喩： もしあなたがほうきを手のひらの上でバランスさせる練習をしているなら、Muonはほうきを真っ直ぐに保持する硬いクランプのようなものです。それは、ほうきが揺れるのを防いでくれますが、必ずしもあなたが歩くスピードを上げる助けにはなりません。

2. まだAdamがレースに勝っている
しかし、教師がすでにスマートな「ノイズ除去」の作業（Adamが行うような作業）を行っている場合、Muonは勝ち残りません。実際には、標準的なAdam（またはそのわずかな変種）の方が同等か、より優れたパフォーマンスを示しました。

• 比喩： もしあなたがすでに、ほうきを安定させるためのハイテクなジャイロスコープを持っているなら、そこにMuonの硬いクランプを追加しても、歩くスピードは速くなりません。時には、小さな揺れを巨大な落下と同じように扱ってしまうため、つまずみの原因になることさえあります。

3. 「平坦化」の問題
著者たちは、Muonの主なトリックである「すべてを平坦にする（等しくする）」ことにはデメリットがあることを発見しました。

• 良い点： 巨大で危険なエラーがトレーニングを支配してしまうのを防ぎます。
• 悪い点： 小さな、しかし有用な信号までもが無視されるのを防いでしまいます。ある方向が小さくても重要な信号を持っている場合、Muonはそれを、ノイズである無意味な方向と同じように扱ってしまいます。
• 比喩： ラジオを想像してください。Adamは静電気（ノイズ）を下げ、音楽の音量を上げます。一方、Muonはすべての放送局のボリュームノブを、全く同じレベルに合わせます。もし一つの放送局がかすかながら美しい曲を流しており、別の放送局がただのノイズを流している場合、Muonは両方を同じ大きさにするため、音楽がノイズにかき消されてしまいます。

結論

この論文は、Muonは安定化のための強力なツールであると結論付けています。特に、トレーニングの初期段階や、より単純な手法を使用している場合に効果的です。それは、トレーニングがクラッシュするのを防ぐセーフティネットとして機能します。

しかし、MuonはAdamに取って代わる魔法の弾丸ではありません。 すでにAdamのようなスマートなオプティマイザを使用している場合、すべてを平坦化すること（p=0）は、学習を速めることはありません。実際には、「中間的な」アプローチ（p=1/4のように、スペクトルをわずかに平坦化する手法）の方が、完全なMuonよりもうまくいくことがあります。

要約すると： Muonは優れたシートベルトですが、より優れたエンジンではありません。もしあなたがすでに優れたエンジン（Adam）を持っているなら、道を平坦にする必要はありません。