🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

本論文は、Muon のノイズの多い勾配成分を抑制し、ヘッドごとの専門性を維持することで Muon を上回る Pion という高域通過スペクトル最適化手法を導入し、Muon および AdamW が困難に直面する検証可能な報酬を伴う視覚言語行動学習および強化学習において、優れた性能と安定性を達成することを示す。

原著者： Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Rethinking Muon Beyond Pretraining」という論文を、平易な言葉と日常的な比喩を用いて解説します。

全体像：ロボットと推論のための新しいオプティマイザ

AI の学習を、生徒を教えることに例えてみましょう。長らく、大規模言語モデル（LLM）にとって最高の教師（オプティマイザ）はAdamWでした。最近、Muonという、より高度な新しい教師が登場しました。Muon は、「事前学習」段階、つまり AI が一般的な知識を学ぶためにインターネット全体を読み込む段階において非常に優れています。Muon は、AI の脳を楽器のように扱い、すべての音符（数学的な方向）が等しい音量で鳴るように調整することで、大胆な探索を促します。

しかし、この論文の著者たちは、Muon を 2 つの特定の高度なタスクに適用しようとした際、重大な欠陥があることを発見しました。

ロボットへの教育（VLA）： 賢い言語モデルを、見て、話し、動くことができるロボットに変えること。
数学・論理への教育（RLVR）： 報酬を用いて、AI に数学パズルのような難しい問題を解くことを教えること。

これらの新しいシナリオでは、Muon はしばしば失敗し、ロボットが不器用に動いたり、数学の解き手が学んだことをすべて忘れてしまったりします。著者たちは、これらの問題を解決する新しい教師Pionを提案します。

問題点：なぜ Muon は新しい状況で失敗するのか

問題を理解するために、AI の学習プロセスを、多くのスピーカー（数学的な方向）を持つサウンドシステムだと想像してください。

1. ロボットの問題（「低ランク」問題）

ロボットを訓練する際、腕を制御する脳の部分（「アクションモジュール」）は非常に単純です。それは数少ない特定の方向にのみ動く必要があります。

比喩： 3 人の歌手だけが正しい歌詞を持っている合唱団で、残りの 97 人はただ無意味なノイズをハミングしている状況を想像してください。
Muon の動作： Muon は、すべての歌手の音量を正確に同じレベルに上げる音響エンジニアのようです。それは 3 人の良い歌手の音量を上げますが、97 人の騒がしい歌手の音量も同じレベルまで最大に上げてしまいます。その結果どうなるでしょうか？ロボットはノイズに混乱し、不規則に動いてしまいます。
解決策： 良い歌手の音量は保ちつつ、騒がしい歌手をミュートするシステムが必要です。

2. 数学の問題（「低信号対雑音比」問題）

報酬（RLVR）を用いて AI に数学の問題を解くことを教える際、フィードバックは非常に「ノイズ」が多いものです。AI は推測し、報酬を受け取り、再び試みます。信号（実際の数学の教訓）は弱く、ノイズ（無作為な推測）は強いです。

比喩： ハリケーンの中でささやきを聞こうとする状況を想像してください。
Muon の動作： Muon は、ささやきとハリケーンの風を同じ音量にしようとします。これによりささやきは完全に飲み込まれ、AI は「崩壊」して学習を停止してしまいます。
解決策： ささやきを増幅し、ハリケーンの風を遮断するフィルターが必要です。

解決策：Pion の登場

著者たちはPion（sPectral hIgh-pass Optimization on momeNtum）を作成しました。Pion は、Muon が見落としていたスマートなオーディオ・イコライザーだと考えてください。

すべての音量を均等に上げるのではなく、Pion は 2 段階のプロセスを使用します。

促進（Promotion）： 重要で明確な信号（音の「頭」）を強化します。
抑制（Suppression）： 騒がしく弱い信号（音の「尾」）を積極的にミュートします。

これは**「ハイパス」フィルター**と呼ばれます。音楽におけるハイパスフィルターが、クリアなボーカルを際立たせるために低く響くベースノイズをカットするのと同様に、Pion は数学的なノイズをカットし、有用な学習方向を際立たせます。

Pion の主な特徴：

ドロップイン交換： 既存のトレーニングコードにおいて、Muon が使われる場所にそのまま組み込むことができます。より多くのコンピューターパワーや時間を必要とせず、同じくらい高速です。
ヘッド単位モード： 数学の問題に対して、Pion は AI の脳の異なる部分（「アテンションヘッド」と呼ばれる）を個別に扱うことができます。これは、クラス内の一部の生徒が幾何学が得意で、他の生徒が代数学が得意だと認識し、全員を一つの大きな塊として扱うのではなく、それぞれに異なる宿題を与えるようなものです。

結果：ロボットと数学が賢くなる

この論文は、主に 2 つの分野で Pion をテストしました。

1. 実在のロボット（VLA）

テスト： ロボットにキュウリや立方体のような物体を掴み、ボウルや皿に置くことを訓練しました。
結果：
- AdamW： ロボットは苦労し、物を落としたり目標を外したりすることが多かったです。
- Muon： ロボットはより良く動作しましたが、まだ揺れ動き、あまりに多くのノイズを「聞いている」ため、時折何かに衝突していました。
- Pion： ロボットは滑らかで正確でした。あるテストでは、Pion は 1,500 ステップ後に100% の成功率を達成しましたが、Muon は 97%、AdamW はわずか 32% でした。
- 実世界： 彼らはさらに、実在の物理的なロボットアーム（Franka Research 3）でもこれをテストし、Pion は依然として勝利し、他の方法よりもはるかに確実に物体を掴み、配置することに成功しました。

2. 数学的推論（RLVR）

テスト： 強化学習を用いて、AI モデル（Qwen3）に数学の問題（MATH および GSM8K データセット）を解くことを教えました。
結果：
- Muon： モデルは崩壊しました。ノイズが学習信号を圧倒したため、精度はほぼゼロまで低下しました。
- AdamW： モデルはゆっくりですが着実に学習しました。
- Pion： モデルはより速く学習し、AdamW よりも高い精度を達成し、騒がしい数学の環境をうまく navigated しました。

まとめ

この論文は、Muon が AI 学習の初期の「読書」段階には素晴らしいツールである一方で、ロボットを制御したり数学の問題を解いたりする繊細なタスクには、あまりに「騒がしく」無差別であると主張しています。Pionは、AI 学習のためのノイズキャンセリングヘッドフォンのような新しいツールです。それは重要な学習信号をクリアで大きく保ちながら、邪魔なノイズを静かにし、速度を落とすことなく、より賢いロボットと優れた数学の解き手を実現します。

技術的サマリー：前学習を超えた Muon の再考

問題定義

本論文は、大規模言語モデル（LLM）の前学習で成功を収めた行列認識型オプティマイザであるMuon（Newton–Schulz による直交化された MomentUm）が、2 つの新興トレーニングレジーム、すなわち視覚・言語・行動（VLA）トレーニングと**検証可能報酬を伴う強化学習（RLVR）**に適用される際に、根本的な限界を有することを特定している。

Muon は、Newton–Schulz（NS）反復を通じてモーメント行列のすべての特異値を 1 へ駆動することで動作し、実質的に均一なスペクトル・ホワイトニングを行う。これは前学習における探索を促進するが、著者らはこれが下流タスクにおいて「スペクトル不整合」を引き起こすと主張する。

VLA トレーニングにおいて: 行動モジュールの勾配は本質的に低ランク（低い有効ランク、またはerank）である。Muon の均一なホワイトニングは、低ランク・スペクトルを支配するノイズの多い尾部方向を、有益な先頭特異値と同じ大きさまで増幅させ、更新を破損させる。
RLVR 後学習において: 政策勾配は、軌道レベルの報酬や安定化メカニズム（クリッピング、重要度サンプリングなど）により、低い信号対雑音比（SNR）を示す。Muon の均一なホワイトニングはこの確率的ノイズを増幅し、政策の崩壊を招く。さらに、Muon はアテンション投影を単一のブロックとして扱い、前学習から継承されたヘッドごとの異質性（特殊化された更新スケール）を無視している。

Low-Rank Muon（LRMuon）のような既存の変種はランクの問題に対処するが、計算コストの高い SVD やスケーティングに依存しており、Muon のスケーラビリティに匹敵することができない。

手法：Pion

著者らは、Muon の計算効率（ステップあたりのコストは Muon と同一）を維持しつつ、均一なホワイトニングをスペクトル・ハイパスフィルタに置き換える、Muon のドロップイン代替案であるPion（momeNtum 上の sPectral hIgh-pass Optimization）を提案する。

中核メカニズム：ハイパス NS 反復

Pion は、正規化された特異値 $\sigma \in [0, 1]$ に作用するスカラー多項式写像 $f(\sigma)$ として NS 反復を再考する。すべての $\sigma \to 1$ を駆動する単一多項式の代わりに、Pion は $k=5$ の NS ステップを、2 段階の**促進（Promotion）＋抑制（Suppression）**シーケンスに分割する。

促進ステージ（ $f_p$ ）: $k_p$ ステップに適用される。この多項式は、特異値を単調に増幅するように設計されており、抑制閾値以上の有益な方向を相対的な順序を維持したまま引き上げる。係数は、原点での傾きを最大化（ $a_p = 1.875$ ）しつつ、 $\sigma=1$ を固定するように導出される。
抑制ステージ（ $f_s$ ）: $k_s = k - k_p$ ステップに適用される。この多項式は、先頭特異値を 1 に固定しつつ、小さくノイズの多い特異値を 0 へ駆動する。原点での微分をゼロ（ $f'_s(0)=0$ ）に強制することで、ノイズの線形増幅を排除する。

得られる合成写像は、鋭いハイパスフィルタを生成する。支配的な特異値は維持され（1 付近に固定）、ノイズの多い尾部は抑制される（0 へ収縮する）。カットオフ強度はハイパーパラメータ $k_p$ （促進ステップ数）によって制御される。

ヘッド別モード

アテンションヘッドの特殊化に関する限界に対処するため、Pion はヘッド別モードを導入する。重み行列全体に NS 反復を適用する代わりに、アテンション投影をヘッド次元に沿って再整形し、各ヘッドに対して独立してハイパス NS を適用する。これにより、単純な再整形以上の計算コストを増やすことなく、ヘッド間で必要な異質な更新スケールを維持する。

主要な貢献

スペクトル失敗の特定: 本論文は、Muon の均一なスペクトル・ホワイトニングが、VLA（低ランクの行動勾配のため）および RLVR（低 SNR の勾配のため）において有害であり、最適でない性能やモデルの崩壊を招くことを、体系的に実証した最初の論文である。
Pion オプティマイザ: NS 反復を 2 段階の促進＋抑制メカニズムに再設計した Pion の提案。これは Muon と同じ計算コストでスペクトル・ハイパス効果を実現し、高価な SVD 演算を回避する。
ヘッド別適応: 前学習されたアテンションヘッドの異質性を尊重するヘッド別適用モードの導入。これは安定した RLVR 後学習に不可欠である。
包括的な実証的検証: シミュレーションから実ロボット展開まで、多様な設定において Pion が AdamW および Muon を一貫して上回ることを示す広範な実験。

実験結果

VLA トレーニング（LIBERO & LIBERO-Plus）

設定: LIBERO スイート上で VLA-Adapter（ $\ell_1$ 回帰）および VLANeXt（フローマッチング）をトレーニング。
知見:
- Pion は Muon および AdamW を一貫して上回る。LIBERO Object タスクにおいて、Pion は 1,500 ステップ後に100% の成功率に達し、Muon の 97.0%、AdamW の 32.2% を上回った。
- Pion は、LIBERO-Plus ベンチマークにおける分布シフト（ノイズ、ロボット擾乱など）の下で、より速い収束と高い頑健性を示した。
- 実ロボット評価: $\pi0.5$ バックボーンを使用した Franka Research 3 ロボットにおいて、Pion は把持・配置タスクで平均**85.6%**の成功率を達成し、Muon（38.9%）および AdamW（31.1%）を大幅に上回った。

RLVR 後学習（Qwen3-1.7B/4B）

設定: GRPO および GMPO アルゴリズムを用いて、MATH および GSM8K 上で Qwen モデルをファインチューニング。
知見:
- Muon の崩壊: Muon は RLVR 設定で完全に失敗し、ノイズ増幅により精度がほぼゼロまで低下する。
- Pion の成功: Pion は意味のあるトレーニング信号を回復し、すべてのモデルサイズおよびベンチマークで AdamW を上回る。例えば、MATH における GRPO を用いた Qwen3-1.7B では、Muon が崩壊する中、Pion は安定した精度の成長を達成する。
- アブレーション: 逆方向にフィルタリングする（小さな値を保持し、大きな値を破棄する）「ローパス Muon（LPMuon）」変種はトレーニングに失敗し、Pion のハイパス性が成功の決定的要因であることを確認した。

意義と主張

本論文は、Muon を前学習以外のレジームに適用する際に内在するスペクトル不整合の問題に対する、ドロップインかつ計算効率的な解決策として Pion を提供するとしている。均一なホワイトニングを制御可能なハイパスフィルタに置き換えることで、Pion は Muon が失敗するノイズの多い（RLVR）および低ランク（VLA）環境においてトレーニングを安定化させる。

著者らは、Pion の利点が単なるアーキテクチャ的なものではなく、オプティマイザのスペクトル的帰納バイアスの根本的な修正に由来することを強調している。この研究は、均一なスペクトル探索が前学習には有益である一方で、効果的な下流適応および推論にはスペクトル選択性（信号の保持、ノイズの抑制）が不可欠であることを示唆している。実ロボットハードウェアにおける結果は、これらのアルゴリズム的改善が物理タスクのパフォーマンスにおける具体的な向上に転換されることをさらに実証している。