🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

本論文は、行列値の更新を直交化するMuonオプティマイザが、スペクトルノルムの安定性を課すことで多様なアーキテクチャおよび脅威モデルにおける敵対的訓練の堅牢性を向上させることを理論的かつ実証的に示し、それによってオプティマイザの幾何学をモデルセキュリティの重要な要因として位置づける研究を提示する。

原著者： Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、「Muon オプティマイザが敵対的学習に出会う」という論文の、平易な言葉と創造的な比喩を用いた解説です。

全体像：こっそり攻撃してくる敵に対する要塞の建設

あなたがロボットに猫と犬を認識させる訓練をしていると想像してください。あなたは、誰かが猫の耳に小さな目に見えないシールをこっそり貼り付けたとしても（これを「敵対的攻撃」と呼びます）、ロボットがそれでも正しくそれを猫と識別できるほど賢くなってほしいと願います。このように、ロボットがこうしたこっそりとしたトリックを無視するように訓練するプロセスを**敵対的学習（Adversarial Training: AT）**と呼びます。

長らく、この「要塞」を築くための標準的なツールは、SGD（確率的勾配降下法）と呼ばれる方法でした。SGD は、山を登る非常に安定した信頼できるハイカーのように、小さく慎重な一歩を踏み出します。遅いですが、崖から落ちることはめったにありません。

最近、より速い新しいツールとしてAdamWが人気を集めました。これは、地形に応じて速度を調整するジェットパックを背負ったハイカーのようなものです。標準的な学習（山の頂上）には、はるかに早く到達しますが、「こっそり攻撃」を想定した訓練シナリオでは、ジェットパックが時折ハイカーをふらつかせ、崖から転落させる（セキュリティの低下）ことがあります。

問い： ジェットパックの速さを保ちながら、ふらつきをなくす方法はあるでしょうか？

Muon オプティマイザの登場：「ダンスインストラクター」

この論文は、Muonと呼ばれる新しいツールを紹介しています。著者たちは、Muon をダンサーを完璧に整列させることに特化したダンスインストラクターに例えています。

標準ツールの問題点： AdamW が学習しようとすると、ロボット内部の「筋肉」（数学的な重み）が、バーベルを上げすぎて背中を折ってしまう重量挙げ選手のように、強すぎたりバランスを崩したりすることがあります。この不安定性が、ロボットを攻撃に対して脆弱にします。
Muon の解決策： Muon は厳格なダンスインストラクターのように働きます。ロボットが一歩を踏み出す（学習を更新する）たびに、Muon はその動きをチェックします。もし動きが荒すぎたりバランスを崩していたりすれば、Muon はロボットにそのステップを「直交化」させるように強制します。
- 比喩： ロボットが重い箱を押そうとしていると想像してください。AdamW は、箱を倒してしまうような奇妙でギザギザした角度で押すかもしれません。一方、Muon は、ロボットが箱を完璧にまっすぐでバランスの取れた線で押すように保証します。まるでダンサーがステージを滑るように動くようにです。これは動きの「形状」を安定させ、ロボットが攻撃者に利用される「悪い習慣」（不安定な重み）を身につけるのを防ぎます。

論文が見つけたこと（結果）

研究者たちは、この「ダンスインストラクター」（Muon）を、「安定したハイカー」（SGD）と「ジェットパック・ハイカー」（AdamW）に対して、3 つの異なるシナリオでテストしました。

1. 小規模データセット（CIFAR-10 のようなもの）

結果： Muon は大成功でした。苦戦した AdamW よりもはるかに優れており、安定した SGD と同等か、時にはそれ以上でした。
教訓： 小規模で管理しやすいタスクでは、Muon の「ダンスの動き」が訓練を安定させ、セキュリティを維持し、ロボットがこっそりとした攻撃に混乱するのを防ぎました。

2. ビジョン・トランスフォーマー（ViTs）

結果： ここでは AdamW が完全に失敗しました。複雑な「ビジョン・トランスフォーマー」モデルを訓練しようとした際、AdamW はしばしば完全にクラッシュし、ロボットが essentially 無作為に推測しているような結果になりました。しかし、Muon は訓練を安定させ、安全なロボットを生み出しました。
教訓： これらの複雑で現代的な AI アーキテクチャにとっては、「ダンスインストラクター」が不可欠でした。Muon がなければ、訓練はあまりにも混沌としていて安全を確保できませんでした。

3. 大規模データセット（ImageNet のようなもの）

結果： 彼らが数百万枚の画像を含む巨大なデータセットに移行したとき、「安定したハイカー」（SGD）がまだチャンピオンでした。Muon は優れていましたが、その規模の大きさには少し苦戦し、うまく機能させるためには非常に具体的な調整が必要でした。
教訓： Muon は強力なツールですが、最大で最も重い荷物を運ぶ仕事においては、今なお昔ながらの信頼できる方法（SGD）が優位に立っています。

魔法の「なぜ」

この論文は単に「うまくいく」と言うだけでなく、数学を用いて「なぜ」そうなるかを説明しています（これを翻訳できます）：

速度制限： Muon は、ロボット内部の重みが単一の方向にどれほど成長できるかに「速度制限」を設けます。AdamW で起こる「制御不能な成長」を防ぎます。
安全網： AdamW を、カーブで加速するブレーキのない車だと想像してください。Muon は、道路が荒れていても制御不能に回転しないように速度を制限するガバナー（調速機）付きの車のようです。この数学的な「速度制限」により、ロボットが脆弱になるのを防ぎます。

結論

この論文は、学習プロセスを「運転」する方法の選び方が、車そのものと同じくらい重要であると結論付けています。

Muonは、特に道が複雑（複雑なモデル）だったり、交通量が少ない（小規模データセット）場合に、車を安定させ安全に保つ、新しくエキサイティングなドライバーです。
これはすべてを解決する魔法の杖ではありません（巨大なデータセットにはまだ調整が必要ですが）、セキュリティの観点からは、現在の「ジェットパック」方式（AdamW）に対する大きな改善です。
著者たちは、将来、セキュリティの専門家は、単に「車」（モデルアーキテクチャ）だけでなく、彼らが選ぶ「ドライバー」（オプティマイザ）にもっと注意を払うべきだと提案しています。

要約： あなたの AI をこっそりとした攻撃に対して強くしたいなら、Muon という「ダンスインストラクター」を使うことは、特に現代的で複雑な AI モデルにおいて、訓練を安定させる素晴らしい方法です。

技術的サマリー：Muon オプティマイザと敵対的訓練の邂逅

問題定義

敵対的訓練（AT）は、敵対的攻撃に対する最も信頼性の高い経験的防御手段であり続けていますが、その頑健性は、基礎となる min-max 最適化問題がどのように解かれるかに決定的に依存しています。経験的に頑健性が観察されるため、確率的勾配降下法（SGD）は AT のデフォルトのオプティマイザとなっていますが、AdamW などの適応型オプティマイザは標準的な訓練を改善することが多い一方で、頑健性は劣る傾向にあります。最近、Muon オプティマイザは、近似極分解を用いた直交化された行列値更新を通じて、大規模訓練のための高性能な代替手段として登場しました。しかし、この特定のオプティマイザ幾何学が、強力で多様な脅威モデル下における敵対的頑健性に与える影響は、未だ探求されていません。本論文は以下の問いに答えます：直交化された最適化は AT を改善できるのか、また、この挙動を支配する理論的および経験的メカニズムは何か？

手法

本研究は、Muon 更新規則の理論的解析と、複数のアーキテクチャおよび脅威モデルにわたる包括的な経験的評価を組み合わせた二重のアプローチを採用しています。

理論的解析

著者らは、Muon 更新規則を解析します。ここでは、モーメント蓄積勾配 $M_t$ が重みを更新する前に近似極因子 $U_t$ （直交化されたもの）に変換され、 $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ となります。

スペクトルノームの安定性天井: 本論文は、極分解更新が行列更新のスペクトルノームに構造的な天井を課すことを証明しています。適応型オプティマイザが無限大に成長するスペクトルを示す可能性があるのに対し、Muon の直交化された更新は、学習率、重み減衰、および近似誤差の関数として重みのスペクトルノームが有界であることを保証します（ $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ）。
勾配ダイナミクス: 理論的結果は、Muon が核ノーム方向に沿って敵対的損失を降下することを示しています。これは、特に分散の大きい敵対的勾配が存在する場合、標準的な勾配ステップと比較して構造的に大きなステップごとの降下保証を提供します。
頑健性境界: 層のスペクトルノームを有界化することで、著者らはマージン関数のリプシッツ定数に関する構造的境界を導き出し、オプティマイザの更新幾何学とモデルの $\ell_p$ 有界攻撃に対する頑健性を結びつけています。

経験的評価

著者らは、内部攻撃ループとして自動射影勾配降下法（APGD）を用いて Muon を AT に適応させました。実験は以下で行われました：

データセット: CIFAR-10 および ImageNet。
アーキテクチャ: PreActResNet-18、WideResNet（WRN-34-10、WRN-34-20）、および Vision Transformers（ViT-B、ViT-L）。
脅威モデル: $\ell_\infty$ 、 $\ell_1$ 、 $\ell_2$ 、およびそれらの和集合。
比較対象: SGD、AdamW、および Sharpness-Aware Minimization（SAM）。

主要な貢献

セキュリティ要因としてのオプティマイザ選択の再考: 本論文は、従来の SGD と AdamW の比較を超えて、直交化された行列更新幾何学を敵対的訓練における重要かつ未探求の要因として特定しました。
Muon のメカニズム解析: 著者らは、Muon の挙動に対する理論的説明を提供し、その極分解更新規則が行列値更新に演算子ノームの天井を課すことを実証しました。これは、適応型オプティマイザでしばしば観察される不安定なスペクトル成長を防ぎ、頑健性の向上に対する診断的な説明を提供します。
制御された多ノーム評価: 本研究は、多様な設定における SGD、AdamW、および Muon の体系的な比較を提示しています。それは、直交化された更新（Muon）とシャープネス感知摂動（SAM）の間のトレードオフを明確にし、Muon が直接的な代替手段ではなく、オプティマイザ幾何学の代替手段として機能することを示しています。

主要な結果

AdamW に対する性能: Muon は、CNN および ViT の両方において、AT において AdamW を大幅に上回ります。ViT アーキテクチャでは、AdamW はしばしば訓練の不安定さや、ほぼランダムな性能への収束に苦しみますが、Muon は安定性と競争力のある頑健性を維持します。
SGD に対する性能: 過剰パラメータ化された CNN（例：WRN-34-10/20）を用いた小規模データセット（CIFAR-10）では、Muon は SGD と同等かそれ以上の和集合頑健性を達成します。しかし、ImageNet のような大規模データセットでは、SGD が現在より良い性能を示しており、Muon は大規模化においてハイパーパラメータ（学習率、ウォームアップ）の調整により敏感であることを示唆しています。
SAM との比較: Muon は、SAM が必要とする重み摂動ステップの追加計算コストなしに更新幾何学を改善します。SAM は特定の設定でわずかに高い頑健性を達成することが多いものの、Muon は同等の安定性を持つより効率的な代替手段を提供します。
頑健な過学習: 本研究は、Muon も SGD と同様に、訓練の後期段階で「頑健な過学習」の影響を受けやすいことを観察しました。Muon ベースの AT においては、早期停止が依然として必要な戦略です。
ブラックボックス頑健性: Muon で訓練されたモデルは強い転移性を示し、ブラックボックス転移攻撃に対して高い頑健性を維持します。これは、得られた利益が単にホワイトボックス最適化経路の人工物ではないことを示しています。

意義と主張

本論文は、オプティマイザ幾何学が敵対的訓練におけるセキュリティに関連する要因であると主張しています。Muon を導入することで、著者らは、直交化された更新が、適応型オプティマイザが失敗するシナリオ（例：Transformers）や、SAM と比較して計算効率が懸念される状況において、SGD の安定した代替手段となり得ることを実証しました。

著者らは控えめに結論付けています。Muon は SGD を普遍的に凌駕するものではなく、むしろ「安定した直交化された更新幾何学」を提供し、初期の頑健な最適化を改善することが多いと述べています。この発見は、Muon が AT にとって強力なツールである一方で、その大規模（ImageNet 等）における有効性は、さらなるハイパーパラメータおよびスケジューリング設計を必要とする点を浮き彫りにしています。この研究は、極分解とスペクトル安定性の間の理論的リンクを確立し、頑健性を達成するためには、損失ランドスケープ自体と同様に、更新の幾何学を制御することが重要であることを示唆しています。