🤖 AI

Optimizer-Induced Mode Connectivity: From AdamW to Muon

本論文は、AdamW や Muon などのオプティマイザがニューラルネットワークにおいて、しばしば非連結なゼロ損失解多様体を誘起することを示し、モード接続性が損失地形の普遍的な性質ではなく、特定のオプティマイザとその暗黙的正則化に本質的に依存することを明らかにする。

原著者： Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

広大な山岳地帯で最も低い地点を見つけようとしていると想像してください。この風景はニューラルネットワークの「損失関数」を表しています。高い位置にいるほどモデルの性能は悪く、低い位置にいるほど性能は優れています。

長らく、研究者たちはこの谷の底（「ゼロ損失」状態）に到達するよう 2 つの異なるモデルを訓練すれば、それらの間を登り返すことなく滑らかな単純な経路で結ぶことができると信じていました。この考え方はモード接続性と呼ばれます。「同じ谷の底を 2 人のハイカーが見つけたなら、彼らを結ぶ平坦な道が必ず存在するに違いない」というようなものです。

しかし、この論文は新たな問いを投げかけます：その経路は、ハイカーが「どのように」歩いたかに依存するのでしょうか？

著者たちは 2 つの異なる「ハイキングスタイル」（オプティマイザ）を導入します：

AdamW：古典的で信頼性の高いハイカー。
Muon：より新しく、特殊で、異なる動きをするハイカー。

以下は、この論文が単純なアナロジーを用いて説明した発見です：

1. 「スペクトル指紋」

すべてのモデルは、特異値と呼ばれる数値で構成された独自の「指紋」を持っています（これらはモデルの内部の「筋肉の張力」や「形状」と考えてください）。

AdamW モデルは、非常に強い筋肉が数本あり、多くの弱い筋肉を持つ傾向があります（スペクトルにおける外れ値）。
Muon モデルは、筋肉の大きさがすべてほぼ均等である傾向があります（よりバランスの取れた「等方性」のスペクトル）。

論文は、AdamWで訓練された 2 つのモデルの間を歩けば、それらの「筋肉の張力」が一定に保たれることを発見しました。Muonモデル同士の場合も同様です。彼らはそれぞれの「近隣地域」にとどまります。

2. 同一オプティマイザ・ハイウェイ（オプティマイザ内接続性）

論文は数学的に証明しています。ニューラルネットワークが十分に広い（十分な数のニューロンを持つ）場合、AdamWによって発見されたすべての解は、滑らかで損失の低い経路で接続されています。Muonについても同様です。

アナロジー：広大な平坦な草原を想像してください。あなたと友人が同じハイキングブーツ（AdamW）を使用している場合、岩を踏んだり上り坂に行ったりすることなく、あなたの場所から友人の場所まで歩くことができます。あなたは同じ「ブーツの跡」のゾーンにとどまります。

3. クロスオプティマイザの障壁（オプティマイザ間非接続性）

これが最も驚くべき部分です。AdamWモデルからMuonモデルへ歩こうとするとどうなるでしょうか？

理論：小さく単純なネットワークにおいて、著者たちは「AdamW の谷」と「Muon の谷」が、高い山稜によって隔てられている可能性を証明しました。一方から他方へ移動するには登り坂を登って性能を失う必要があり、それらは解空間内の異なる「島」にあります。
現実（大規模モデル）：大規模な実験（言語モデル GPT-2 を使用）では、それらを接続することは可能ですが、その経路は特別であることがわかりました。AdamW から Muon へ歩くにつれて、モデルの「筋肉の張力」（スペクトル）は単に一定に保たれるのではなく、滑らかに変化します。
- アナロジー：松の森（AdamW）から樫の森（Muon）へ歩くことを想像してください。瞬間移動するのではなく、松から樫へと木々が徐々に変化する遷移地帯を歩きます。経路は存在しますが、それはどちらのオプティマイザも単独では自然に作り出さない独特の「ハイブリッド」な風景を通ります。

4. 「スムージー」効果（汎化）

論文は、AdamW の解と Muon の解の中間にあるモデルを取った場合に何が起こるかをテストしました。

結果：これらの「ハイブリッド」モデルは、元のモデルよりも、見たことのないデータ（分布外データ）に対して優れた性能を示すことが多くありました。
アナロジー：コーヒー（AdamW）と紅茶（Muon）をブレンドすると、コーヒー単体でも紅茶単体よりも、ある人々には美味しく感じる新しい飲み物が生まれます。「ブレンド」は、個々のオプティマイザが見逃していた風景の一部を探索します。

主張の要約

同一オプティマイザ：同じオプティマイザを 2 回使用する場合、解はモデルの内部構造を一定に保つ滑らかな経路で接続されています。
異なるオプティマイザ：異なるオプティマイザを使用する場合、小さなネットワークでは解が障壁によって隔てられている可能性がありますが、大規模ネットワークでは、モデルの内部構造を滑らかに遷移させる経路で接続されています。
利点：これらの異なるオプティマイザの解の間を移動することで、新しい未見のデータに対してより優れた汎化能力を持つ「ハイブリッド」モデルが作成されます。

この論文は、医療診断、自動運転、または特定の将来の AI 応用においてこれが機能すると主張していません。これは厳密に、これらのモデルがどのように接続されるかの数学的幾何学と、言語モデルの訓練においてそれらを混合することが汎化を改善するという経験的観察に焦点を当てています。

技術的サマリー：オプティマイザ誘発モード接続性：AdamW から Muon へ

問題定義

モード接続性とは、独立して訓練されたニューラルネットワークモデルが、低損失の経路で接続可能であるという現象であり、これまでに広く研究されてきた。しかし、既存の文献はほぼ例外なく解集合を単一の塊として扱い、その解に到達するために用いた特定の最適化ダイナミクスとは無関係に接続性が成立すると仮定する傾向が強い。本論文は、異なるオプティマイザがそれぞれ固有の暗黙的バイアス（正則化）を課し、実質的に解を損失地形の異なる領域に制約することを提唱する。ここで扱われる中心的な問いは：特定のオプティマイザの暗黙的バイアスと整合する解に制限された場合、モード接続性はどのように振る舞うか？具体的には、著者らは同一のオプティマイザによって発見された解が接続された集合を形成するか（オプティマイザ内接続性）、そして異なるオプティマイザによって発見された解が損失障壁を伴わずに接続可能か（オプティマイザ間接続性）を調査する。

手法

理論的枠組み

著者らはオプティマイザ正則化解集合の概念を形式化する。適応型オプティマイザ（AdamW および Lion-K 族など）の最近の理論的特徴付けに基づき、これらのオプティマイザの極限点を制約付き最適化問題の解として定義する：

AdamW： $\ell_\infty$ -ノーム制約（ $\|\theta\|_{\max} \leq 1/\lambda$ ）を満たす解に収束する。
Muon（および核ノームを伴う Lion-K）：演算子ノーム制約（ $\|\theta\|_{\text{op}} \leq 1/\lambda$ ）を満たす解に収束する。

本論文では以下の 2 つの定義を導入する：

オプティマイザ内接続性：特定のオプティマイザ $A$ に対する解集合 $O_A(\lambda)$ が接続されていること。
オプティマイザ間接続性：解集合の和集合 $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ が接続されていること。

理論的解析は、ゼロ訓練損失が達成可能な補間領域における2 層 ReLU ネットワークに対して行われる。著者らは、ネットワーク幅（ $m$ ）を変化させた場合における、これらの正則化集合の幾何学的性質を分析する。

実験設定

実証的検証は、5 つのデータセット（enwik8、WikiText-103、Stories、BookCorpus、One Billion Word）を用いたGPT-2 の事前学習タスクにおいて行われ、2 つのモデルスケール（約 30M および約 50M パラメータ）で実施された。

オプティマイザ：AdamW と Muon。
経路構築：著者らは、修正されたポリチェーン補間アルゴリズムと対称アライメント（アテンションヘッドおよび MLP ニューロンの置換と直交アライメント）を組み合わせて採用する。この手法は、モデル間の損失障壁を最小化するために、学習可能な曲がり点を持つ区分的線形経路を構築する。
指標：本研究では、検証損失障壁と、補間経路に沿った特異値スペクトル（特に安定ランク）の進化を追跡する。

主要な貢献

1. オプティマイザ内接続性の理論的証明

本論文は、十分に広い 2 層 ReLU ネットワークにおいて、特定のオプティマイザによって誘発される解集合が接続されていることを証明する：

定理 3.1：ネットワーク幅 $m \geq 4P$ （ここで $P$ は異なる超平面配置パターンの数）の場合、Muon（およびモーメンタム付き正規化 GD）に対するオプティマイザ内接続性が成立する。
定理 3.2： $m \geq m^*$ （ここで $m^*$ はデータと正則化パラメータによって決定される臨界幅）の場合、AdamW（および Signum）に対するオプティマイザ内接続性が成立する。
メカニズム：これらの証明では、任意の解を正則化集合内の「疎」または「等価化」された標準形に還元し、これらの形式が暗黙的なノーム制約を保持する連続経路を通じて接続可能であることを示す。

2. オプティマイザ間接続性の特性評価

著者らは、異なるオプティマイザによって誘発される領域間の接続性が、ネットワーク幅と正則化強度に決定的に依存することを確立する：

大幅領域：2 つの正則化集合の和集合は、集合が重なり合う場合（すなわち、ゼロ損失集合がそれぞれのノームボールの交差部を通過する場合）に限り接続される。正則化強度が増加するにつれ、接続成分の数は 1 から 2 に遷移しうる。
有限幅構成：本論文は、ゼロ損失解集合が複数の非接続成分に分解される特定のデータセットと幅（ $m=2$ ）を構築する。重要なのは、適切な正則化パラメータを選択することで、AdamW と Muon を異なる成分に強制的に配置できることを証明した点である。このシナリオでは、AdamW 解と Muon 解の間にゼロ損失経路は存在しない。いかなる接続経路も、証明可能な損失障壁（二乗損失の場合少なくとも $1/2$ ）を伴わなければならない。

3. 経験的スペクトル遷移

GPT-2 に関する実験は、明確なスペクトル挙動の違いを明らかにする：

同一オプティマイザ経路：同一オプティマイザで訓練された 2 つのモデル間を補間する（例：AdamW-AdamW）場合、特異値スペクトルが保持され（例：AdamW は外れ値を保持し、Muon は等方的なまま）、低損失が維持される。
異種オプティマイザ経路：異なるオプティマイザ間を補間する（例：AdamW-Muon）場合、滑らかなスペクトル位相遷移が生じる。スペクトルは経路に沿って AdamW の特徴から Muon の特徴へと進化し、損失は比較的低く抑えられるものの、中間モデルは両端点とは異なるスペクトルプロファイルを示す。

4. 分布外（OOD）汎化

本論文は、異種オプティマイザ間の補間経路が OOD 汎化を改善しうることを実証する。AdamW-Muon 経路上でサンプリングされたモデルは、OOD データセット上で負の損失障壁を示す（端点の線形補間よりも優れた性能を発揮する）。これは、異なるオプティマイザのバイアス間の空間を横断することが、構造的に多様で優れた汎化特性を持つモデルを生み出すことを示唆している。

結果と意義

知見の要約

オプティマイザ依存構造：損失地形は、低損失解の単一の接続された塊ではなく、暗黙的正則化によって定義されるオプティマイザ固有の「盆地」または領域を含んでいる。
条件付き接続性：広幅ネットワークでは同一オプティマイザの解が接続されている一方、有限幅設定では異なるオプティマイザが損失障壁によって分離された非接続成分に収束する可能性がある。
スペクトル指紋：特異値スペクトルは、オプティマイザ誘発領域の堅牢な代理指標として機能する。同一オプティマイザ経路はこの指紋を保持し、異種オプティマイザ経路は遷移を横断する。

主張される意義

本論文は、古典的なモード接続性文献には見えないオプティマイザ依存構造を明らかにすると主張する。暗黙的バイアスを考慮してモード接続性の定義を精緻化することで、著者らは以下を示す：

オプティマイザの選択は、到達可能な解空間のトポロジーを根本的に形成する。
異種オプティマイザ間の補間は、解空間の多様な領域にアクセスするモデルマージの有効なメカニズムであり、量子化や汎化などの下流特性を改善する可能性がある。
接続性に関する理論的保証は、ネットワークアーキテクチャだけでなく、オプティマイザによって誘発される特定の正則化子を考慮しなければならない。

この研究は、理論的暗黙的バイアス解析と実用的モデル融合の間のギャップを埋め、モデル間の「最良」の経路は、異なるオプティマイザ誘発正則化の境界を横断することに依存する可能性を示唆している。