🤖 machine learning

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

本論文は、Lion と Muon の更新を単一のモーメンタムバッファを共有しながら交互に適用する効率的なオプティマイザ「LionMuon」を提案し、AdamW、Lion、Muon といった既存の手法と比較して、さまざまなモデルスケールにおいて優れた性能と低い計算コストを達成することを示している。

原著者： Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑なロボット（大規模言語モデル）に、数百万の例を見せることで話せるように教えることを想像してみてください。これを行うためには、ロボットが見るすべての例の後に、その脳（パラメータ）をどのように調整すべきかを指示する「オプティマイザー（コーチ）」が必要です。

問題は、このコーチが数十億回も意思決定を行わなければならないことです。コーチが実行に遅すぎる、あるいは高価すぎる場合、プロジェクト全体のコストが膨らみすぎます。逆に、コーチが安価でも誤った意思決定を行う場合、ロボットは学習が遅くなったり、行き詰まったりします。

この論文は、LionMuonという新しいコーチを紹介しています。これは、非常に異なる 2 つのコーチングスタイルの最良の側面を両立させようとする、巧妙なハイブリッドです。

2 つの既存のコーチ

LionMuon を理解するためには、まずそれが組み合わせる 2 つのコーチを知る必要があります。

「Sign」コーチ（Lion/Signum）：
- 仕組み： このコーチは驚くほど高速で安価です。誤りの正確な大きさを見るのではなく、方向（正か負か）だけを見ます。これは、正確な距離を計算することなく「左折」または「右折」とだけ伝える GPS のようなものです。
- 長所： 非常に効率的です。予算を破綻させることなく数十億回実行できます。
- 短所： 「大きさ」（どのくらい曲がる必要があるか）を無視するため、時として弱い、あるいはわずかに軌道から外れた経路を取ることがあります。速いですが、必ずしも最も正確とは限りません。
「Spectral」コーチ（Muon）：
- 仕組み： このコーチは天才数学者です。誤りの全体像を一度に見て、それを修正するための完璧で最強の方向を計算します。複雑な行列計算（交通、地形、速度制限を考慮して絶対的な最短経路を計算する高級 GPS のようなもの）を使用します。
- 長所： 最良の経路を非常に素早く見つけます。ロボットはステップごとに速く学習します。
- 短所： 計算コストが高いです。この複雑な数学を行うには時間とエネルギーが大量に必要です。すべてのステップでこのコーチを使用すると、トレーニングコストが跳ね上がります。

新しい解決策：LionMuon

著者たちは、単純な問いを投げかけました：「Sign コーチの速度と、Spectral コーチの精度を両立させることはできるか？」

その答えがLionMuonです。

どちらか一方を選ぶのではなく、LionMuon はスマートな切替装置のように機能します。固定されたスケジュール（例えば、2 ステップごと）で 2 つのコーチを交互に使用します。

ステップ 1： 完璧で強力な方向を見つけるためにMuonコーチを使用します。
ステップ 2： 最初のステップで見つかった運動量に基づき、安価で迅速な調整を行うためにLionコーチを使用します。
ステップ 3： Muon に戻り、以下同様に続けます。

秘密のソース：
通常、コーチを切り替える場合、メモリをリセットするか、2 つの異なるメモリバンクを使用する必要があります。LionMuon は巧妙なことに、両方のコーチ間で単一のメモリバンクを共有します。つまり、実行するために追加のコンピュータメモリ（RAM）は不要です。標準的な業界標準のコーチ（AdamW）の半分のメモリ量である、安価な Lion コーチと同じメモリ量を使用します。

なぜこれが重要なのか？

この論文は、これらのステップを交互に行うことで、LionMuon が両者の最良の側面を得られると主張しています。

安価である： 高価な「完璧な数学」（Muon）を数ステップに一度しか行わないため、トレーニングの総コストが大幅に低下します（同じ結果を得るために必要な計算能力が約 5% 少なくて済みます）。
賢明である： 高価な数学を時折スキップするにもかかわらず、「安価な」ステップは、前のステップで見つかった強力な方向によって導かれます。その結果、ロボットはどちらかのコーチを単独で使用する場合よりも速く学習し、より低い誤り率に到達します。
スケーラビリティ： 研究者たちは、さまざまなサイズのモデル（1 億 2400 万パラメータから 7 億 2000 万パラメータまで）でこれをテストしました。どの場合でも、LionMuon が勝利し、最小限の計算能力で最良の結果を達成しました。

理論（なぜ機能するのか）

著者たちは単に推測したのではなく、数学を行いました。特定の条件下（特に AI で一般的であるノイズの多いデータの場合）、切り替える頻度には「絶妙なポイント」があることを証明しました。

彼らは、切り替えすぎ（すべてのステップで Muon を行う）と高価になりすぎ、切り替えすぎないと精度向上の恩恵を失うことを発見しました。彼らの数学は、現代のほとんどの AI モデルにとって、2 ステップごと（1 つ Muon、1 つ Lion）に切り替えることが完璧なバランスであることを示しています。

要約の比喩

霧の中を山を登っている状況を想像してください。

Lionは、風に基づいて方向を推測するだけの速いランナーです。彼は速く移動しますが、ジグザグに動くかもしれません。
Muonは、熱画像カメラを使用して絶対的に最も急で安全な経路を見つける、遅く高価なヘリコプターの操縦士です。
LionMuonは、ヘリコプターの操縦士が一度飛んで最良の経路を見つけ、その後、速いランナーがその経路に沿ってしばらく疾走し、ヘリコプターが再びチェックインするチームです。

結果は？ヘリコプターに全行程を頼るか、あるいは全行程を推測するだけで進む場合よりも、頂上に早く、かつ少ない燃料で到達できます。

結論： LionMuon は、追加のコンピュータメモリを必要とせずに、コストと時間を節約しながら AI をより賢くする、新しい効率的な AI 学習方法です。

技術的サマリー：LionMuon

問題定義

大規模言語モデル（LLM）の学習は、ステップあたりの計算コスト（FLOPs）と収束速度が最終的な計算コストを決定づける、巨大な最適化問題である。現在のオプティマイザは、更新の質と計算効率の間でトレードオフに直面している：

符号ベース手法（例：Lion、Signum）： これらは安価な、座標ごとの符号更新（ $W_{t+1} = W_t - \eta \cdot \text{sign}(\hat{G}_t)$ ）を生成する。計算コストが低くメモリ効率も高いが、スペクトル手法と比較して更新方向が弱い傾向がある。
スペクトル手法（例：Muon）： これらはニュートン・シュルツ反復を通じて行列符号更新を計算する（ $W_{t+1} = W_t - \eta \cdot \text{msign}(\hat{G}_t)$ ）。より強力なスペクトル方向を提供し、しばしばより速い収束をもたらす一方で、複数の行列乗算と分散環境における通信オーバーヘッド（完全な行列の all-gather を必要とする）により、ステップあたりのコストが著しく高くなる。

ここで扱われる中心的な問いは、安価な符号ベース更新の低コストと、高品質なスペクトル更新の方向性を組み合わせることで、優れたコストと品質のトレードオフを達成できるかどうかである。

手法：LionMuon

著者は、固定された周期 $P$ で Lion 風の符号更新と Muon 風のスペクトル更新を交互に行うオプティマイザ「LionMuon」を提案する。

コアアルゴリズム

交互スケジュール： アルゴリズムは $P$ 回目のイテレーションごとに Muon ステップ（ニュートン・シュルツスペクトル更新）を実行し、残りの $P-1$ 回のイテレーションでは Lion 風の符号更新を行う。
共有モーメント： 両方の更新タイプは、単一の双指数移動平均（EMA）モーメントバッファ（ $M_t$ ）を共有する。方向 $\hat{G}_t$ は Lion の補間によって計算される： $\hat{G}_t = \beta_1 M_{t-1} + (1-\beta_1)G_t$ 。
状態効率： LionMuon は 1 つのモーメントバッファのみを維持し、Lion/Signum と同じメモリフットプリントを持ち、AdamW のちょうど半分である。
特殊ケース：
- $P=1$ ：純粋な Muon。
- $P=\infty$ ：純粋な Lion（ $\beta_1=\beta_2$ の場合、Signum）。
- $P \in (1, \infty)$ ：提案された交互手法。
- SignMuon： 単一 EMA モーメント（ $\beta_1 = \beta_2$ ）を使用し、同じ交互スケジュールを採用する変種。

理論的解析

著者は、LLM 学習で一般的である重尾ノイズの下での LionMuon の収束境界を提供する。

補間定数： 収束境界は、純粋な Muon（スペクトルノルム）と純粋な Lion（無限大ノルム）の定数の間で補間する、周期平均化された滑らかさ（ $\bar{L}$ ）とノイズレベル（ $\bar{\rho}$ ）に依存する。
最適周期： 理論は、滑らかさ定数の比率（ $L_\infty / L_2$ ）とノイズレベルの比率（ $\rho_1 / \rho_{nuc}$ ）を含むトレードオフ因子を最小化する最適周期 $P^*$ が存在することを示唆している。
計算量： 導出された計算量境界は、特定の構成、特にトレードオフ因子 $\phi(P) < 1$ の場合、LionMuon が純粋な Muon または Lion と同等の精度をより少ない演算で達成できることを示している。

主要な貢献

SignMuon： 交互オプティマイザであり、 $P$ 回のイテレーションごとに Muon ステップを実行し、それ以外は Signum 風の符号ステップを行う。著者は、この単一 EMA 変種でさえ、 $P=2$ において純粋な Muon に対する損失対 FLOPs のトレードオフを改善することを示している。
LionMuon： 主要な貢献であり、Signum のモーメントを Lion の双 EMA 規則に置き換えたもの。SignMuon のコスト削減を維持しつつ、収束をさらに改善する。追加の整数ハイパーパラメータ（ $P$ ）のみを必要とし、Lion のほぼそのままの代替品として機能する。
理論的境界： Muon と Lion の領域間の補間を明示的にモデル化し、計算最適の周期 $P$ を予測する、重尾ノイズ下での鋭い計算量境界。
実証的検証： FineWeb、SlimPajama、WikiText-103 といった複数のデータセットと、GPT-2、LLaMA といったアーキテクチャにおいて、1 億 2400 万、3 億 5500 万、7 億 2000 万パラメータのスケールで実施された広範な実験。

実験結果

1 億 2400 万スケール： LionMuon（特に $P=2$ ）は、すべてのテストされたデータセットとアーキテクチャにおいて、Muon、Lion、Signum、AdamW をパレート支配する。純粋な Muon と比較して、合計学習 FLOPs を約 5.5% 削減しながら、より低い検証損失を達成する。
スケーリング（3 億 5500 万 & 7 億 2000 万）： 収束の質の優位性は、より大規模なスケールでも維持される。3 億 5500 万パラメータでは、LionMuon と SignMuon（ $P=2$ ）が純粋な Muon を上回る。7 億 2000 万パラメータでは、SignMuon（ $P=2$ ）は依然として純粋な Muon を上回るが、この特定の未学習予算において、LionMuon の双 EMA の利点が SignMuon に対して再現されなかった。
分散学習： この手法は構造的な通信節約を提供する。Lion ステップは要素ごとであり、シャードに局所的であるため、 $P=2$ に設定することで、Muon のニュートン・シュルツステップに必要な高価な all-gather 操作の頻度をバッチサイズに関わらず半分に減らすことができる。

意義と主張

本論文は、LionMuon が、高価なスペクトル更新の頻度をイテレーション数から切り離すことで、LLM 学習に対する構造的に優れたアプローチを提供すると主張している。

効率性： Muon ステップの有効性を維持しつつ、平均化されたイテレーションコストを削減し、符号ベース手法のメモリ効率と一致させる。
頑健性： この手法は異なるモデルサイズやデータセットにわたって頑健であり、損失対 FLOPs のパレートフロンティアを一貫して定義する。
理論的整合性： 実証結果は、最適周期 $P$ に関する理論的予測と整合しており、中間的な値（例： $P=2$ または $P=5$ ）が、高価なスペクトル方向と安価な符号方向の間の最良のバランスを提供することを示唆している。

著者は、LionMuon が、収束の質と計算効率の両面で現在の最先端（Muon）を厳密に改善する、実用的でそのまま導入可能な現代の LLM 学習の拡張であると結論付けている。今後の課題として、適応的な $P$ の選択と、7 億 2000 万パラメータを超えるスケーリングが提案されている。