🤖 machine learning

Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering

本論文は、Muonオプティマイザにおけるモーメンタムが勾配ノイズを抑制しスペクトルギャップを拡大させるスペクトルフィルタとして機能することで、直交化ステップを安定化させ信号の整列を向上させることを理論的に示しており、この知見は大規模言語モデルの学習における実験によって裏付けられている。

原著者： Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「先にノイズを除去し、後から直交化せよ」

この解説では、「Denoise First, Orthogonalize Later（先にノイズを除去し、後から直交化せよ）」という論文の内容を、平易な言葉と独創的な比喩を用いて説明します。

全体像：嵐の中でのラジオのチューニング

あなたは、激しい雷雨（ノイズ）の中を車で運転しながら、特定の曲（シグナル）を聞こうとしてラジオのチューニングをしている場面を想像してください。ラジオはあなたのAIモデルであり、曲はモデルが賢くなるために学習すべき正しい方向です。

現代のAI学習では、ラジオがより速く、より正確にチューニングできるように「Muon」というツールが使われます。Muonには主に2つのステップがあります。

モーメンタム（慣性）: 静電気（スタティック）を滑らかにする。
直交化（Orthogonalization）: アンテナを完璧に合わせる。

長い間、研究者たちはMuonが非常に効果的であることは知っていましたが、なぜ「平滑化」のステップ（モーメンタム）がそれほど重要なのか、あるいはなぜ操作の順序が重要なのかという理由は分かっていませんでした。この論文はその謎を解明しました。

核心となる発見： まずシグナルを綺麗にし（デノイズ）、それからアンテナを合わせる（直交化）必要があります。もしアンテナがまだ静電気に覆われている状態で合わせようとすると、間違った方向を向いてしまいます。

ラジオのチューニングにおける3つの方法

著者らは、どの方法が最も効果的かを確かめるために、ラジオの信号（勾配）を扱う3つの異なる方法をテストしました。

「先に綺麗にする」方法（Pre-polar / Muonの方法）:
- アクション: ノイズを含んだ信号を取り、フィルターを通して静電気を滑らかにし（モーメンタム）、その後にアンテナを合わせる（直交化）。
- 結果: 最高のパフォーマンス。 アンテナは正確に曲の方向を向きます。
「先に合わせる」方法（Post-polar）:
- アクション: ノイズを含んだ信号に対して即座にアンテナを合わせようとし、その後に滑らかにしようとする。
- 結果: 低いパフォーマンス。 最初に静電気に対してアンテナを合わせてしまったため、後から滑らかにしても、アンテナが間違った方向を向いているという事実は修正できません。
「フィルターなし」の方法（Polar-only）:
- アクション: 何も滑らかにすることなく、生のノイズを含んだ信号に対してただアンテナを合わせる。
- 結果: 最低のパフォーマンス。 アンテナはガタガキと震え、嵐に翻弄されて混乱しています。

比喩： 机を揺らしている人がいる状態で、紙の上に直線を描こうとしている場面を想像してください。

Muon（先に綺麗にする）: 机の揺れが止まるのを待ってから（平滑化）、直線を描きます。
Post-polar（先に合わせる）: 机が揺れている間に直線を描こうとし、その後で紙を「滑らかに」しようとします。線はすでに曲がっており、紙を滑らかにしても曲がった線は直りません。

なぜ「先に綺麗にする」のが効果的なのか？（スペクトルフィルター）

この論文では、モーメンタムがスペクトルフィルターとして機能することを説明しています。シグナルを「深く安定したベース音（真実）」、ノイズを「高く不規則な叫び声（ノイズ）」と考えてください。

問題点: 生のデータを見ると、叫び声があまりに大きいため、ベース音がかき消されてしまいます。もしすぐに音楽の「方向」を見つけようとすると、叫び声を曲そのものだと勘違いしてしまう可能性があります。
解決策: モーメンタムはローパスフィルターとして機能します。これは、時間の経過とともに急速で混沌とした「叫び声（ノイズ）」を平均化して取り除きますが、安定した「深いベース音（シグナル）」はそのまま維持します。
結果: ノイズが取り除かれると、音楽の「方向」が非常に明確になります。大きなベース音（シグナル）と小さな叫び声（ノイズ）の差が非常に大きくなるため、次のステップ（直交化）において正しい方向を捉えることが極めて容易になります。

「スペクトル・ギャップ（Spectral Gap）」

著者らは、モーメンタムを直交化の「前」に使用することで、数学的にスペクトル・ギャップが生じることを証明しました。

シグナルとノイズが混ざり合った、2色の光を想像してください。
モーメンタムがない状態では、色が濁っていて分離が困難です。
モーメンタムを使うと、ノイズが消えていき、シグナルの色が明るく際立って見えます。
この「ギャップ」があることで、最終的な整列ステップが非常に信頼性の高いものになります。これは、干し草の山から針を探すようなものです。まず干し草（ノイズ）を取り除いてしまえば、針（シグナル）を見つけるのは簡単です。

実験の結果

著者らは単に数学的な証明を行っただけでなく、実際のAIモデル（NanoGPTやLLaMAなど）を用いてテストを行いました。

「先に綺麗にする」方法（Muon）が、他の手法を一貫して上回ることを発見しました。
データを可視化したところ、彼らの理論が予測した通り、平滑化（モーメンタム）を強めるにつれてノイズが消え、シグナルがより鮮明になることが確認されました。
また、滑らかにする前にアンテナを合わせようとすると、AIが混乱し、学習速度が低下することも確認しました。

まとめ

この論文は、将来のAIオプティマイザ（最適化アルゴリズム）のためのシンプルな設計原則を提示して結論付けています。それは、**「先にデノイズし、後から直交化せよ（Denoise First, Orthogonalize Later）」**というルールです。

もしあなたが、ノイズの多い世界の中で明確な方向を見つけ出すシステムを作っているなら、世界が混沌としている間に完璧な決断を下そうとしてはいけません。まず、混沌を滑らかにして真実を見つけ出し、それから決断を下してください。AI学習の世界において、これは、直交化（更新の方向を合わせる）を行う前に、モーメンタム・バッファを使ってノイズを浄化させることを意味します。

技術要約：「先にデノイズし、後から直交化する：スペクトル・フィルタリングによるMuonにおけるモーメンタムの理解」

問題提起
Muonオプティマイザは、ニュートン・シュルツ（Newton–Schulz）反復を用いてモーメンタム行列をほぼ直交化することにより、大規模言語モデル（LLM）の学習において強力な経験的性能を示してきました。しかし、Muonにおけるモーメンタムの理論的な役割は依然として不明確です。既存の解析は、スペクトル更新を単独で研究するためにモーメンタムを排除するか、あるいはモーメンタムを保持したままその経験的な利点を説明できていません。さらに、理論的な文献では、重いモーメンタムは収束率を低下させるか、あるいは何ら利益をもたらさないことが示唆されることが多く、これはモーメンタムが不可欠であるという実用的な観察結果と矛盾しています。加えて、操作の順序（モーメンタムを適用してから直交化を行う「Pre-polar」か、直交化してからモーメンタムを蓄積する「Post-polar」か）についても、Pre-polarが実用上でPost-polarを大幅に上回っているにもかかわらず、厳密な説明が欠けています。

手法
著者らは、Muonを分析するために構造化された**信号＋摂動勾配モデル（signal-plus-perturbation gradient model）**を提案しています。彼らは、時刻 $t$ における勾配 $G_t$ が、コヒーレントな低ランク信号成分 $G^{\text{sig}}_t$ と、有界分散・平均ゼロの直交（BVMZOS）摂動 $\Xi_t$ に分解されると仮定しています。

核心となる理論的貢献は、モーメンタム・バッファ $M_t = \beta M_{t-1} + (1-\beta)G_t$ をスペクトル・フィルタとして分析することです。著者らは、重み更新 $\Delta W_t$ に関する3つのパイプライン・バリアントを調査しています：

Pre-polar (標準的なMuon): $\Delta W_t \propto O(M_t)$ 。ここで、モーメンタムが最初に適用され、その後に極分解因子 $O(\cdot)$ が適用される。
Post-polar (Orthogonal-SGDM): $\Delta W_t \propto \tilde{M}_t$ 。ここで、極分解因子がまず生の勾配に適用され、その後にモーメンタムが蓄積される。
Polar-only: $\Delta W_t \propto O(G_t)$ 。モーメンタムを含まないベースライン。

この解析は、有効ウィンドウサイズ $T = 1/(1-\beta)$ に依拠しており、ランダム行列理論（特に行列の特異部分空間の摂動に関するWedinの $\sin \Theta$ 定理）を用いて、モーメンタムが勾配行列の特異値および部分空間にどのように影響するかを定量化します。

主な貢献

スペクトル・フィルタとしてのモーメンタム (定理1および系1):
著者らは、提案した勾配モデルの下で、モーメンタムが摂動（ノイズ）を抑制しつつコヒーレントな信号を保持するローパス・フィルタとして機能することを証明しました。具体的には、有効ウィンドウサイズ $T$ が増加するにつれ、テイル（裾）の特異値（ノイズに支配される部分）は $O(T^{-1/4})$ の速度で減衰する一方で、リーディング（主要な）特異値（信号）はゼロから離れた状態で維持されます。これにより、信号成分とノイズ成分の間に拡大されたスペクトル・ギャップが形成されます。その結果、モーメンタム・バッファ $M_t$ の上位 $r$ 個の特異部分空間は、生の勾配の部分空間よりも、真の信号の部分空間に対してより確実に整列します。
非可換性とパイプラインの順序 (定理2):
本論文は、モーメンタムと直交化が可換ではないことを確立しています。

Pre-polarの優位性: モーメンタムが先に適用される場合、それは勾配ストリームをデノイズし、その後の極分解因子が安定した特異部分空間構造を持つ行列に対して作用することを可能にします。著者らは、Pre-polarがPost-polarおよびPolar-onlyの両方のベースラインよりも高い期待信号整列度を達成することを証明しています。
代替手法の失敗: Post-polarの場合、ノイズの多い勾配を先に直交化することで、信号とノイズの間の振幅の差が「消去」されてしまいます。極分解因子はすべての特異値を1に置き換えるため、その後のモーメンタムのステップにおいて信号とノイズを区別することが不可能になります。理論的に、Post-polarおよびPolar-onlyのパイプラインは、特に低SNR（信号対雑音比）領域において、信号方向を効果的に回復することに失敗します。

低SNRにおける定量的分離 (定理3):
ランク1のスパイク型ガウスモデルにおいて、行列次元 $m \to \infty$ となる場合、Polar-onlyパイプラインの信号整列度は消失することを示しています。対照的に、Pre-polarパイプラインは、モーメンタムのウィンドウ $T$ が十分に大きい限り、ターゲットとなる信号を回復し続けます。

結果
これらの理論的知見は、広範な実験によって検証されています：

スペクトル・ギャップの可視化: NanoGPTを用いた定常プローブを用い、モーメンタム係数 $\beta$ の増加に伴ってモーメンタム・バッファのリーディング特異値とテイル特異値の間のギャップが広がることを示し、これは定理1と一致しています。
部分空間の信頼性: 部分空間の整列誤差の経験的測定により、モーメンタム・バッファの特異部分空間と真の信号部分空間との偏差は、 $T$ が増加するにつれて減少することが示され、系1が検証されました。
パイプラインの比較: 合成モデル、CIFAR-10、およびNanoGPT/LLaMA 350Mの学習にわたって、Pre-polarパイプラインは、信号整列度および検証損失の観点から、一貫してPost-polarおよびPolar-onlyを上回っています。特に、Post-polarの性能は $\beta$ に関わらず横ばいであり、これは「直交化を平均化の前に事前に行うことは、ノイズによって失われた信号方向を回復できない」という理論的予測を裏付けています。
エンドツーエンドの学習: LLMの事前学習タスク（NanoGPTおよびLLaMA 350M）において、Pre-polarパイプライン（標準的なMuon）は、他のバリアントと比較して低い検証損失を達成しており、モーメンタムが単なる加速のトリックではなく、信号回復のための不可欠な要素であるという主張を支持しています。

意義
本論文は、なぜMuonにモーメンタムが必要なのか、そしてなぜ操作の順序（直交化の前のデノイズ）が重要なのかについて、初の理論的正当性を与えています。本研究は、行列ベースのオプティマイザにおけるモーメンタムを、単なる加速メカニズムとしてではなく、ノイズに対して特異部分空間を安定化させるスペクトル・フィルタとして再定義しています。「先にデノイズし、その後に直交化する」という指針は、非線形スペクトルステップを用いる将来の行列認識型オプティマイザのための設計ルールを提供しており、信号をノイズから分離することは、いかなるスペクトル正規化や直交化よりも先行しなければならないことを示唆しています。著者らは、本理論がMuonにおけるモーメンタムの利点を説明する一方で、これらの利点を予測できない現在の理論的境界の限界も浮き彫りにしており、標準的な最適化理論とスペクトル・オプティマイザの実用的な挙動との間の乖離を指摘しています。