🤖 machine learning

Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

本論文は、Muon 型のスペクトルノルム幾何学と直交勾配射影を統合することで大規模言語モデルにおける破滅的忘却を軽減し、安定性と可塑性のトレードオフを改善するとともに、多様なベンチマークにおいて既存のユークリッドノルムに基づく手法を上回る Muon-OGD という継続的学習フレームワークを提案する。

原著者： Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Muon-OGD」を平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「スポンジ」効果

フランス語を学び、次にスペイン語を学ぶ、とてつもなく頭の良い学生（大規模言語モデル、LLM）を想像してください。しかし、ここには落とし穴があります。スペイン語の学習を始めると同時に、フランス語を忘れ始めてしまうのです。これを破滅的忘却と呼びます。

AI の世界では、モデルが新しいタスクを学習すると、古いタスクに使用していた「神経経路」を上書きしてしまうことがよくあります。モデルは新しい情報を吸収するが、古いものを絞り出すスポンジのようになります。

従来の解決策：「交通整理員」

科学者たちは、直交勾配降下法（OGD） という手法を用いてこの問題を解決しようと試みてきました。

モデルの知識を巨大な多次元の地図だと考えてみましょう。

古いタスク： 「フランス語」の知識はこの地図上の特定のレーンを占めています。
新しいタスク： 「スペイン語」の学習は、この地図に車（更新）を運転させようとしています。

従来の手法は交通整理員のように機能します。「スペイン語を学ぶためにどこへでも運転していいが、ただし『フランス語』レーンには厳しく立ち入ってはならない」と言うのです。これは、新しい学習経路を、古い経路に対して完全に垂直（90 度の角度）になるように射影することで実現されます。

欠点： この交通整理員は、地図が標準的なグリッド（ユークリッド幾何学）のように平坦で均一であると仮定しています。距離は「フロベニウスノルム」という、標準的な定規で測るような方法で測定されます。しかし、この論文は、これらの AI モデルの内部構造は平坦なグリッドではなく、いくつかの方向が他の方向よりも「重く」重要であるような、複雑で曲がった風景であると主張しています。

新しいアイデア：「山岳ガイド」（Muon-OGD）

著者たちは、Muon という新しいオプティマイザーが異なる方法で機能することに気づきました。Muon は標準的な定規ではなく、スペクトルノルムを使用します。

比喩：
山を登っていると想像してください。

従来の方法（フロベニウス）： 地面に置かれた平らなメジャーで歩幅を測ります。効率的に移動していると思い込んでいますが、地形の形状を考慮しなかったため、急峻な崖を登っているかもしれません。
Muon の方法（スペクトルノルム）： 地形の 3 次元の形状を理解する山岳ガイドがいます。ガイドは、いくつかの道が「急峻」（影響が大きい）で、いくつかの道が「緩やか」（影響が小さい）であることを知っています。ガイドは、単なる平坦な距離ではなく、山の形状を尊重した歩み方を指示します。これにより安定性が保たれ、間違った側へ滑落するのを防ぎます。

Muon-OGD は、これら 2 つのアイデアを組み合わせます：

古いフランス語の知識を守るために、交通整理員を維持します。
しかし、どのように歩むかを決定するために、山岳ガイド（Muon）を雇います。

単に「フランス語レーンに入るな」と言うのではなく、新しい方法は「フランス語レーンに入るな、そして滑らないように山の 3 次元の形状を尊重した歩み方をせよ」と言います。

仕組み（「双対」のダンス）

この論文は、これを効率的に行うための数学的プロセスを説明しています：

セットアップ： モデルは、触れてはならない「保護されたレーン」（フランス語の知識）を特定します。
修正： 一歩を踏み出す前に、モデルは「修正された経路」を計算します。「この一歩を踏めば、偶然フランス語レーンにぶつかるだろうか？」と問うのです。
反復： 一度推測するだけではありません。ステップを微調整するために、素早い内部ループ（双対反復と呼ばれる）を実行します。これは、最も効率的な方向に移動しながら、パートナーの足を踏まないように、一瞬のうちに足元の位置を繰り返し調整するダンサーのようです。
シグナル： 最後に、ニュートン・シュルツ反復という数学的なトリックを用いて、ステップを完璧な「直交」形状に固定し、ルールを破ることなく最も効率的な動きであることを保証します。

結果：より優れた学生

著者たちは、この新しい手法（Muon-OGD）を、さまざまな「学校科目」（ベンチマーク）において従来の手法と比較してテストしました：

標準テスト： テキスト分類（ニュース記事の分類など）。
より困難なテスト： 15 タスクのストリーム（15 の異なるトピックを連続して学習）。
専門テスト： コーディング、数学、医療推論。

結果：
すべてのテストにおいて、Muon-OGD の学生がより良いパフォーマンスを発揮しました。

新しい科目を他の学生と同様に良く学習しました（可塑性）。
しかし、古い科目をはるかに少なく忘れました（安定性）。
新しいことを学びながら、コーディング、数学、医療のスキルを維持することに特に優れており、従来の手法は以前のスキルを失い始めていたのとは対照的でした。

まとめ

この論文は、AI の脳内における「距離」の測定方法を、平らな定規から 3 次元の山岳ガイドへと変更し、古い知識を守る厳格なルールと組み合わせることで、AI に新しいことを教えながら、すでに知っていることを忘れないようにできることを主張しています。これは、永遠に学習し続けるための、より安定し、効率的な方法です。

技術的サマリー：Muon-OGD

問題定義
本論文で扱われる中心的な課題は、継続学習における大規模言語モデル（LLM）の「破滅的忘却」である。LLM が新しいタスクに対して逐次的にファインチューニングされると、以前学習したタスクに対する性能が急速に低下する傾向がある。既存の射影ベースの継続学習手法（例：OGD、GEM、O-LoRA）は、パラメータ更新を過去のタスクに関連する方向と直交する部分空間に制限することでこれを緩和する。しかし、これらの手法は通常、更新の大きさと直交性がフロベニウスノルムによって支配されるユークリッド空間のパラメータ幾何学の下で定式化されている。

著者らは、根本的なミスマッチを特定している。行列値パラメータに対する現代のオプティマイザ、例えば最近提案されたMuon オプティマイザは、スペクトルノルム（作用素ノルム）幾何学の下で動作する。Muon は、ニュートン・シュルツ反復法を介して近似された直交化された行列更新を適用し、スペクトルノルム制約下での最急降下法として解釈できる。本論文は、行列値の LLM パラメータに対する継続学習の制約にフロベニウスノルム幾何学に依存することは、基礎となる最適化ダイナミクスの幾何学と整合しないため、最適ではないと主張している。

手法：Muon-OGD
本論文は、スペクトルノルムを考慮した最適化と、射影ベースの継続学習制約を統合するフレームワークであるMuon-OGD（Muon ベースのスペクトル直交勾配射影）を提案する。

定式化：標準的なフロベニウスノルム制約付き問題の代わりに、Muon-OGD は更新 $\Delta$ をスペクトルノルム制約付き最適化問題として定式化する：
$\min_{\Delta \in \mathbb{R}^{m \times n}} \langle G, \Delta \rangle \quad \text{s.t.} \quad \|\Delta\|_2 \leq \eta, \quad \langle C_i, \Delta \rangle = 0, \forall i=1,\dots,k$
ここで、 $G$ は勾配（またはモーメント）行列、 $\|\cdot\|_2$ はスペクトルノルム、 $\eta$ はステップサイズ、 $\{C_i\}$ は更新に対して直交しなければならない制約方向（例：過去のタスクからの勾配）である。
双対最適化：この問題には閉形式解が存在しないため、著者らは双対定式化を導出する。双対目的関数は、シフトされた行列 $H = G + \sum \lambda_i C_i$ の核ノルムを最小化することを含む。最適な更新は行列符号関数を通じて復元される： $\Delta^* = -\eta \cdot \text{msgn}(H)$ 。
アルゴリズム：本手法は、双対変数 $\lambda$ に対する部分勾配降下法を用いて双対問題を反復的に解く。
- 内側ループ：直交制約を強制するために $\lambda$ を反復的に更新する。
- 行列符号近似：行列符号関数 $\text{msgn}(H)$ は、明示的な SVD の計算コストを回避し、少数のニュートン・シュルツ反復（具体的には 5 回、 $NS_5$ と表記）を用いて効率的に近似される。
- 低ランク実装：効率化のため、著者らは過去のタスクのトップ- $k$ 特異ベクトルから制約を導出する特定の実装を提案する。これにより双対変数を低ランク行列 $\Lambda$ に整理でき、双対問題の次元を削減する。

主要な貢献

継続学習のためのスペクトルノルム幾何学：本論文は、現代のオプティマイザ（Muon など）の作用素ノルム幾何学と整合させる形で、スペクトルノルム幾何学の下で射影ベースの継続学習を定式化する。
実用的な更新則：過去のタスクの直交制約と Muon 型の行列符号更新を組み合わせ、双対定式化とニュートン・シュルツ近似を通じて制約付き問題を効率的に解く実用的なアルゴリズム（Muon-OGD）を導出した。
実証的検証：このフレームワークを LLM の継続的ファインチューニングに実装し、多様なベンチマークで評価した結果、フロベニウスノルムベースの対照手法と比較して一貫した改善を示した。

実験結果
著者らは Muon-OGD を以下の基準で評価した：

標準ベンチマーク：T5-Large を使用した 5 タスクおよび 15 タスクの継続学習ベンチマーク。
TRACE ベンチマーク：コーディング、数学、多言語理解など多様なスキルを網羅する、指示チューニング済み LLM（LLaMA-2-7B-Chat 使用）向けのベンチマーク。
ドメイン固有カリキュラム：Qwen2.5 および LLaMA3.2 モデルを使用した、コーディング（BigCodeBench） $\to$ 数学（GSM8K） $\to$ 医療（HuatuoGPT-o1）の逐次学習。

知見：

性能：Muon-OGD は、平均精度（AA）および後方転移（BT）の点で、逐次ファインチューニング（SeqFT）および競争力のある直交勾配ベースライン（例：O-LoRA、Sculpting Subspaces、OSFT）を一貫して上回った。
- T5-Large 15 タスクベンチマークにおいて、Muon-OGD は平均精度**72.0%**を達成し、O-LoRA（69.6%）および OSFT（71.3%）を上回った。
- TRACE ベンチマークにおいて、Muon-OGD は比較対象手法の中で最高の AA（49.4%）および最低の忘却率（-4.7%）を達成した。
スケーラビリティ：ニュートン・シュルツ反復の効率性と低ランク制約表現を活用することで、計算スケーラビリティを維持している。
アーキテクチャ非依存性：このアプローチは、エンコーダ・デコーダ（T5）およびデコーダのみ（LLaMA、Qwen）の両方のアーキテクチャで有効である。

意義と主張
本論文は、スペクトルノルムを考慮した更新幾何学が、LLM の継続学習におけるフロベニウスノルム射影に対する実用的かつ効果的な代替手段であると主張している。現代のオプティマイザ（Muon など）の幾何学と継続学習の安定性要件の間のギャップを埋めることで、Muon-OGD は安定性 - 可塑性のトレードオフを改善する。著者らは、既存の射影ベース手法を体系的にアップグレードし、スペクトルノルム幾何学の下で動作させることで、Muon において観察される条件付けと安定性の利点を維持しつつ破滅的忘却を防ぐことが可能であると示唆している。本研究は継続学習のすべての課題を解決するものではないが、さまざまなドメインおよびモデルスケールにおける保持と適応の実証的 gains をもたらす、原理的な幾何学的代替案を提供するものである。