🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

本論文は「オプティマイザとモデルの一貫性」という概念を導入し、事前学習とフルファインチューニングの両方に同一のオプティマイザを使用することが、他のオプティマイザや LoRA と比較して破滅的忘却を軽減し、学習と忘却のトレードオフを改善することを示すと同時に、Muon のような特定のオプティマイザは暗記への傾向により推論タスクで性能が低下する可能性があることを明らかにする。

原著者： Yuxing Liu, Jianyu Wang, Tong Zhang

公開日 2026-05-08

📖 1 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Yuxing Liu, Jianyu Wang, Tong Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。膨大な図書館のすべての本を何年もかけて読み尽くした、優秀な学生がいるとします（これが事前学習です）。彼らは一般的な知識、文法、そして世界について考える方法を学びました。さて、あなたは彼に数学の問題を解くことやコンピュータコードを書くことといった、特定の新しいスキルを教えたいとします（これが教師あり微調整、またはSFTです）。

大きな課題は、彼が図書館で学んだすべてを忘れることなく、この新しいスキルをどのように教えるかということです。もし彼が新しい数学にあまりにも集中しすぎると、簡単な物語を書く方法を忘れ始めるかもしれません。これを**「学習と忘却のトレードオフ」**と呼びます。

この論文は、この学生を最も効果的に教えるための驚くべき規則を発見しました。それは、何を教えるかだけでなく、どのように教えるかに関係しています。

主な発見：「同じ教師、同じスタイル」

著者らは、新しいスキルを教える最良の方法は、何年もの図書館での読書中に使用された**全く同じ指導スタイル（オプティマイザ）**を使用することであると発見しました。

比喩： 学生が「方法A」（例えば、テキストをハイライトし、メモを取る特定のやり方）を使って読書方法を学んだと想像してください。もしあなたが「方法B」（ハイライトやメモの取り方が全く異なる別の方法）を使って数学を教えようとすると、学生は混乱します。彼らは数学を学ぶかもしれませんが、何年もの練習によって脳に組み込まれた方法と新しい方法が衝突するため、読書スキルを忘れ始めてしまいます。
発見： 数学の授業でも「方法A」を堅持すれば、学生は数学を学びつつも、読書スキルを維持したままになります。論文はこの現象を**「オプティマイザとモデルの一貫性」**と呼んでいます。

なぜこれが起こるのか？（「脳の形状」理論）

この論文は、異なる指導方法が実際には学生（モデルの内部重み）の脳を異なる方法で形作ると説明しています。

異なる形状： 一部の指導方法（最も一般的なAdamWなど）は、本が整然と配置され、その間に隙間がある図書館のように、脳を「疎（スパース）」または「効率的」に訓練します。一方、他の方法（新しい洗練された方法であるMuonなど）は、本が密に詰め込まれた図書館のように、脳を「密（デンス）」に訓練します。
ミスマッチ： 数年間脳を「疎」に訓練した後、突然数学のために「密」な指導方法に切り替えると、脳は構造全体を再編成するために必死に動き回らなければなりません。この混乱により、古い本（知識）が落とされてしまいます（忘却）。
一致： 数学でも引き続き「疎」な方法を使用すれば、脳は既存の本棚に新しい本を追加するだけです。図書館を再建する必要がないため、忘却は少なくなります。

LoRA の驚き

LoRA（Low-Rank Adaptation：低ランク適応）と呼ばれる人気のあるショートカットがあります。LoRA は、メインの図書館の本に触れることなく、数学の答えを書くための小さな別冊ノートを与えるようなものです。多くの人は、忘却を防ぐ最良の方法はこれだと考えていました。

論文の意外な展開： 著者らは、LoRA は優れているものの、以前と同じ指導方法を用いた完全な再学習（脳全体を書き換えること）の方が、実際にはさらに優れていることを発見しました。

比喩： LoRA は別冊ノートを持ち運ぶようなものです。機能はしますが、メインの脳を同じ指導スタイルで書き換えることで、単にサイドノートを使うよりも、新しい数学を詰め込みつつも古い読書スキルをより効果的に維持できるのです。

「暗記屋」のケース（Muon）

この論文は、Muonと呼ばれる特定の高度な指導方法についても検討しました。

良い点： Muon は図書館フェーズ（事前学習）において優れています。それは学生が事実を驚くほどよく暗記するのを助けます。
悪い点： 非常に少ないデータで新しい推論スキル（数学など）を学ぶ際、Muon は「暗記屋」になりがちです。それは背後にあるパターンを学ぶのではなく、目にする特定の数学の問題を暗記しようとします。
結果： 旅程全体（図書館＋数学）で Muon を使用すると、学生は事実を暗唱するのは得意かもしれませんが、新しい未見の数学の問題を解くのに苦労するかもしれません。彼らは例を暗記しましたが、論理を学んでいないのです。

平易な英語での要約

一貫性が鍵： 新しいスキルを学びながら古いものを忘れないためには、モデルを元々訓練したのと同じ学習アルゴリズム（オプティマイザ）を使い続けることです。
スタイルを変えない： 学習アルゴリズムを途中で変更すると、モデルは自分の「脳」を再編成することを余儀なくされ、古い知識を失うことになります。
完全な再学習 > ショートカット： 時には、LoRA などのショートカットを使用するよりも、適切なアルゴリズムで完全な再学習を行う方が優れています。なぜなら、それはモデルの脳が元々構築された方法とよりよく整合するからです。
過剰な暗記に注意： 一部の高度なアルゴリズム（Muon など）は暗記には優れていますが、データが不足している場合、新しいパターンを学ぶ能力は劣る可能性があります。

この論文は、新しいことを学びながら古いことを記憶するという最適なバランスを達成したいのであれば、最初に始めた同じ教師に固執することが結論であると述べています。

技術的サマリー：オプティマイザとモデルの一貫性

問題定義

大規模言語モデル（LLM）の学習パラダイムにおいて、モデルはまず大規模コーパスを用いた事前学習（pretraining）段階を経て、その後、特定のスキルを習得するために小規模で高品質なデータセットを用いた教師あり微調整（SFT）段階を経る。SFT における重要な課題は「学習と忘却のトレードオフ」である。モデルは新しいタスク固有の知識を学習しつつ、事前学習中に獲得した汎用的な言語能力を保持しなければならない。

AdamW や Muon などのさまざまなオプティマイザや、LoRA などのパラメータ効率化手法が用いられているが、新しいタスクの学習と破滅的忘却の最小化の間の最適なバランスをもたらす組み合わせは依然として不明である。既存の文献は矛盾する直観を提供している。例えば、LoRA は低ランク性により本質的に忘却が少ないと示唆するものもあれば、オプティマイザの選択の重要性を強調するものもある。本論文では、SFT におけるオプティマイザの選択を事前学習で用いたオプティマイザから切り離すべきか、それとも整合させるべきかを調査する。

手法

著者は、オプティマイザの選択と SFT 中のモデル性能との関係を調査するために、経験的実験と理論的解析の組み合わせを採用する。

経験的実験

モデルとデータセット: 実験は、ゼロから事前学習されたGPT-2-smallとLlama-2-7Bで行われた。事前学習には OpenWebText データセットが用いられた。SFT はMetaMathQA（数学推論）、Alpaca（指示追従）、Magicoder（コード生成）の 3 つの異なるタスクで行われた。
比較対象オプティマイザ: 本研究では、AdamW、Muon（行列構造を持つオプティマイザ）、SGDを比較する。また、さまざまなランク（ $r=4, 8, 32, 64, 128, 256$ ）を用いたLoRA（低ランク適応）も評価する。
評価指標: 著者は、学習と忘却のトレードオフを可視化するためにパレートフロンティアを定義する。
- 忘却: 事前学習データセット（OpenWebText）上の検証損失、または汎用能力ベンチマークの低下によって測定される。損失が低いほど忘却が少ないことを示す。
- 学習: 新しい SFT タスク上の検証損失、またはタスク固有の精度によって測定される。損失が低いほど、または精度が高いほど、学習が優れていることを示す。
- プロトコル: 各学習アルゴリズムに対して、学習率のグリッドサーチを行い、単一のハイパーパラメータ設定ではなく、アルゴリズムの限界を公平に比較するためにパレートフロンティアを特定する。
合成分析: なぜ特定のオプティマイザが異なる挙動を示すのかを理解するために、著者は汚染された言語コーパスを用いた合成実験を行った。彼らはクリーンなシーケンス内のトークンの順序をシャッフルして言語パターンを破壊し、モデルが暗記に依存することを強いた。これにより、パターンを学習するオプティマイザの能力と、データを暗記する傾向を区別することが可能になった。

理論的解析

本論文は、行列誘導ノルム（Pethick ら、2025 年による）に基づく理論的枠組みを提供する。

オプティマイザとしての正則化: 著者は、オプティマイザが単に解に収束するだけでなく、モデルの重みと活性化を形成すると仮定する。具体的には、ノルム $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ から導出されたオプティマイザは、入力活性化を $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ で、出力活性化を $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ で暗黙的に正則化する。
- AdamW（ $A_{1,\infty}$ から導出）は $\|\cdot\|_1$ によって入力を正則化し、スパースな活性化をもたらす。
- Muon（ $A_{2,2}$ から導出）は $\|\cdot\|_2$ によって入力を正則化し、より密な活性化をもたらす。
忘却の近似: テイラー展開を用いて、SFT 後の事前学習損失の増加（忘却）は、事前学習入力に対して適用された重み更新の期待二乗ノルム（ $\mathbb{E}[\|\Delta W x\|_2^2]$ ）に比例すると近似される。
一貫性仮説: この理論は、忘却を最小化するためには、SFT 更新（ $\Delta W$ ）が事前学習によって確立された損失地形の曲率と整合する必要があることを示唆している。この整合性は、SFT オプティマイザが事前学習オプティマイザと同じファミリー（同じ $\alpha, \beta$ ）に属するときに達成される。

主要な結果

1. オプティマイザとモデルの一貫性

中心的な発見はオプティマイザとモデルの一貫性である。事前学習で用いた同じオプティマイザ（またはオプティマイザファミリー）を用いたフル微調整は、一貫して最適な学習と忘却のトレードオフを達成する。

AdamW による事前学習: 事前学習に AdamW が用いられた場合、Muon や SGD によるフル微調整、およびすべてのタスク（数学、コード、指示）における LoRA よりも、AdamW によるフル微調整が優れている。
Muon による事前学習: 同様に、事前学習に Muon が用いられた場合、SFT に AdamW や SGD を用いる場合と比較して、Muon によるフル微調整が最適なトレードオフをもたらす。
LoRA との比較: LoRA は忘却が少ないという直観に反し、パレートフロンティアの分析は、任意の LoRA チェックポイントに対して、同じオプティマイザを用いたフル微調整のチェックポイントが存在し、両方ともより優れた学習（低いタスク損失）とより少ない忘却（低い事前学習損失）を達成することを示している。これは適切な学習率のスウィープを考慮した場合に当てはまる。

2. 推論タスクにおける Muon の性能

Muon はしばしば優れた事前学習チェックポイント（低い事前学習損失）を生み出すが、推論タスク（例：MetaMathQA）で微調整されると、AdamW に比べて性能が低下する。

暗記対パターン学習: 合成実験により、Muon は AdamW や SGD よりも、汚染された（パターンのない）データを暗記する傾向が強いことが明らかになった。
示唆: データが不足している SFT において、パターン獲得よりも rote 暗記を優先する Muon の傾向は、複雑な推論スキルの学習を妨げ、汎化を必要とするタスクにおける最終性能を低下させる可能性がある。これは、強力な事前学習指標にもかかわらず生じる。

3. 学習率の役割

本論文は、学習と忘却のトレードオフが学習率に非常に敏感であることを強調している。LoRA は忘却が少ないと示唆する以前の研究では、学習率をタスクに対して最適な値に固定することが多かった。学習率をスウィープした場合、フル微調整は単に学習率を低下させることで優れたトレードオフを達成でき、この特定の文脈では LoRA がこれほど効果的に再現することはできない。

意義と主張

本論文は、LLM 学習の基本的な原則としてオプティマイザとモデルの一貫性を確立すると主張する。

統合された指標: 事前学習から SFT までの全体パイプラインにおける学習と忘却のトレードオフは、事前学習性能のみよりも、オプティマイザを評価するためのより包括的な指標である。
実践的ガイダンス: 忘却を最小化しつつタスク学習を最大化するためには、実務家は SFT において事前学習で用いたのと同じオプティマイザファミリーを採用すべきである。
Muon の再評価: Muon は強力な事前学習オプティマイザであるが、その更新メカニズム（フルランク、 $L_2$ 正則化）は、特に推論タスクにおいて、低データ量の SFT 領域で過剰な暗記を起こしやすい可能性がある。これは、Muon 事前学習モデルの潜在能力を最大限に引き出すために、専用で、おそらくは異なる微調整戦略が必要であることを示唆している。
理論的洞察: この研究は、オプティマイザ設計（ノルム）とモデルの挙動（活性化のスパース性）の間のギャップを埋め、オプティマイザ選択の一貫性がなぜ重要であるかについての理論的説明を提供する。

著者は限界を認め、計算資源の制約により実験は主に小規模モデル（GPT-2、Llama-2-7B）で行われたこと、また理論的証明は簡略化された仮定（例：ブロック対角ヘッシアン）に依存していることを指摘している。彼らは、将来的な研究として、これらの知見をより大規模なモデルにスケールさせ、SFT 中の行列構造オプティマイザの暗記傾向を緩和するために特別に設計されたオプティマイザを探求することを提案している。