🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

本論文は、メモリ効率の高い設計を通じて効率的な摂動戦略を自動的に学習する学習ベースのゼロ次オプティマイザであるZO-Finetunerを紹介するものであり、これによりモデルごとの一度限りの学習を可能にし、既存の静的なゼロ次手法と比較して多様なダウンストリームタスクにおいて優れた性能を実現する。

原著者： Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、文章を書き、推論し、対話ができる、巨大で信じられないほど複雑な図書館（大規模言語モデル、またはLLM）を所有しています。あなたはこの図書館に、法律契約の作成や数学の問題解決といった、特定の新しいスキルを教えたいと考えています。このプロセスは「ファインチューニング」と呼ばれます。

通常、この図書館を教えるには、「バックプロパゲーション（誤差逆伝播法）」という非常に高価な手法が必要です。これは、生徒が文章を書くたびに、教師が図書館全体を歩き回り、すべての本をチェックして、生徒の脳をどのように調整すべきかを正確に計算するようなものです。これは正確ですが、膨大なメモリとエネルギーを必要とするため、標準的なコンピュータでは実行不可能なことがよくあります。

これを解決するために、研究者たちは「ゼロ次（Zeroth-Order）」の手法（MeZOのようなもの）を開発しました。これは、バックプロパゲーションとは異なり、盲目の探検家のようなものです。探検家は、小さな推測（摂動）を行い、その結果が良くなったか悪くなったかを確認し、次に反対方向への小さな推測を行います。これら2つの結果を比較することで、全体像を一度も見ることなく、進むべき方向を見つけ出すことができます。これにより、メモリ使用量を大幅に節約できます。

問題点：「一律の」地図
既存の盲目の探検家たちは、固定されたランダムな戦略を使用しています。彼らは、標準的で退屈なルール（例えば、公平なサイコロを振るようなもの）に基づいて方向を推測します。この手法は非効率的です。図書館には、非常に精密さが必要な「部屋（パラメータのブロック）」もあれば、もっと大胆に動いてもよい部屋もあります。固定された戦略はこれを知りません。あらゆる部分を同じように扱ってしまうのです。

解決策：ZO Fine-tuner（スマートな探検家）
著者たちは、ZO Fine-tunerという「学習を学習する（learning-to-learn）」システムを作り上げました。固定されたルールを使う代わりに、小さな、超効率的な「コーチ（小さなニューラルネットワーク）」を訓練し、そのコーチが探検家により良い推測の仕方を教えるようにしたのです。

その仕組みを、いくつかの比喩を使って説明します。

コーチ（ZO Fine-tuner）： コーチが探検家を見守っている様子を想像してください。コーチは図書館全体を見る必要はありません。代わりに、コーチはいくつかの単純な統計量を見ます。「今、この部屋はどれくらい混乱しているか？」「前回の推測は役に立ったか、それとも邪魔になったか？」。これに基づき、コーチは探検家にこう指示します。「この特定の部屋では、大きく大胆な一歩を踏み出しなさい。あっちの別の部屋では、小さく慎重な一歩を踏み出しなさい」。
ブロック戦略： 図書館は巨大です（数十億のパラメータ）。もしコーチが、すべての本に対して個別に指示を出そうとすれば、あまりにも遅く、メモリも大量に消費してしまうでしょう。しかし、研究者たちは、図書館が「ブロック（本のセクションのようなもの）」ごとに構成されていることに気づきました。コーチは、ブロックごとに一つの指示を出すことを学習します。これは、コーチがプレイヤー一人ひとりに個別に叫ぶのではなく、チーム全体にどのように動くべきかを伝えるようなものです。これにより、メモリ使用量は極めて小さく保たれます。
「一度の訓練で、広く再利用できる」魔法： 通常、新しいタスクごとに新しいコーチを訓練する必要があります。しかし、著者たちは驚くべき発見をしました。図書館の「形」は、数学を教えているときも物語を書いているときも、大きくは変わりません。そこで、彼らは一つのデータセット（COPA）を用いてコーチを一度だけ訓練しました。そして、その同じコーチを、全く異なるタスク（感情分析や読解など）や、異なるバージョンのライブラリを教えるために送り出しました。
- 結果： 一つのタスクで訓練されたコーチが、他のすべてのタスクにおいても驚くほどうまく機能したのです。それは、特定のコースでドライバーを訓練した後、新しい練習なしで、全く別のハイウェイを完璧に運転できるようになったようなものです。

結果
論文では、4つの異なる大規模言語モデルと7つの異なるタスクを用いてテストを行いました。

パフォーマンス： 約**82%**のケースにおいて、この新しい「スマートな探検家」は、従来の「固定ルール」の探検家よりも優れた結果に、より早く到達しました。
効率性： 追加のメモリをほとんど必要としませんでした。「コーチ」自体が非常に小さいため（300億パラメータのモデルに対して2MB未満）、60GBの百科事典に数ページのメモを追加する程度の負荷しかありません。
安定性： この新しい手法は、「学習率（ステップの大きさ）」に対しても感度が低くなりました。たとえ大きなステップを踏むように指示しても、従来のメソッドほど簡単にクラッシュすることはありませんでした。

まとめ
この論文は、スーパーコンピュータを必要とせずに、巨大なAIモデルに新しいスキルを教える方法を紹介しています。彼らは、硬直したランダムな推測戦略を、モデルの異なる部分に対してより良い推測の方向を教えることができる、小さくてスマートなコーチに置き換えました。一度このコーチを訓練すれば、効率的に多くの他のタスクを教えるために再利用できるため、時間とコンピュータのメモリの両方を節約できます。

技術要約：LLMのファインチューニングのためのゼロ次最適化手法の学習

問題提起

標準的な一次（first-order）最適化アルゴリズム（例：Adam）を用いた大規模言語モデル（LLM）のファインチューニングは、最適化状態やバックプロパゲーションの活性化関数の保持により、推論時の最大12倍ものメモリ容量を必要とするため、メモリオーバーヘッドが極めて大きい。MeZOのようなゼロ次（zeroth-order）最適化手法は、フォワードパスのみに依存することでメモリ効率の高い代替案として登場したが、既存の手法は通常、手作業で設計された静的なサンプリング戦略（例：標準正規分布）を採用している。これらの静的な戦略は、異なるモデルやタスクの特定の構造的特性に適応できず、広範なハイパーパラメータ調整を必要とし、損失関数のランドスケープの局所的な幾何学的性質を十分に活用できないことが多い。

手法：ZO Fine-tuner

著者らは、「学習を学習する（Learning to Learn: L2L）」フレームワークを通じて、効率的な摂動戦略を自動的に学習するように設計された学習ベースのゼロ次最適化器であるZO Fine-tunerを提案している。核心となる革新は、静的かつ一様な摂動から、適応的なブロック単位の摂動へと移行した点にある。

1. ブロック単位の摂動アーキテクチャ

Transformerのヘシアン（Hessian）が近似的にブロック対角構造を示すという最近の分析に基づき、本手法は座標単位のパラメータ化（大規模なモデルではメモリ消費が膨大になる）を避け、ブロック単位の適応を採用している。

PertNN: LLMの各パラメータブロック $i$ に対して、軽量な補助ニューラルネットワーク（PertNN）が共有の摂動分散 $\sigma_t^{(i)}$ を予測する。
入力: PertNNは、現在のパラメータのコンパクトな要約統計量（ブロックの平均および分散）、前ステップの摂動分散、および前ステップの損失値を入力として受け取る。
出力: ネットワークは更新された分散 $\sigma_t^{(i)}$ を出力し、これを用いて対角分散行列 $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ を構成する。
正規化: 学習された分散を実効学習率から切り離すため、本手法は $\Sigma_t$ のフロベニウスノルムが一定（ $\|\Sigma_t\|_F = \sqrt{d}$ ）となるように正規化を行う。これにより、摂動の大きさを安定させたまま、最適化器が相対的なブロック単位の分散を学習できるようにしている。

2. L2Lによる学習

最適化器は、LLM自体のファインチューニングの軌跡が教師信号として機能するメタ目的関数を用いて学習される。

メタ目的関数: 目標は、単一のZOステップ後の事後更新損失 $L(\theta_1)$ を最小化することである。この損失のPertNNパラメータ $\omega$ に対する勾配は、再パラメータ化トリック（ $z \sim N(0, I)$ をサンプリングし、 $u = \Sigma z$ と設定する）を用いて計算されるため、摂動プロセスは微分可能である。
学習戦略: 最適化器は、単一のデータセット（例：COPA）上で一次最適化器を用いてモデル状態を生成することで学習される。低損失領域への過学習を防ぐため、著者らは一定の間隔でLLMのパラメータをファインチューニング前の状態に再初期化する周期的なリセットメカニاًズムを導入している。
汎用性: 特定のベースモデルに対して学習された後、ZO Fine-tunerは、追加の学習なしに多様なダウンストリームタスクや派生チェックポイントに対して再利用される。

主な貢献

LLMへのL2Lの拡張: 本論文は、学習された単一の最適化器が、ベースモデル上で学習された後、ダウンストリームタスクや派生チェックポイント間で効果的に汎化できることを示し、「一度学習すれば広く利用できる」ワークフローを実証した。
ブロック単位の分散学習: 著者らは、共有の分散を持つブロック単位のパラメータ化を提案している。この設計は、Transformerのヘシアンのブロック対角構造に理論的に裏付けられており、膨大なメモリコストをかけることなく、基礎モデルの規模でのL2Lを可能にする。
実験的性能: 4つのLLM（LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B）と7つのデータセットにおいて、ZO Fine-tunerは収束損失に関して強力なゼロ次ベースライン（MeZO, MeZO-AdamU, HIZOO, LOZO）の**82.1%のタスク・モデルの組み合わせでこれらを上回り、平均精度向上率は2.5%**に達した。

実験結果

収束と精度: ZO Fine-tunerは、ベースラインよりも一貫して早く低い損失に到達する。また、学習率の選択に対する優れた堅牢性を示し、ベースラインが収束しない、あるいは不安定になるような低い学習率（例： $10^{-8}$ ）においても、同等またはそれ以上の性能を達成することが多い。
転移性: COPAデータセットで学習された最適化器は、SST-2, CB, SQuAD, WSC, BoolQ, DROP、および数学的推論タスク（MetaMathQA）におけるモデルのファインチューニングに成功裏に転移した。
派生チェックポイント: ベースモデル（LLaMA-3.1-8B）からその指示チューニング済みバリアント（LLaMA-3.1-8B-Instruct）へと汎化し、損失と精度の両面でMeZOを上回った。
効率性:
- メモリ: 補助ネットワークによるメモリオーバーヘッドはモデルサイズと比較して無視できる程度である（例：OPT-30Bに対して2MB未満）。総メモリフットプリントはMeZOと同等であり、一次手法（例：OPT-30Bに対して312GB vs 62GB）よりも大幅に低い。
- 時間: PertNNのクエリによって導入される時間オーバーヘッドは最小限である（小規模モデルでは3.4%未満であり、モデルが大きくなるにつれて減少する）。これは、支配的なコストが依然としてゼロ次推定に必要なフォワードパスであるためである。

意義と主張

本論文は、ZO Fine-tunerが、静的なゼロ次戦略の硬直性を克服しつつ、LLMのファインチューニングにおけるメモリ効率の決定的なボトルネックに対処することを主張している。著者らは、「一度学習すれば広く利用できる」パラダイムを活用することで、モデル作成者が事前学習済みの学習済みファインチュナーをベースモデルと共に配布できると述べている。これにより、ダウンストリームのユーザーは、推論時とほぼ同等のメモリコストで、高性能なファインチューニングを効率的に実行できるようになる。本研究は、適応的な摂動分布を学習することが基礎モデルの規模において実現可能であることを確立し、スケーラブルでメモリ効率の高いLLM適応への実用的な道筋を提示している。