🤖 machine learning

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

本論文では、適応的なチューニングと線形最小化オラクルに基づく幾何学的認識更新を統合することで、コストのかかるハイパーパラメータ探索を行うことなく大規模言語モデルのメモリ効率の高い微調整を可能にする、新しいパラメータフリーのゼロ次最適化手法である $\texttt{AdaNAGED}$ を導入する。

原著者： Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で、驚くほど賢いロボット（大規模言語モデル）を想像してみてください。そのロボットは、インターネット上のあらゆる文章を読み込み、すでに話し方や書き方を習得しています。さて、あなたは今、そのロボットに「映画のレビューを理解する」といった特定の新しいスキルを教えたいと考えています。このプロセスは「ファインチューニング（微調整）」と呼ばれます。

通常、このロボットを教えるには、「バックプロパゲーション（誤差逆伝播法）」と呼ばれる手法が使われます。これは、先生がロボットのすぐ隣に立ち、ロボットのあらゆる動きを観察し、間違いを修正するための正確な計算を行い、次回の学習に役立てるための膨大なノート（活性化、勾配、オプティマイザの状態）にメモを取るようなものです。問題は、巨大なロボットにとって、そのノートがあまりにも巨大すぎて教室のメモリをすべて使い果たしてしまうことです。これにより、プロセスが非常に遅く、コストのかかるものになってしまいます。

この論文の画期的なアイデア：「暗闇の中で感覚を頼りに進む」

著者たちは、ロボットを教えるための異なる方法として、「ゼロ次最適化（Zero-Order Optimization）」を提案しています。これは、バックプロパゲーションのように数学的な計算を行うのではなく、暗い部屋の中で出口を探している状況を想像してください。あなたには地図（勾配）がありません。代わりに、一歩踏み出し、空気が涼しくなったか（損失関数が下がったか）を感じ取り、それから次のステップへ進みます。あなたは「なぜそうなったか」という正確な数学的理由を知る必要はなく、「良くなった」か「悪くなった」かさえ分かればよいのです。これにより、巨大なノートを書き留める必要がなくなるため、メモリを大幅に節約できます。

「感覚を頼りにすること」の落とし穴

しかし、ここには注意点があります。暗闇の中で手探りで進むとき、次の2つのことを決めなければなりません。

どれくらいの大きさのステップを踏むか？（大きすぎると崖から落ちるかもしれません。小さすぎると、目的地にたどり着けません。）
感覚をどれくらい「ぼやけさせる（ブラーリーにする）」か？（空気を確かめるために遠くまで踏み出しすぎると、小さな障害物を見逃すかもしれません。近すぎると、わずかな微風に惑わされてしまうかもしれません。）

以前は、新しいタスクごとにこれらの数値を完璧に推測する必要がありました。もし推測を間違えると、ロボットは何も学習できませんでした。これには多くの試行錯誤が必要であり、非常に時間がかかり、面倒な作業でした。

解決策：自己調整機能を持つコンパス

著者たちは、AdaNAGED（およびその行列版であるAdaMuGED）と呼ばれる新しい手法を紹介しています。これは、ロボットに**「自己調整機能を持つコンパス」**を与えるようなものです。

パラメーターフリー（引数不要）： ロボットは、人間からステップの大きさを教わる必要はありません。ロボットは自身の最近の履歴を見ます。もし直前のステップがうまくいったなら、正しい軌道に乗っていると判断します。もし結果が不安定であれば、速度を落とすべきだと判断します。人間が事前にチューニングすることなく、最適なステップサイズと「ぼやけ具合」をその場で自律的に決定します。
幾何学的構造を考慮（LMO）： 著者たちは、ロボットの脳が単なる数字の平坦なリストではなく、さまざまな形状（グリッドのような部分もあれば、リストのような部分もある）で構成されていることにも気づきました。標準的な手法は、すべてを平坦なリストとして扱います。著者たちの手法は、**線形最小化オラクル（LMO）**と呼ばれる特別なツールを使用します。重い箱を押そうとしている場面を想像してください。真っ直ぐ押すと、途中で止まってしまうかもしれません。しかし、もし箱が傾斜の上にあると分かっていれば、滑り落ちやすいように斜めに押すことができます。この手法は、ロボットの脳の特定の形状に基づいて、最も効率的な「角度」で押し進める方法を見つけ出し、学習をよりスムーズかつ迅速にします。

結果

チームは、大規模なモデル（OPT-1.3B）を用いて、映画のレビューを理解させるテスト（SST-2タスク）を行いました。

彼らは、自分たちの「自己調整コンパス」を持つロボットを、専門家がステップサイズを何度も推測して手動でチューニングしたロボットと比較しました。
結果： 自己調整を行うロボットは、専門家がチューニングしたロボットとほぼ同等の性能を発揮しました。人間による推測のゲームを必要とせず、なおかつタスクを効果的に学習することができました。

要約

この論文は、以下の特徴を持つ、巨大なAIモデルを教えるための新しい方法を提示しています。

メモリを節約できる： 膨大なノート（バックプロパゲーション）を書き留める必要がありません。
時間を節約できる： 学習速度や設定を自動的に決定するため、人間が推測に時間を浪費する必要がありません。
より優れた成果を出せる： AIの脳の特定の形状を理解し、最も効率的な方向へと押し進めます。

これは、巨大なロボットに対し、あらかじめ書かれた厳格なマニュアルに従わせるのではなく、自分自身のバランスを感じ取り、歩幅を自動的に調整させることで、歩き方を教えるようなものです。

技術要約：LMOに基づく手法のためのゼロ次パラメータフリー最適化

問題提起
大規模言語モデル（LLM）の微調整は現代の最適化における中心的な応用分野であるが、バックプロパゲーションによるメモリ・オーバーヘッドという重大なボトルネックに直面している。OPT-1.3Bのようなモデルにおいて、中間活性化、勾配、およびオプティマイザの状態を保存するには膨大なメモリ（例：約25 GB）が必要となり、スケーラビリティを制限している。ゼロ次（ZO）最適化は、勾配計算を関数値クエリから導出される有限差分推定に置き換えることで、メモリ効率の高い代替案を提供する。しかし、既存のZO手法には主に2つの制限がある：

ハイパーパラメータへの感度： パフォーマンスはステップサイズと平滑化パラメータ（ $\tau$ ）に強く依存する。最適な設定には通常、問題依存の定数（例：リプシッツ定数、最適解への距離）に関する知識が必要であるが、これらは実用上入手不可能であり、コストのかかるタスク固有のグリッドサーチを必要とする。
幾何学的ミスマッチ： 標準的なユークリッド更新では、パラメータブロック（例：LLMにおける行列形状の重み）の不均一な構造を捉えられない可能性がある。線形最小化オラクル（LMO）を利用する手法は、非ユークリッド幾何学（行列のスペクトルノルムなど）に適応できるが、これをZOの設定におけるパラメータフリー（PF）な適応と組み合わせることは未開拓の領域である。

手法
著者らは、ゼロ次最適化、パラメータフリー適応、およびLMOによる幾何学的認識更新の3つのパラダイムを統合する新しいアルゴリズム、AdaNAGED（ADAptive Norm-Agnostic Gradient-frEe Descent）を提案する。

パラメータフリー推定：
- 平滑性（ $L$ ）： 事前のリプシッツ定数を必要とする代わりに、本手法は最適化の軌跡に沿って局所的な平滑性を反復的に推定する。これは、連続するイテレート間の差と、ZO勾配近似の差の比率として計算される： $L_t = \|g_t(x_{t+1}, e_t)_* / \|x_{t+1} - x_t\|$ . 決定的なのは、メモリ効率を維持するために、両方の点で同じ摂動方向 $e_t$ （ランダムシードとして保存される）を使用することである。
- 初期ギャップ（ $\Delta$ ）： 本手法は、目的関数の既知の下限（ $f_{min}$ ）を使用して、最適解への距離を知る必要なく、初期ギャップ $\Delta \leq f(x_0) - f_{min}$ を推定する。
- 適応的ステップサイズ： ステップサイズ $\gamma_t$ は、局所的な平滑性推定のAdaGrad-Norm型の累積（ $S_t = S_{t-1} + L_t$ ）を用いて更新され、 $\gamma_t \propto 1/\sqrt{S_t}$ となる。
- 平滑化パラメータ（ $\tau$ ）： 安定性を確保するため、 $\tau_t$ は収束証明の理論的要件から導出されるように、ステップサイズと線形にスケールされる（ $\tau_t = \rho C_2 \gamma_t$ ）。
LMOベースの更新：
アルゴリズムは、ノルム球上の線形最小化オラクルを介して更新を定義する： $v_t = \text{lmo}(g_t)$ 。これにより、手法は異なる幾何学に適応できる：
- ベクトル幾何学： $\ell_\infty$ ノルムを使用することで、Sign-SGDに似た更新が得られる。
- 行列幾何学： スペクトルノルムを使用することで、Muonに似た更新が得られる。正確な極分解（SVD）は計算コストが高いため、著者らは行列の逆転を回避するために、ニュートン・シュルツ（N-SS）反復の数ステップを用いて極演算を近似するAdaMuGEDを導入している。

主な貢献

新規なパラメータフリーZO構成： 本論文は、問題の定数を事前に知ることなく、ゼロ次設定において局所的な平滑性を推定し、ステップサイズを設定する方法を導入している。これは、摂動方向のジェネレータシードのみを保存することで、ZOのメモリ効率を維持する。
パラダイムの統合： 提案されたAdaNAGEDアルゴリズムは、メモリ効率の高いZO、低減されたハイパーパラメータ依存性、および幾何学的認識LMO更新を組み合わせている。
収束保証： 著者らは、リプシッツ連続、平滑、および凸目的関数に対する収束率を確立した。得られるレートは漸近的に最適（ $O(1/\epsilon^2)$ ）であり、パラメータフリー推定と確率性を考慮した追加の因子が含まれる。
実用的なバリアント： AdaMuGEDの導入により、ニュートン・シュルツ反復を用いて行列値パラメータにフレームワークを拡張しており、パラメータが行列として構造化されているLLMの微調整への適用を可能にしている。

実験結果
提案手法は、メモリ制約のあるLLM適応のベンチマークである、SST-2感情分類タスクにおけるOPT-1.3Bモデルの微調整において評価された。

ベースライン： 著者らは、チューニング済みのゼロ次最適化器（ZO-AdaMM、ZO-SignSGD、ZO-Muon）と比較した。
パフォーマンス：
- AdaNAGED（SignSGD風）は0.903の精度を達成し、チューニングされたZO-SignSGD（0.910）の0.7パーセントポイント以内に迫った。
- AdaMuGED（Muon風）は0.908の精度を達成し、チューニングされたZO-SignSGDとの差を0.2パーセントポイントに縮め、AdaNAGEDを0.5パーセントポイント上回った。
- チューニングされたZO-Muonが依然として最強のベースラインである0.921であり、行列認識幾何学の利点を裏付けた。
結論： パラメータフリー手法は、チューニングされたベースラインに対して競争力のあるパフォーマンスを示し、適応的なルールが、高価なハイパーパラメータ探索なしに、チューニングされたZO手法の性能の多くを回収できることを検証した。

意義
本論文は、ゼロ次、パラメータフリー、および線形最小化オラクル最適化の交差点で動作する最初のメソッドを提示していると主張している。その意義は、以下の点を示したことにある：

メモリ効率： バックプロパゲーションを回避することで、ZO最適化をLLMに対して実用的にできること。
自動化： 適応的でパラメータフリーな平滑性とステップサイズの推定を通じて、コストのかかるタスク固有のハイパーパラメータチューニングへの依存を排除できること。
幾何学的柔軟性： フレームワークは、モデルパラメータの構造的特性（例：行列）に適合する非ユークリッド更新（LMO経由）をサポートし、コンディショニングと安定性を向上させること。

著者らは、提案されたパラメータフリーのアプローチは競争力があるものの、チューニングされたベースライン（特にZO-Muon）が依然としてわずかに優位であることを指摘し、手動チューニングが最適ではあるものの、提案手法が堅牢で自動化された代替手段を提供することを示唆するという、控えめな立場をとっている。

技術要約：LMOに基づく手法のためのゼロ次パラメータフリー最適化

関連論文