🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

本論文は、高次元における座標ごとの勾配の不均一性の欠如により、メモリ制約付きのLLM微調整において標準的な適応ゼロ次最適化手法であるZO-AdamがZO-SGDに対して収束上の利点を提供しないことを示し、これに基づき、大域ステップサイズ適応のために単一のスカラーのみを追跡しつつ性能を維持しロバスト性を向上させるメモリ効率型の代替手法MEAZOを提案する。

原著者： Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「ゼロ次最適化における適応性」に関する論文を、平易な言葉と日常的な比喩を用いて解説します。

全体像：マニュアルなしで巨大なラジオを調整する

あなたが、数百万個のノブ（これらは大規模言語モデル、つまり LLM の「パラメータ」です）を持つ、巨大で複雑なラジオを持っていると想像してください。あなたは、そのラジオを特定の曲を完璧に再生するように調整したい（モデルの微調整）と考えています。

通常、ラジオを調整するには、どのノブをどの方向に、どれくらい回せばよいかを正確に指示するマニュアルが必要です。AI において、このマニュアルは勾配と呼ばれます。このマニュアルを計算するには、大量のメモリと計算能力が必要であり、高価で時間がかかります。

ゼロ次（ZO）最適化は、巧妙なトリックです。マニュアルを読む代わりに、ノブをランダムに少し動かし、その結果を聞いて、音楽が良くなったか悪くなったかを判断します。これは、ノブを前後に動かして方向を推測することによって行われます。メモリへの負荷ははるかに低いですが、推測に基づいているため「ノイズ」が多いという特徴があります。

問題点：「過剰設計」されたコンパス

長らく、研究者たちはこの推測ゲームがノイズに満ちているため、それを補うために超スマートでメモリを大量に消費するコンパスが必要だと考えていました。これが適応型オプティマイザ（ZO-Adam など）の役割です。彼らは、各ノブをどの速度で回すかを決めるために、数百万個のノブそれぞれについて、すべての履歴を記憶しようとします。つまり、数百万個のノブそれぞれに対して、個別の「メモリログ」を保持し続けるのです。

論文の大きな発見：
著者たちは、高次元の環境（巨大な AI モデルなど）において、この超スマートなコンパスは実際には無用であることを発見しました。

比喩： あなたが霧深い野原で、谷の底を見つけようとしている状況を想像してください。
- 一次（標準的な AI）： 地面が左には急激に傾き、右には平坦であることを示す明確な地図を持っています。方向ごとに異なる戦略が必要です。
- ゼロ次（推測ゲーム）： 巨大で霧深い空間でランダムにノブを動かして推測しているため、推測の「ノイズ」があまりにも大きく、地形の具体的な詳細を埋め尽くしてしまいます。信号はすべての方向で同じように見えます。霧が濃すぎて、地面はどこも完璧に平坦で均一に見えるような状態です。
結果： 「地形」がすべての方向で同じに見えるため、ノブそれぞれに対して個別のメモリログを保持することは、時間とメモリの無駄です。高度な「適応型」手法（ZO-Adam）は、単純な手法（ZO-SGD）よりも谷の底に早く到達するのを助けるわけではありません。むしろ、それらはあなたのバックパックを重くするだけです。

解決策：MEAZO（ミニマリストなコンパス）

高度なコンパスは不要であるため、著者たちはMEAZOという新しいツールを構築しました。

仕組み： 数百万個のノブそれぞれに対して個別のログを追跡する代わりに、MEAZO はグループ全体に対してたった一つの数値を追跡します。「すべてを動かしたとき、音楽は平均してどれくらい変化しましたか？」と問うのです。
利点： 適応型手法の「賢い」部分（地形の荒れ具合に応じてノブを動かす速度を調整すること）を維持しつつ、重たい荷物を捨て去ります。
比喩： 登山をしていると想像してください。
- ZO-Adam： 一歩一歩について GPS、気圧計、コンパス、詳細な地図を持っています。重く、疲れ果てます。
- ZO-SGD： ただ前に歩くだけです。軽いですが、道が岩だらけだと転びやすいかもしれません。
- MEAZO： 道の平均的な傾斜を教えてくれるシンプルな歩数計を持っています。道が岩だらけなら速度を落とし、滑らかなら速度を上げます。すべての岩のための地図は不要で、道の全体的な雰囲気がわかれば十分なのです。

実験が示した結果

チームは、実際の大規模言語モデル（Llama や Qwen など）と合成数学問題でこれをテストしました。

性能： 設定を適切に調整した場合、単純な手法（ZO-SGD）は、高度な手法（ZO-Adam）と同等の性能を発揮しました。
メモリ： MEAZO は、単純な手法と同じごく少量のメモリを使用しましたが、高度な手法ははるかに多くのメモリを使用しました。
ロバスト性（「安全網」）： これが最も重要な発見です。単純な手法は、完璧な歩行速度を選べば非常にうまく機能しますが、速度が速すぎたり遅すぎたりすると破綻してしまいます。一方、高度な手法（および MEAZO）ははるかに寛容です。「悪い」速度を選んでも、MEAZO は衝突することなく目的地まで連れて行ってくれます。これは、丘に合わせて自動的に調整するクルーズコントロール付きの車と、固定速度で走り続けるが段差に衝突する可能性のある単純な車の違いのようなものです。

まとめ

神話： 「ゼロ次 AI 学習をうまく機能させるためには、複雑でメモリを大量に消費する適応型ツールが必要である。」
現実： 高次元の AI モデルでは、ノイズにより地形が均一に見えるため、複雑なツールはメモリの無駄です。
解決策： MEAZOは、数百万個の代わりにたった一つのグローバルな数値を追跡する新しいツールです。これは単純な手法のように非常に少ないメモリを使用しますが、複雑な手法のように設定に対してはるかに安定しており、寛容です。

これにより、研究者はスーパーコンピュータを必要とせず、メモリが限られたデバイス（エッジデバイスなど）で巨大な AI モデルの微調整を行いながら、安定した高品質な結果を得ることが可能になります。

技術的サマリー：ゼロ次最適化における適応性について

問題定義

本論文は、大規模言語モデル（LLM）のメモリ制約付きファインチューニングという課題に取り組む。バックプロパゲーションはファインチューニングの標準であるが、アクティベーションのキャッシュと高精度の浮動小数点演算のために大量のメモリを必要とする。ゼロ次（ZO）最適化は、ランダムに摂動を加えたパラメータに対するフォワードパスを通じて勾配を近似する、メモリ効率の高い代替手段として登場した。しかし、ZO 手法は高い分散に悩まされ、一次（FO）手法と比較して収束が遅くなる。

最近の研究では、ZO-Adam のような適応型 ZO オプティマイザを導入することでこの分散を軽減しようとする試みが行われてきた。これらは、各座標における勾配の一次モーメントと二次モーメントを追跡することで、FO 適応型手法を模倣する。しかし、著者らはこのアプローチの有効性に疑問を呈し、適応型手法が成功するために必要な座標ごとの不均一性が、高次元の ZO 設定では欠如している可能性を仮説として提示している。

手法と分析

ZO 勾配の理論的分析

著者らは、高次元における ZO 勾配推定量の統計的性質を分析する。ランダム摂動の等方的な性質により、ZO 勾配推定量は FO 勾配に見られるような座標ごとの不均一性を欠いていることを示す。

命題 3.1: 著者らは、期待される ZO 勾配の二乗が、個々の座標値ではなく、真の勾配の二乗ノルムに依存するグローバル項によって支配されることを証明する。具体的には、推定量が導入するバイアスは $1/q$ （ここで $q$ はノイズサンプル数）に比例してスケーリングし、高次元（ $q \ll d$ ）では座標に依存しないものとなる。
示唆: 各座標ごとの統計量（Adam の二次モーメントなど）を追跡する適応メカニズムは、ZO 勾配の基礎的な統計と整合性が取れておらず、収束上の利点を提供することなくメモリ効率を損なう。

提案手法：MEAZO

グローバルなステップサイズ適応で十分であるという洞察に基づき、著者らはMEAZO（Memory-Efficient Adaptive Zeroth-order optimizer：メモリ効率型適応ゼロ次オプティマイザ）を提案する。

設計: 各パラメータに対して二次モーメントのベクトルを維持する ZO-Adam と異なり、MEAZO は射影勾配のグローバルな二乗ノルムを表す単一のスカラーのみを追跡する。
更新則: 更新は、このスカラーによってグローバルなステップサイズをスケーリングする。これにより、パラメータごとのメモリオーバーヘッドなしに、グローバルな曲率に基づいて学習率を適応させることができる。
グループ化拡張: MEAZO は自然にグループ化（ブロック座標）ZO 設定に拡張可能であり、パラメータごとではなくブロックごとにスカラーを維持することで、ブロックレベルの不均一性を捉えつつメモリをさらに削減する。

理論的保証

本論文は、標準的な仮定（L-滑らかさ、有界分散、有界勾配）の下での MEAZO の形式的な収束保証を提供する。

分析では、ZO 勾配を滑らか化された目的関数の不偏推定量として扱う。
定理 4.7: アフィン分散境界が存在する場合の適応 SGD の標準的な収束率と一致する MEAZO の収束率を確立する。収束率は $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ であり、この手法がサンプル数 $q$ と摂動の大きさ $\epsilon$ に依存するノイズ近傍サイズを持つ定常点に収束することを示している。

実験結果

合成実験

二次モーメントの挙動: 合成の二次問題において、次元が増加するにつれて ZO-Adam の二次モーメントベクトルが単一の値（グローバルノルム）に収束するのに対し、FO-Adam は明確な座標ごとの値を維持することが観察された。これは、高次元 ZO 設定において座標ごとの適応が冗長であるという理論的主張を実証的に裏付けるものである。
ロバスト性: MEAZO は、特に不均質なブロック構造設定において、ZO-SGD に比べてステップサイズ選択に対するロバスト性が向上しており、ZO-Adam の安定性と同等の性能を示す。

LLM ファインチューニング

Llama-3.2、Qwen-3、Ministral といった複数のモデルファミリーと、XSum、SST-2、SQuAD といったタスクにおいて、LoRA とプロンプトチューニングの両方を用いて実験が行われた。

性能対メモリ:
- ZO-SGD 対 ZO-Adam: 適切なステップサイズ調整を行えば、高次元 LoRA ファインチューニングにおいて ZO-SGD は ZO-Adam と同等かそれ以上の性能を発揮し、座標ごとの適応性が限定的な利点しか提供しないことを確認する。
- MEAZO の性能: MEAZO は ZO-Adam と同等の性能を達成しつつ、メモリフットプリントは ZO-SGD と同等（フルベクトルではなく単一スカラーを追跡）である。
ロバスト性: 適切に調整された ZO-SGD は良好な性能を示すが、最適でないステップサイズに対しては脆い。MEAZO はメモリコストを伴うことなく、適応型手法のロバスト性（安定した学習率の窓の拡大）を保持する。
グループ化設定: グループ化 ZO 設定において、MEAZO はグループ固有の統計（例えば、より高い感度を示す初期層など）に適応し、グループ化 ZO-SGD が発散する可能性のある状況でも安定した収束を維持する。

主要な貢献

理論的洞察: 高次元における ZO 勾配は本質的に均質であり、ZO-Adam のような座標ごとの適応メカニズムはメモリ非効率であり、収束にとって理論的に不要であることを確立する。
アルゴリズム的革新: negligible なメモリオーバーヘッドでグローバルなステップサイズ適応を達成する、スカラーベースの適応型 ZO オプティマイザMEAZOの導入。
実証的検証: 多様な LLM とタスクにわたる包括的な実験により、MEAZO が適応型ベースライン（ZO-Adam）の性能と同等でありながら、非適応型ベースライン（ZO-SGD）のメモリ効率を維持することを示す。
収束分析: 非凸設定における MEAZO の形式的な収束保証により、適応 SGD の理論とゼロ次最適化の間のギャップを埋める。

意義と主張

著者らは、ゼロ次最適化における複雑な適応メカニズムの必要性を再評価する作業を行ったと主張する。彼らは、高次元 LLM ファインチューニングにおいて、適応性の主な利点は座標ごとのスケーリングではなく、グローバルなステップサイズのロバスト性にあると論じる。

MEAZO の意義は、メモリ制約環境（例えばエッジデバイス）を中心に据えられている。適応型手法のロバスト性を SGD のメモリ効率で達成することで、MEAZO はリソースが限られたより多くの研究者や実務者が大規模モデルのファインチューニングに参加することを可能にする。本論文は、ZO-SGD は完全に調整されれば十分であるが、MEAZO はメモリペナルティを科すことなくステップサイズ選択の脆さを軽減する、実用的で安定し、スケーラブルな代替案を提供すると控えめに結論づけている。今後の研究として、厳密な定常点への収束の精緻化と、MEAZO の部分空間 ZO フレームワークへの拡張が提案されている。