🤖 machine learning

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

本論文は、大規模言語モデルの微調整におけるゼロ次最適化の成功のパラドックスを、その学習ダイナミクスがモデル出力サイズに依存する近似誤差を持つ経験的ニュータルタケットカーネルによって支配されるという事実を明らかにすることで解明し、それによりそのスケーラビリティを説明する。

原著者： Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「ゼロ次最適化の学習ダイナミクス：カーネルの視点」と題された論文の説明を、比喩を用いたシンプルで日常的な言葉で翻訳します。

大きな謎：「盲目」と「視力のある」もの

あなたが広大で霧のかかった谷の最低点を見つけようとしていると想像してください（これが AI モデルのトレーニングの目標です）。

一次（FO）手法：これらはコンパスと地図を持ったハイカーのようです。彼らは「下」の方向（勾配）を正確に見て、まっすぐそこへ歩くことができます。これは速く効率的ですが、重い地図（勾配の計算）を持ち歩く必要があり、谷があまりにも広大すぎる場合や、地図が見られない「ブラックボックス」にいる場合には不可能です。
ゼロ次（ZO）手法：これらは盲目のハイカーのようです。彼らにはコンパスがありません。代わりに、少し前に進んで低くなったか確認し、一歩後ろに下がって再度確認します。この 2 点を比較することで、どちらが下か推測します。これは重い地図を必要としないため「メモリ効率が良い」ですが、従来の数学によれば、特に谷が巨大（高次元）である場合、これは信じられないほど遅いはずです。

パラドックス：
長年、数学の教科書は、谷が巨大（数十億のパラメータを持つ現代の大規模言語モデルのような）であれば、「盲目のハイカー」（ZO）は底を見つけるのに永遠にかかると教えてきました。しかし、現実世界では、研究者たちはこの「盲目」な手法を使って、これらの巨大なモデルの微調整に成功しています。これはどうして可能なのでしょうか？

論文の解決策：「影」の比喩

著者たちはこの謎を、「踏んだステップの数」ではなく、「学習ダイナミクス（モデルの自信がどのように変化するのか）」という視点から見ることで解決します。

彼らは**ニューラルタンジェントカーネル（eNTK）と呼ばれるツールを使用します。eNTK を、モデルの学習プロセスが投げる「影」**だと考えてください。

「視力のある」ハイカー（FO）は、地形の完璧で詳細な影を投じます。
「盲目」のハイカー（ZO）は、完璧なものの投影された、わずかにぼやけたバージョンの影を投じます。

この論文は、「盲目」な手法が機能するのは、有用な影を投げるために巨大な谷全体を見る必要がないからだと主張しています。必要なのは、世界のランダムな低次元のスライスに影を投影することだけです。

魔法のトリック：「ジョンソン＝リンデンストラウス」補題

この論文は、ジョンソン＝リンデンストラウス（JL）補題と呼ばれる数学的概念に依存しています。ここには比喩があります：

あなたが数十億のパラメータを持つモデルという、巨大で複雑な 3 次元の彫刻を持っていると想像してください。あなたはそれを写真に撮りたいのですが、カメラは 2 次元の写真しか撮れません。

古い理論：良い写真を得るためには、彫刻と同じ大きさのセンサーを持つカメラが必要だと考えられていました。彫刻が巨大であれば、写真はぼやけて無意味になるはずです。
論文の洞察：JL 補題は、ランダムな角度から写真を撮れば、写真が彫刻よりもずっと小さくても、彫刻の本質的な関係性を完璧に捉えられると述べています。

重要な発見：
この「盲目」な写真（ZO 学習）の質は、彫刻の大きさではなく、**どのくらいの数のランダムな角度（摂動）**を撮るかに依存します。

「摂動」（P）：これは、盲目のハイカーが方向を推測するために地面を突く回数です。
「出力サイズ」（V）：これはモデルが最終的に与える答えのサイズです（例えば、言語モデルの語彙サイズ）。

この論文は、地面を十分に多くの回数突けば（Pを増やせば）、「盲目」のハイカーの経路は「視力のある」ハイカーの経路とほぼ同じに見えることを証明しています。重要なのは、必要な突く回数が**モデルの大きさ（d）**ではなく、**答えのサイズ（V）**に依存する点です。

3 つの主要な要点

サイズではなく「突く回数」を数える：
「盲目」な手法の成功は、AI モデルの巨大なサイズ（数十億のパラメータなど）に関するものではありません。それはあなたが行うランダムな推測（摂動）の数に関するものです。十分な数の推測を行えば、モデルは地図を持っていた場合と同じように学習します。
推測の形状は重要ではない：
「盲目のハイカー」が地面を滑らかな連続した円（ガウス分布）で突くのか、鋭い二値のジャンプ（ラデマッハ分布）で突くのかは重要でしょうか？論文は、あまり重要ではないことを示しています。どちらもほぼ同様に機能します。「盲目」な手法は頑健であり、十分な量があれば、ノイズの特定の形状を気にしません。
なぜ巨大なモデルで機能するのか：
これが ZO が大規模言語モデル（LLM）で機能する理由を説明します。モデルが数十億のパラメータ（巨大なd）を持っていたとしても、出力語彙は比較的小さい（中程度のV）です。「盲目」な手法の精度がdではなくVに依存するため、これは最大のモデルであっても効率的かつ効果的に機能します。

結論

この論文は物語を変えます。それは、学習プロセスを正しく見れば、「次元の呪い」（巨大なモデルは盲目な手法には難しすぎるという考え方）は神話であると述べています。

学習プロセスを幾何学的な射影として見ることで、著者たちは、十分な数のランダムなサンプルを与えれば、「盲目」なオプティマイザーは「視力のある」オプティマイザーと同じくらい効果的に学習できることを示しています。重要なのは山の大きさではなく、それを異なる角度から何回見るかです。

技術的サマリー：ゼロ次最適化の学習ダイナミクス：カーネルの視点

問題定義

古典的な最適化理論は、ゼロ次（ZO）アルゴリズムが「次元の呪い」に苦しむと仮定しており、そこでは収束率がモデル次元 $d$ に比例してスケーリングする。この理論的限界は、数十億のパラメータを持つ大規模言語モデル（LLM）のような高次元モデルに対しては、ZO 手法が実用的には許容できないほど遅いことを示唆している。しかし、最近の実証的なブレークスルーはこの悲観的な見方を覆し、ZO 手法が First-Order（FO）手法と競争力のある性能で LLM の微調整に成功し得ることを実証している。本論文が扱う中心的な問題は、このパラドックスを解決することである：なぜ ZO 手法は、理論的 bound がそう示唆しているにもかかわらず、巨大なパラメータ空間に対して効果的にスケーリングするのか？

手法

著者は、パラメータ空間の収束やスカラー損失値のみに焦点を当てるのではなく、学習ダイナミクスと**経験的ニューラルタンジェントカーネル（eNTK）**というレンズを通じて ZO 最適化を分析する新たな枠組みを提案する。

ZO 学習ダイナミクスの導出: 本論文は、ZO 確率的勾配降下法（SGD）の一ステップ学習ダイナミクスを導出する。モデル予測の対数確率にテイラー展開を適用することで、更新則が投影された eNTK によって支配されることを著者は示す。
カーネル投影定式化: 核心的な理論的洞察は、ZO 最適化によって誘導される実効的なカーネル（ZO-eNTK と呼ばれる）が、摂動ベクトルによって張られるランダムな低次元部分空間 onto の標準的な FO eNTK の幾何学的投影であるという点である。
ジョンソン・リンデナス（JL）補題の適用: 著者は、この投影の忠実度を分析するためにジョンソン・リンデナス補題を援用する。ZO-eNTK と真の FO-eNTK の間の近似誤差は、高次元空間における内積の保存に依存することを確立する。
理論的 bound: この分析は、近似誤差 $\epsilon$ が $O(\sqrt{\ln V / P})$ としてスケーリングすることを示す厳密な bound を導出する。ここで、 $V$ は出力語彙サイズ、 $P$ は摂動の数である。決定的なことに、この bound は巨大なモデルパラメータ次元 $d$ に依存しない。
実証的検証: この枠組みは以下の実験を通じて検証される：
- LeNet (MNIST): $P$ が増加するにつれて ZO-eNTK が FO-eNTK に収束することを、ヒートマップとフロベニウスノルム誤差を用いて可視化する。
- OPT モデル (SST-2): 1.25 億から 13 億パラメータまでのモデルをテストし、次元非依存性を検証する。
- 分布比較: ガウス分布とラデマッハ分布の摂動分布を比較する。

主要な貢献

1. ZO パラドックスの理論的解決

本論文は、ZO 手法の LLM へのスケーラビリティに対する理論的根拠を提供する。パラメータ空間から関数空間（eNTK を通じて）への分析の転換により、著者は ZO 更新の忠実度がモデル次元 $d$ ではなく、出力語彙サイズ $V$ と 摂動の数 $P$ によって支配されることを実証する。この「次元フリー」の性質は、 $d$ が数十億に及んでも ZO 手法が効率的であり続ける理由を説明する。

2. 摂動数（ $P$ ）の役割

この分析は、ZO-eNTK の忠実度を支配する主要因として摂動数を特定する。理論的 bound と実証的結果は、 $P$ を増加させることでカーネル近似誤差が $O(1/\sqrt{P})$ の率で減少することを示している。 $P$ が $V$ によって決定される閾値を超えると、ZO 学習軌道は FO 軌道と密に一致するようになる。

3. 分布の頑健性

本論文は、摂動分布（ガウス対ラデマッハ）の影響を調査する。古典的な最適化の視点では分散減少における違いが示唆されることがあるが、カーネルベースの分析は、JL 補題の文脈において両方の分布が比較可能な集中度定数を生み出すことを明らかにする。実証結果は、 $P$ が十分であれば、分布の選択が長期的な収束に与える影響は無視できることを確認する。

4. 入力類似性への感受性

本研究は、ZO-eNTK 近似の収束率が入力ペア間の意味的類似性に敏感であることを浮き彫りにする。高い類似性を持つペア（例えば、意味的に類似した数字やテキスト）は、構造的に異なるペアよりも FO の真値へ速やかに収束するが、 $P$ が増加するにつれて両者はいずれも収束する。

結果

eNTK の収束: LeNet における実験は、 $P$ が 1 から 125 に増加するにつれて、ZO-eNTK が視覚的かつ数値的に FO-eNTK のブロック対角構造を回復することを示す。相対フロベニウスノルム誤差は単調に減少する。
次元非依存性: 1.25 億、3.5 億、13 億パラメータの OPT モデルを用いた実験において、FO ダイナミクスを回復するために必要な $P$ の閾値は、モデル次元 $d$ が 1 桁増加しても実質的に一定であった。これは、学習ダイナミクスが $d$ から切り離されていることを確認する。
出力サイズのスケーリング: $P$ を固定したまま出力サイズ $V$ を 2 から 1000 まで変化させた制御された合成実験は、近似誤差が $\sqrt{V}$ に一致する率で増加することを示し、理論的 bound を検証した。
分布の同等性: ガウス分布とラデマッハ分布の収束曲線は、すべての指標（フロベニウスノルム、CKA、スペクトル距離）においてほぼ区別がつかず、単純な二値摂動が効果的なカーネル近似に十分であるという主張を支持する。

意義と主張

本論文は、既存の最適化中心の視点にカーネルベースの枠組みを補完することで、導関数フリーの学習ダイナミクスを理解するための新たな視点を提供すると主張する。

理論的正当性: 主な意義は、LLM における ZO 微調整の実証的成功に対する厳密な理論的説明を提供し、 $d$ に依存する最悪ケースの理論的 bound と実用的な性能の間の不一致を解決することにある。
実践的ガイダンス: この知見は、実務家が巨大なパラメータ数 $d$ を心配するのではなく、出力語彙サイズ $V$ に対する摂動数 $P$ の調整に焦点を当てるべきであることを示唆する。
限界と範囲: 著者は控えめに、彼らの分析が「怠惰なトレーニング（lazy training）」 regime（特徴が安定している状態）に依存しており、これは微調整には典型的であるが、ゼロからトレーニングするシナリオには当てはまらないかもしれないと指摘する。また、この枠組みは現在、標準的な教師あり微調整に対処しており、有効な出力次元がシーケンス長とともに増加する強い逐次依存性を持つタスク（例：長期的推論）に対しては拡張が必要であると認めている。

要約すれば、本論文は、高次元設定における ZO 最適化の成功は偶然ではなく、ランダム投影による次元フリー近似を可能にするニューラルタンジェントカーネルの幾何学的性質の結果であると論じている。