🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

本論文は、冪乗法とモーメントに基づく部分空間射影を用いた部分直交化戦略によって完全直交化を置き換えることで収束を加速し、最先端の ZO-Muon に対して 1.5 倍から 4 倍の収束速度を達成しつつ競合する精度を維持する、大規模言語モデルの微調整向けゼロ次最適化手法 ZO-MOPI を提案する。

原著者： Jiahe Chen, Ziye Ma

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiahe Chen, Ziye Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Power Iteration による部分直交化を用いたゼロ次スペクトル最適化の高速化」を平易な言葉と創造的な比喩を用いて解説したものです。

全体像：マニュアルなしで巨大なラジオを調整する

想像してください。数十億個のノブがついた、巨大で複雑なラジオ（大規模言語モデル、LLM）があるとします。あなたはこれを特定の曲を完璧に演奏するように調整したい（新しいタスクに合わせて微調整したい）と考えています。

通常、エンジニアは「一次（First-Order）」手法を使います。ノブを見て、振動を感じ、音質を良くするためにどの方向に回せばよいかを正確に把握するのです。これは速いですが、すべての指示を保持するための巨大で高価な制御室（大量のコンピュータメモリ）が必要です。もしスマートフォンや車載コンピュータのような小さなデバイスでこのラジオを調整しようとするなら、そのようなメモリは持ち合わせていません。

ゼロ次（ZO）最適化は「盲目」の手法です。振動を感じる代わりに、適当な方向を推測し、ノブを回して、音楽が良くなったか悪くなったかを聴くだけです。大きな制御室は不要なので、小さなデバイスでも動作します。しかし、推測に頼っているため、非常に遅く、ノイズが多いのです。これは、ダイヤルをランダムに回して、正しい周波数に当たることを願うようなものです。

問題点：「ノイズの多い」信号

研究者たちは、この「盲目」手法がメモリを節約する一方で、収集する情報が非常に乱れていることに気づきました。

真の信号： 完璧な世界では、ノブを回す「最良の」方向は明確で強力です（大きくてクリアな声のように）。
ZO の現実： この手法はランダムな推測に依存するため、信号は雑音やノイズで埋め尽くされています。ハリケーンの中でささやきを聞こうとするようなものです。

Muon という新しいツールが、これを助けようとして登場しました。Muon は賢いアシスタントのようで、すべてのノブを見て、「よし、これらの方向を整理して、弱いものにエネルギーを無駄にしないようにしよう」と言います。すべての方向を均等に強くしようと試みます。

しかし、落とし穴があります： Muon は「完璧な世界（一次）」向けに設計されていました。研究者たちが Muon を「ノイズの多い」ゼロ次データに適用しようとすると、事態は悪化しました。データが雑音で満ちているため、Muon はノイズを含めて「すべて」を強化しようとしたのです。これは、ただの雑音だけを流しているラジオの音量を上げることと同じで、音楽よりもノイズの方が大きくなってしまいました。

解決策：「部分直交化」（選択的なフィルター）

著者である陳佳禾（Jiahe Chen）と馬子業（Ziye Ma）は、ZO-MOPI という新しいアプローチを考案しました。その秘密兵器は部分直交化です。

（ノイズの多い無用のものも含む）すべての方向を整理する代わりに、実際に強くて明確な上位のいくつかの方向にのみ焦点を当てることにしました。残りのノイズは無視します。

次のように考えてみてください。

古い方法（Muon）： 砂、泥、金粉が混ざった水の入ったバケツがあるとします。あなたはすべてを完璧に分離しようとします。結果、泥を仕分けるのに多くの時間を浪費してしまいます。
新しい方法（ZO-MOPI）： 金粉は重く、底に沈むことに気づきます。底の層（強い信号）だけをすくい上げ、浮いている泥（ノイズ）は無視します。これにより、はるかに速く金を手に入れることができます。

実装方法：「ストリーミング・パワー」のトリック

この選択的なフィルタリングを機能させるために、彼らはストリーミング・パワー反復法（Streaming Power Iteration: SPI） という手法を用いました。

嵐のフィールドで最も強い風を見つけようとしていると想像してください。

古い方法： 立ち止まって、すべての突風を測定し、その後、平均的な方向を計算しようとします。時間がかかりすぎますし、風はあまりに混沌としています。
新しい方法（SPI）： 旗を掲げます。旗を最も強く押す突風だけに注意を向けます。ほとんど動かさない微風は無視します。強い押し出しだけに焦点を当てることで、風が実際にどの方向に吹いているかを素早く把握できます。

彼らはさらに「モーメンタム」機能も追加しました。これは、数秒前に風がどの方向に吹いていたかを覚えているようなものです。ある突風が偶然（ノイズ）だとしても、過去の突風の記憶があなたを安定させ、混沌に惑わされないようにしてくれます。

結果：高速な調整、同じメモリ使用量

研究者たちは、標準的な言語テスト（SuperGLUE）を用いて、OPT-13B や LLaMA3-8B などの巨大な AI モデルでこれをテストしました。

速度： 新しい手法は、現在の最良の「盲目」調整手法よりも1.5 倍から 4 倍速く動作しました。同じ精度レベルに達するまでの時間が大幅に短縮されました。
精度： 最終的な品質は、他の手法と同じか、わずかに優れていました。
メモリ： メモリ使用量は低く抑えられたままなので、小さなデバイスでも引き続き実行可能です。

まとめ

この論文は、メモリが限られたデバイスで AI モデルを調整するための、より賢い方法を紹介します。すべてのノイズの多い推測を修正しようとするのではなく、新しい手法（ZO-MOPI）はフィルターのように機能し、最も強く信頼性の高い信号にのみ焦点を当て、雑音を無視します。これにより、スーパーコンピュータを必要とせずに、AI がはるかに速く学習できるようになります。

技術的概要：パワー反復による部分直交化を用いたゼロ次スペクトル最適化の高速化

問題定義
ゼロ次（ZO）最適化は、一次（FO）手法に必要なメモリ集約的な逆伝播を回避するため、メモリ制約のあるエッジデバイスにおける大規模言語モデル（LLM）の微調整において重要な技術として登場しました。しかし、ZO 手法はモンテカルロ摂動に起因する勾配推定値の高い分散に悩まされており、FO 手法と比較して収束が著しく遅くなります。

ZO 最適化の高速化に向けた最近の試みは、低次元部分空間探索（例：LOZO、SubZero）や、直交化を通じて行列幾何を利用する Muon などのスペクトル最適化に焦点を当てています。Muon は FO 設定において勾配を直交化して弱いスペクトル方向を利用することで AdamW を凌駕しますが、著者らは Muon を直接 ZO 設定に適用しても限定的な効果しか得られないことを観察しました。特定された核心的な問題は、ZO 勾配推定値が本質的にノイズが多く信頼性が低いという点です。FO 勾配が支配的な特異方向に集中するのに対し、ZO 推定値は「より重く、平坦なスペクトルテール」を示します（図 1）。その結果、Muon の標準的なニュートン・シュルツ（NS）直交化は、活性スペクトル全体にエネルギーを均等化させるため、これらのノイズの多い不正確な方向を誤って増幅し、推定誤差を有害な更新成分に変換してしまいます。

手法：ZO-MOPI
著者らは、支配的なスペクトル方向を選択的に抽出しつつノイズを抑制することで ZO 最適化を高速化する手法として、ZO-MOPI（部分直交化を伴うゼロ次モーメント）を提案します。このアプローチは以下の 3 つの主要な構成要素を統合しています：

ストリーミング・パワー反復（SPI）による部分直交化：
全スペクトル直交化（NS 反復など）を行う代わりに、ZO-MOPI は「部分直交化」戦略を採用します。これは、ノイズの多いスペクトルテールを破棄し、上位 $k$ 個の支配的特異方向にのみ焦点を当てます。
- メカニズム： この手法は NS 手順を、より高速で集中した**ストリーミング・パワー反復（SPI）**に置き換えます。SPI はトレーニングステップを通じて先頭の $k$ 次元部分空間を追跡します。
- 効率性： 右特異部分空間（ $V_{t-1}$ ）をキャッシュし、次の反復のウォームスタートとして利用することで、SPI は完全な SVD や高価な行列乗算を回避します。計算コストは、全スペクトル手法のそれと比較して $O(rnk + nk^2)$ に削減されます（ここで $k \ll r \ll \min(m, n)$ ）。
- 安定性： この手法は、支配的なスペクトル方向がモーメント平滑化の下で滑らかに進化するという観察に基づいており、これにより過去の部分空間が現在のステップに対する信頼性の高い初期化となります。
部分空間 ZO 推定：
分散をさらに低減するため、勾配推定は低ランク部分空間に制約されます。ランダム摂動行列 $Z$ は $AB $に分解され、ここで$ A $は固定された部分空間行列、$ B $はその部分空間内のランダム摂動です。これにより、勾配推定量の実効探索次元が$ mn $から$ rn$ に削減され、分散が大幅に低下します。
射影モーメント：
モーメントはメモリを節約するため、全パラメータ空間ではなく縮小された $r \times n$ 座標系内で維持されます。この手法の重要な構成要素は、部分空間 $A$ が周期的に更新される（ $\nu$ 反復ごと）際のモーメントの射影です。モーメント $M_{old}$ は、 $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ によって新しい部分空間 $A_{new}$ へ射影されます。
- 必要性： 著者らは、モーメントが単なる分散低減のためだけでなく、SPI の安定性にとって不可欠であることを実証しています。モーメントがなければ、ノイズの多い ZO 推定値に起因して支配的部分空間が激しく変動し、パワー反復が不安定になります。

主要な貢献

スペクトルミスマッチの特定： 本論文は、ZO 設定において全スペクトル直交化（ニュートン・シュルツ）が有害であることを浮き彫りにしています。これは、FO 勾配が自然に集中しているのに対し、ZO 勾配推定値に内在するノイズを増幅してしまうためです。
部分直交化： 最も信頼性の高いスペクトル成分（上位 $k$ 個）のみを保持し、ノイズの多いテールを無視する選択的直交化戦略の導入。
ストリーミング・パワー反復（SPI）： 時間的連続性とウォームスタートを活用して高価な計算を回避し、支配的特異方向を追跡するための軽量かつ効率的なアルゴリズム。
射影モーメントの統合： 部分空間更新間でのモーメント安定性を維持するメカニズムであり、ノイズの多い環境におけるスペクトル追跡の有効性にとって決定的であることが示されています。

実験結果
著者らは、SuperGLUE ベンチマーク（SST-2、RTE、BoolQ、SQuAD）における OPT-13B、LLaMA3-8B、Gemma2-2B モデルを用いた LLM 微調整タスクにおいて ZO-MOPI を評価しました。

収束速度： ZO-MOPI は、現在の最先端である ZO-Muon と比較して、1.5 倍から 4 倍の高速な収束を達成します。例えば、RTE および SQuAD タスクにおいて、ZO-Muon は ZO-MOPI と同等の精度に達するために、約 3 倍のウォールクロック時間を要します。
最終精度： この手法は、MeZO、LOZO、ZO-Muon などの強力なベースラインと比較して、競争力のある、あるいは優れた最終精度を達成します。いくつかのケース（SST-2 および RTE における OPT-13B など）では、ZO-MOPI が新たな最良の ZO 精度記録を樹立しました。
効率性： この手法は、部分空間とパワー反復状態の保存に必要なわずかな追加メモリオーバーヘッドのみで、ZO 微調整のメモリ効率を維持します。
アブレーション研究： モーメントを除去するか、部分空間更新間隔が短すぎる場合、性能が著しく低下することが実験で確認されました。これは、提案されたモーメント射影と遅延部分空間サンプリング戦略の必要性を検証するものです。

意義と主張
本論文は、ZO-MOPI がノイズの多い勾配推定値の特定のスペクトル特性に対処することで、LLM 微調整における ZO と FO 最適化の性能ギャップを成功裡に埋めたと主張しています。著者らは、ZO 最適化を高速化するための鍵は、部分空間射影による分散低減だけでなく、ノイズを増幅しない選択的スペクトル整合を採用することにあると論じています。攻撃的な全スペクトル直交化を、パワー反復による部分直交化に置き換えることで、この手法はスペクトル最適化が分散の大きい ZO 領域においても効果的に機能することを可能にします。この研究は、ノイズの多い推定値の下でもスペクトル構造をより効果的に活用できる可能性を示唆しており、逆伝播に依存しない大規模モデルの効率的かつメモリ制約のある微調整への道を開くものです。