技術的サマリー：AR1-ZO

問題定義

本論文は、厳格なメモリ制約下で大規模言語モデル（LLM）の微調整を行う際、ゼロ次（ZO）最適化と低ランク適応（LoRA）を組み合わせることで生じる根本的な「ランクのパラドックス」に対処するものである。

LoRA は重みを固定し、低ランク更新（$\Delta W = \frac{\gamma}{r} BA$）を学習することで学習可能なパラメータを削減し、ZO 最適化（例：MeZO）は順伝播時の活性化値を保存せず、順伝播のスカラー差分による勾配推定を行うことで、その組み合わせは測定ボトルネックを生じさせる。標準的な 2 点 ZO クエリは通常、すべての $r(d_{out} + d_{in})$ 個の LoRA 因子座標を同時に摂動させる。これにより、LoRA ランク $r$ が増加するにつれて以下の 2 つの致命的な失敗が発生する：

1. 分散の爆発：摂動次元が $r$ に比例して拡大し、推定量の分散が増大する。
2. 方向性の崩壊：標準的な LoRA スケーリング係数 $\gamma = \alpha$（原子あたりの実効係数が $\alpha/r$ であることを意味する）は、有限差分信号を抑制する。単一のランク 1 原子のみを摂動させる場合（単純な原子単位更新のように）、アクティブな信号は $1/r$ に比例して縮小する一方、残差評価ノイズは一定のままとなる。その結果、**有限差分信号対雑音比（FD-SNR）**は $1/r^2$ に比例して減衰する。高ランクにおいて、学習率の調整が行われる前に方向性情報がノイズに埋もれてしまい、固定された 2 回順伝播予算の下では高ランク LoRA が無効化される。

既存の解決策は、外部部分空間、活性化フック、曲率推定、または複雑な多様体幾何学に依存することが多く、これらは追加の計算オーバーヘッドや仮定を導入する。

手法：AR1-ZO

著者らは、補助基底や追加の順伝播を必要とせずに、クエリトポロジーを再定義しスケーリング則を再較正することでボトルネックを解消する AR1-ZO（Alternating Rank-1 Zeroth-Order） を提案する。

1. トポロジー対応クエリ

アダプタ全体やランダムな部分空間を摂動させるのではなく、AR1-ZO は、整合したランク 1 原子 $(b_k, a_k)$ を最小完全クエリブロックとして露出させる。

• メカニズム：各ステップで、オプティマイザは 1 つの原子インデックス $k(t)$ を選択し、対応する列 $b_k$ と行 $a_k$ のみを摂動させ、他の $r-1$ 個の原子は凍結したままにする。
• 次元性：これにより、瞬間的な摂動次元は $r(d_{out} + d_{in})$ から $q = d_{out} + d_{in}$ に削減され、単一クエリ次元は保存されるランク $r$ に依存しなくなる。ランク $r$ は、ステップごとの分散乗数ではなく、すべての原子を訪問するためのステップ数である「償却されたカバレッジコスト」となる。

2. トポロジー対応スケーリング（$\gamma = \alpha r$）

本論文は、標準的な LoRA スケーリング $\gamma = \alpha$（原子あたり $\alpha/r$ を生む）が、すべての原子が同時に寄与する同時更新用に較正されていることを特定している。逐次的なランク 1 クエリにおいて、このスケーリングを引き継ぐと、アクティブな信号が抑制される。

• 修正：AR1-ZO は、グローバル係数を $\gamma = \alpha r$ に設定するトポロジー対応の較正を導入する。
• 効果：これにより、アクティブな原子の実効係数が $\frac{\gamma}{r} = \alpha$ となることを保証する。その結果、アクティブな有限差分の分子はランク不変（$\Theta(1)$）のままとなり、FD-SNR を $r$ に関わらず一定レベルに回復させる。これにより、方向性の崩壊が防止される。

3. アルゴリズム

更新サイクルは原子 $k=1 \dots r$ を交互に通過する。各ステップでは：

1. アクティブ原子の因子に対して摂動 $z_b, z_a$ をサンプリングする。
2. ペアされたミニバッチ上で順伝播 $L(\theta + \mu P_t z)$ および $L(\theta - \mu P_t z)$ を評価する。
3. 修正されたスケール $\gamma = \alpha r$ を用いて勾配推定量を計算する。
4. アクティブなベクトル $b_k, a_k$ のみを更新する。

主な貢献

1. クエリブロックとしてのランク 1 原子の形式化：本論文は、整合したペア $(b_k, a_k)$ が最小完全な LoRA ネイティブブロックであることを証明する。片側のみを摂動させることは不完全であり、原子をグループ化するとランク依存次元が再導入される。AR1-ZO はこれを利用し、保存ランクとクエリ次元を解離させる。
2. 方向性崩壊の診断：著者らは、標準スケーリングを用いた単純な原子単位 ZO が、アクティブな FD-SNR を $O(1/r^2)$ に比例して減衰させ、ランクが増加するにつれて方向性の忠実度（真の勾配とのコサイン類似度がゼロに近づく）を失うことを理論的に証明する。
3. トポロジー対応スケーリングによる信号回復：本論文は、スケーリング則 $\gamma = \alpha r$ を導出・検証する。理論分析により、これがランク不変なアクティブ信号と FD-SNR を回復し、推定量が高ランクにおいても依然として有益であることを示す。
4. 運用効率：AR1-ZO は、補助基底、活性化フック、または曲率推定なしに、純粋なブラックボックス予算（ステップあたり 2 回の順伝播）の下でこれらの成果を達成する。

実験結果

本手法は、BoolQ、CB、COPA、WIC、SQuAD、DROP などのタスクにおいて、OPT（2.7B、13B）およびQwen3（1.7B、32B）モデルで検証された。

• 信号回復：LoRA ランク $r \in \{1, \dots, 64\}$ を掃引する実験により、単純なスケーリングが高ランク（例：$r=64$）で FD-SNR と方向性忠実度の崩壊を引き起こすのに対し、AR1-ZO は全範囲にわたり安定した指標を維持することが確認された。
• 収束性：訓練損失の軌跡において、AR1-ZO は滑らかな収束を示し、単純な原子単位 ZO や標準的な MeZO-LoRA を上回り、完全な一次微調整（FT/Adam）とのギャップを縮小した。
• 下游タスク性能：固定ランク $r=64$ と一致した 2 回順伝播予算において、AR1-ZO はすべてのタスクでベースライン（MeZO-LoRA、LOZO、ZO-Alt-naive）を一貫して上回った。例えば、OPT-2.7B において、SQuAD の F1 スコアを MeZO-LoRA より +13.2 改善した。
• 効率性：AR1-ZO は MeZO+LoRA と同じステップ時間とピーク VRAM を達成し、交互スケジュールとスケーリング修正が追加のシステムオーバーヘッドを伴わないことを確認した。

意義と主張

本論文は、ブラックボックス LoRA 微調整における特定のトポロジー - スケーリングの不一致を解消すると主張する。高ランク LoRA は本質的に ZO 最適化と互換性がないのではなく、失敗は、同時更新のスケーリング規則を逐次的な原子レベルの測定に適用することから生じると論じている。

ランク 1 原子を基本的な測定単位として扱い、スケーリングを $\gamma = \alpha r$ に再較正することで、AR1-ZO は、通常それらに伴う分散や信号損失のペナルティを負うことなく、高ランクアダプタ（より大きな容量を提供する）の使用を可能にする。著者らは、これをブラックボックス LoRA-ZO の「測定単位」に対する必要な修正として位置づけ、クエリトポロジーとスケーリングが整合していれば、ランクが「単一クエリ次元税」である必要はないと確立する。この研究は、以前の高ランク試みが失敗した理由に対する理論的基盤を提供し、その有効性を回復するためのシンプルでパラメータフリーのメカニズムを提示する。