技術的概要：量子化ゼロ次最適化のためのコンパンダー整合クエリ幾何学

1. 問題定義

本論文は、低精度（量子化）大規模言語モデル（LLM）に適用されるゼロ次（ZO）最適化における根本的な限界に取り組む。ZO 手法（MeZO など）は、順伝播とスカラー損失値のみを依存関係としてメモリ効率の良い適応を可能にするが、既存のアプローチはモデルが低ビット精度（例：NF4）で保存・クエリされる場合、困難に直面する。

核心的な問題は、非一様量子化に起因する測定ミスマッチである：

• 標準 ZO： 連続重み空間（$x \pm \mu u$）で重みを摂動させ、損失の差分を測定する。
• 量子化 ZO： エンジンは丸められた端点 $Q(x \pm \mu u)$ を評価する。
• 対立： 非一様コンパンディング量子化器（例：NF4、$\mu$-law）の場合、量子化セルは均一ではない。固定された重み空間摂動半径 $\mu$ は、以下のいずれかの状態を引き起こす可能性がある：
  1. 崩壊： 単一の高密度量子化セル内に完全に収まり、損失差分がゼロとなる（勾配信号なし）。
  2. 過剰跨ぎ： 複数の疎なセルを跨ぎ、局所的勾配ではなく非局所的な接弦を測定する。
  3. 非整合： 意図した更新方向 $u$ と平行ではない「丸められた弦」$Q(x+\mu u) - Q(x-\mu u)$ を生成する。

これにより、クエリ時の量子化 - 摂動結合が生じ、降下方向を歪ませるバイアス経路を導入し、コードブック自体が再構成に対して最適であっても、定常点への収束を妨げる。

2. 手法：CAQ-ZO

著者は、クエリ幾何学を重み空間からコンパンダー座標空間へシフトさせる**CAQ-ZO（ゼロ次最適化のためのコンパンダー整合クエリ）**を提案する。

理論的枠組み

本論文は、スカラー非一様量子化をコンパンディング過程としてモデル化する：
$$Q = \phi^{-1} \circ U \circ \phi$$
ここで：

• $\phi$：単調な座標写像（コンプレッサー）。
• $U$：変換空間 $z = \phi(x)$ においてグリッド間隔 $\Delta$ を持つ一様量子化器。
• $\phi^{-1}$：重み空間へのエクスパンダー写像。

アルゴリズム

重み空間で $x$ を摂動させる代わりに、CAQ-ZO は $z$-空間で動作する：

1. 座標変換： 反復値をコンパンダー座標 $z_t = \phi(x_t)$ に維持する。
2. グリッド上ステンシル： 1 グリッドステップのラデマッハーステンシルを用いて、直接 $z$-空間で摂動を生成する：$z_t \pm \Delta r$（ただし、$r \in \{-1, +1\}^d$）。
3. クエリ： 端点を重み空間へ逆写像する：$x_{query} = \phi^{-1}(z_t \pm \Delta r)$。
4. 測定： 低精度オラクルにクエリする。端点 $z_t \pm \Delta r$ が $U$ の一様グリッド上に正確に位置するため、量子化器 $Q$ はクエリ点において恒等写像として機能する（端点で丸め誤差が発生しない）。
5. 更新： $z$-空間で勾配推定値を計算し、$z_{t+1}$ を更新する。将来のクエリに対する不変性を維持するため、結果をグリッド上に射影する。

重要な相違点： CAQ-ZO はコードブック、オプティマイザラッパー、順伝播オラクルを変更しない。それは、量子化器の内部グリッドと整合するように有限差分ステンシルの幾何学のみを変更する。

3. 主要な貢献

本論文は 4 つの主要な貢献を行う：

1. クエリ幾何学の定式化： 量子化 ZO をコードブック比較問題から測定幾何学問題へと再構成する。コードブック、クエリ座標、方向分布、平滑化半径、端点グリッド整合を、個別の制御変数として分離する。
2. ミスマッチの理論的解析：
   • 定理 1： 固定された重み空間半径 $\mu$ は非一様セルを全球的に較正できないことを証明する。有効グリッド跨ぎ $\rho$ は、局所コンパンダー傾き $\nabla \phi$ に依存する。
   • 定理 2： 推定誤差を分解し、標準的な重み空間クエリが（端点丸めに起因する）$\Delta^2/\mu^2$ に比例する残留誤差を伴うことを示す。一方、CAQ-ZO はこのクエリ時残留誤差を正確にゼロにする。
   • 定理 3 & 4： 定常性の境界を提供し、重み空間クエリが丸めバイアスに起因する残留フロアに苦しむのに対し、CAQ-ZO は標準的な有限差分バイアスと確率的分散のみによって支配される収束を達成することを示す。
3. アルゴリズム設計： コンパンダー座標におけるグリッド上ラデマッハ有限差分を利用し、グリッド整合を維持するために更新時射影を強制する CAQ-ZO アルゴリズム（アルゴリズム 1）を導入する。
4. 実証的検証：
   • 合成実験： 端点丸め経路を分離し、CAQ-ZO が重み空間ベースライン（Vanilla Gaussian ZO、QuZO）を悩ませる残留経路を排除することを示す。
   • LLM 微調整： NF4量子化を用いたQwen-2.5-1.5BおよびLlama-2-7Bでの改善を実証する。CAQ-ZO は、同一の量子化器および評価予算下で、複数のタスク（SST-2、RTE、CB、SQuAD など）において重み空間ベースライン（QuZO）を上回る。

4. 結果

• 合成実験： $\mu$-law および NF4 スタイルのコンパンダーを用いた高次元（$d=10,000$）の合成実験において、CAQ-ZO は最終損失と開始損失のギャップ比が最小となる。特に、重み空間手法で観察される「端点丸め残留」を排除し、これは反復回数を増やしてもゼロにならない。
• LLM 微調整： 整合された NF4 微調整実験において：
  • CAQ-ZOは、両モデルのすべての指標において、重み空間ベースラインであるQuZOを一貫して上回る。
  • 顕著な改善として、Qwen および Llama において、それぞれ CB で18.8/21.4 精度ポイント、SQuAD で24.0/28.1 F1の向上が見られる。
  • これらの結果は、コードブックを固定したまま有限差分端点を変更することが、訓練された量子化モデルの性能を向上させることを確認する。

5. 意義と範囲

本論文は、量子化 ZO はコードブックのみによって決定されるものではないと主張する。有限差分ステンシルと量子化セルとの相互作用も同様に重要である。

• 核心的洞察： 静的再構成に対して最適であるコードブック（例：NF4）は、クエリ幾何学が整合していない場合、重み空間摂動に対して最適でない可能性がある。CAQ-ZO は、クエリ幾何学をコンパンダーに整合させることでこれを解決する。
• 主張の謙虚さ： 著者は明示的に主張の範囲を限定する：
  • 理論はスカラー単調コンパンダー（単調補間を介した NF4 を含む）に適用される。
  • 証拠は、制御された合成実験および整合された NF4 LLM 微調整に限定される。
  • 本論文は、すべての非スカラーコードブック（例：ベクトル量子化器）への普遍的な転用性、または個別の検証なしの広範な大規模モデルの主張を主張しない。
  • これは、コードブックを変更するか、ストレートスルー推定器を使用する手法とは区別される、「低精度順伝播」設定に対する特定の解決策として位置づけられる。

要約すると、CAQ-ZO は、ゼロ次最適化における量子化丸めに起因するバイアスを除去するための、理論的根拠と実証的検証の両方を備えた手法を提供し、量子化 LLM のより効果的なメモリ効率型適応を可能にする。