Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

技術要約：大規模言語モデルの極低ビット量子化におけるクロスレイヤー誤差補償および有限サンプル特徴統計量マッチング

1. 問題提起

大規模言語モデル（LLM）のレイヤー単位の事後学習量子化（PTQ）は、通常、各レイヤーを個別に最小化するように局所的な再構成誤差を最小化する。この手法は中程度のビット幅では効果的であるが、極端な低ビット領域（例：バイナリまたは2ビット未満の表現）では課題が生じる。根本的な限界は、初期レイヤーにおける量子化誤差が後続レイヤーへの入力を摂動させ、誤差が深さとともに蓄積・増幅することにある。これに対処しようとする既存の手法（QEP、YAQA、TurboBoAなど）は、一般にレイヤーコードを一つずつ確定させる逐次コミット手順に依存しており、その結果、後続レイヤーからの情報が遡って初期の決定を修正することができない。本論文は、量子化をすべてのレイヤーの離散変数に対する結合最適化として扱い、ネットワークの深さにわたって蓄積される誤差を明示的にモデル化し最小化するという設計指針を提案する。

2. 手法

提案フレームワークは、クロスレイヤー誤差補償と有限サンプル特徴統計量マッチングという2つの主要なメカニズムによって駆動される、結合最適化問題として量子化を定式化する。

A. グループ単位の離散パラメータ化
本手法は、重み行列 $W$ をサイズ $G$ のグループに分割する。各グループは、スケール $s$ と有限集合 $D$（例：バイナリの場合は $\{-1, +1\}$、INT4の場合は $\{-8, \dots, 7\}$）からの離散コード $q$ によって表される。量子化された重みは $\hat{W} = s \odot q$ である。$G=128$ のバイナリ量子化の場合、これは1.125ビットの表現となる。

B. クロスレイヤー誤差補償（再帰的目的関数）
核心となる革新は、蓄積誤差 $e_l = \hat{h}_l - h_l$（ここで $h$ はフルプレシジョンの特徴量、$\hat{h}$ は量子化された特徴量）の再帰的な定義である。誤差のダイナミクスは以下のように定義される：
$$e_{l+1} = A_l e_l + q_l$$
ここで：

• $q_l = \hat{F}_l(h_l) - F_l(h_l)$ は、ティーチャーの特徴量で評価された局所的な量子化残差である。
• $A_l$ は、レイヤーの入力微分から導出される伝播演算子である。

主要な理論的貢献（補題1）： 著者らは、$A_l$ が量子化レイヤーの有限差分写像（$\hat{A}_l(e) = \hat{F}_l(h_l + e) - \hat{F}_l(h_l)$）としてインスタンス化される場合、この再帰が単なる一次近似ではなく、任意の非線形レイヤーに対して**厳密（exact）**になることを証明している。これにより、ヤコビアンを形成することなく、2回のフォワードパス（ティーチャー用と量子化ネットワーク用）のみで全蓄積誤差を計算することが可能となり、このアプローチは計算効率が高くなる。最適化は最終レイヤーの特徴量の二乗偏差 $\|e_L\|^2$ を最小化するため、オプティマイザは、初期レイヤーから伝播してきた誤差を能動的に打ち消すような残差 $q_l$ を後続レイヤーで選択することができる。

C. 有限サンプル特徴統計量マッチング
ティーチャーネットワークの表現構造を維持するために、本手法は有限サンプルにおけるティーチャーと量子化された特徴量間の統計量を一致させる。これには以下が含まれる：

• 平均 ($\mu$)
• 投影共分散（固定されたランダム射影 $R$ を使用）
• 中心化された経験的カーネル
  これらは、異なるスケールのレイヤー間での比較可能性を確保するため、ティーチャー自身の統計量に対して正規化される。この項は、主要な出力品質の駆動源ではなく、等価性を維持するための正則化因子として機能する。

D. ミラー降下法による潜在バイナリコード
バイナリ量子化の場合、離散コードはミラー降下定式化を用いて潜在変数 $z$ を通じてパラメータ化される：
$$u = \tanh(\beta z)$$
ここで $u$ はソフトなバイナリ値を表す。逆温度 $\beta$ は訓練中に1から16へとアニーリングされる。この定式化は、バイナリエントロピー・ミラーマップの下でのミラー降下と完全に等価であることが示されている。訓練の最後の20%のステップでは、「ハード・フォワード」フェーズが適用され、フォワードパスでは $\text{sign}(z)$ を使用する一方で、勾配は引き続き $\tanh$ サロゲートを通じて流れる。

E. 全体目的関数
訓練目的関数は、蓄積誤差損失 ($L_E$)、統計量マッチング損失 ($L_{GE}$)、およびオプションのロジット蒸留損失 ($L_{KD}$) を組み合わせたものである：
$$J = \lambda_E L_E + \lambda_{GE} L_{GE} + \lambda_D L_{KD}$$

3. 主要な貢献

1. 再帰的蓄積誤差目的関数： 蓄積誤差が線形再帰によって更新される明示的な状態変数である、クロスレイヤー結合最適化フレームワーク。著者らは、伝播演算子が有限差分としてインスタンス化されることで、非線形レイヤーの真の機能偏差が得られるという厳密性の補題を提示している。
2. 有限サンプル統計量マッチング： 平均、投影共分散、および経験的カーネルをティーチャーと量子化ネットワーク間で一致させる、相対的に正規化された損失関数であり、特徴統計量の保存の証明書として機能する。
3. ミラー降下パラメータ化： グループ単位のログスケール、アニーリングスケジュール、およびサイン固定基準を、結合クロスレイヤー目的関数内に統合した、バイナリコードのための特定の潜在変数定式化。
4. 制御されたアブレーション： 異なるビット幅およびドメインにわたって、誤差補償と統計量マッチングの効果を分離するために、事前登録されたシードを用いた厳格な実験プロトコル。

4. 実験結果

実験は Qwen2.5-1.5B に対して行われ、すべてのTransformerブロックの線形レイヤーを量子化した（エンベディングとLMヘッドはFP16に保持）。

• バイナリ量子化 (1.125 bits):

  • 誤差補償 (条件 D): FP16ティーチャーに対して、パープレキシティ（PPL）比 9.56 ± 0.15 を達成した。これはロジット蒸留のみ（14.09）を32%上回り、レイヤー局所再構成（比率 $\sim 1.4 \times 10^3$）を2桁上回った。この差は8標準偏差を超えていた。
  • 統計量マッチング (条件 C): これ単独では、深刻な品質崩壊（PPL比 262）を引き起こしたが、最小の機能統計量偏差（EGE）を達成した。
  • 組み合わせ (条件 E): PPL比 11.50 および EGE 0.48 を達成し、誤差補償の品質と統計量マッチングの統計的忠実性の両方を継承した。

• INT4 量子化 (4.125 bits):

  • 同様の目的関数により、レイヤー局所再構成（PPL比 1.060 対 1.088）よりも性能が向上し、誤差補償メカニズムが離散値集合に依存しないことを示した。

• 分布外 (OOD) 評価:

  • 誤差補償の優位性は、OOD設定（C4, CNN/DailyMail）において増大し、インドメインの結果と比較して品質の差が広がった。
  • 統計量マッチングは、オフドメインにおける特徴統計量を効果的に保持したが（EGE 0.42–0.88 対 1.41–2.99）、パープレキシティの堅牢性は改善せず、表現の安定性を維持するためにわずかな品質コスト（約20%）を課した。

5. 意義と主張

本論文は、極低ビット量子化を、明示的かつ証明可能な厳密な再帰状態を持つ全レイヤーの結合最適化として扱うことが、レイヤー局所的な手法では達成できないシード安定な改善をもたらすと主張している。

• 相補的な役割： 著者らは「分業」を強調している。すなわち、誤差補償が主要な出力品質（パープレキシティ）の駆動源であり、統計量マッチングが表現の等価性（特徴の安定性）の駆動源である。どちらのメカニズムも、単独では両方の目標を達成できない。
• 実用性： 厳密性の補成立により、ヤコビアン計算のコストを回避し、フォワードパスのみを使用して効率的に実装できる。
• 汎用性： このメカニズムは、バイナリから4ビット整数量子化へと変化することなく転移し、分布外のシナリオにおいても緩やかに劣化する。

著者らは、実験規模（1.5Bパラメータ）、エンベディング/ヘッドの完全なバイナリ化の除外、およびダウンストリームタスクのベンチマークの欠如に関する制限事項を述べている。また、これらの手法は特許出願中のものであるとしている。