技術概要：極端な低ビット LLM 量子化のためのインスピレーションに基づくスペクトル回転

問題定義

本論文は、大規模言語モデル（LLM）における極端な低ビット重み専用量子化（具体的には W2A16、2 ビット重み、16 ビット活性化）の課題に取り組んでいます。このような極端な低ビット幅では、標準的な量子化手法（例えば Vanilla Intel Auto-Round）は重大な再構成誤差に陥り、WikiText-2 などのベンチマークにおいてパープレキシティ（PPL）が劇的に上昇します。核心的な難しさは「量子化ノイズの予算」にあります。2 ビットしかない場合、丸め誤差は大きく、標準的なグループごとの量子化は最も重要なチャネルを優先できず、特に広幅の MLP レイヤーを持つモデルや特定のアーキテクチャ制約（例：Qwen3 型のアテンション）において、モデル性能の深刻な劣化を引き起こします。

手法

提案手法であるBBT-spectralは、標準的な再構成誤差量子化器（Intel Auto-Round）に引き渡す前に、線形レイヤーに対して固定された数学的に不変な前量子化変換を適用します。このアプローチは、ブーリアン影響力とウォルシュ・アダマール幾何学に関する companion 理論論文に触発されたものですが、実数値の LLM レイヤーに対してヒューリスティックに適用されています。

1. コア変換

本手法は、線形レイヤーの重み行列 $W$ と入力 $x$ に適用される 2 段階のステップから構成されます：

1. スペクトル回転: 入力を、固定された直交行列 $Q = H_{dpad}/\sqrt{dpad}$ を用いてウォルシュ・アダマール基底へ回転させます。ここで、$H$ はウォルシュ・アダマール行列、$dpad$ は次の 2 のべき乗にゼロパディングされた次元です。
2. 座標ごとのスケーリング: 回転された重み行列の列を、対角行列 $D = \text{diag}(s)$ によってスケーリングします。ここで、スケーリング係数 $s_\ell$ は入力座標のスペクトル活性化エネルギーから導出されます。
   • スペクトルエネルギーの代理変数 $\rho_\ell$ は、WHT 回転後の $\ell$ 番目の座標の期待二乗大きさとして計算されます：$\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$。
   • スケーリング係数は $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$ と定義され、ここで $\alpha = 0.5$ です。

数学的不変性: この変換は、完全精度において厳密な恒等変換です（$x W^T = (x Q D^{-1}) (D Q^T W^T)$）。スケーリングは量子化前に高エネルギーチャネルを「ブースト」し、量子化解除後にそれらを分割して元に戻すことで、整数丸めの予算を実質的により多くのスペクトル信号を運ぶチャネルへバイアスさせます。

2. アーキテクチャ拡張

基本レシピは、特定の注意機構を持つモデルでは当初失敗しました。本論文はこれらのケースに対処するための 3 つの拡張を導入します：

• スペクトル-PCA（Qwen3 型向け）: 各ヘッドの $q\_norm/k\_norm$ レイヤーを持つアーキテクチャ（例：Qwen3）の場合、標準的な入力側スケーリングはノルムの分母を破壊します。著者らは、各ヘッドの PCA（$U_h$）によって投影重みを回転させ、対角行列 $\Gamma_h$ を適用して元の出力を完全に復元するMatrix-Γ RMSNormにノルムを置き換えます。
• ペア-PCA（RoPE 可換アーキテクチャ向け）: $q\_norm$を持たないモデル（例：Llama、SmolLM、Qwen2.5）の場合、回転はロータリー位置埋め込み（RoPE）と可換でなければなりません。RoPE は 2 次元回転として作用するため、本手法は各 RoPE ペアに対して制約付きのSO(2) PCAを計算し、活性化分散に整合するように重み行を 2 次元平面で回転させ、RoPE 不変性を破ることなく行います。
• MoE 対応吸収: 合成 Laguna モデルにおける「アーキテクチャファジング」を通じて特定された修正であり、非線形性の漏洩を防ぐため、標準的な $q/k/v\_proj$ に加えて $g\_proj$（ヘッドゲート）を入力側吸収リストに含めるように拡張します。

主要な貢献

1. ドロップイン型スペクトル変換: 勾配ベースの回転学習を必要とせず、WHT 回転とエネルギーベースのスケーリングを組み合わせた、原理的な非学習型前量子化ステップ。これにより W2A16 量子化が改善されます。
2. 実証的検証: 4 つのモデル（SmolLM-135M/360M、Qwen2.5-0.5B/1.5B）において、Vanilla Auto-Round と比較して WikiText-2 の PPL が15〜58% 削減されたことを実証しました。最も大きな改善は、Vanilla ベースラインが最も劣化していたモデルで観察されました（例：Qwen2.5-0.5B は 57.9% の改善）。
3. アーキテクチャの一般化: Spectral-PCA と Pair-PCA を通じて、複雑なアーキテクチャ（$q\_norm$を持つ Qwen3、RoPE 依存度の高いモデル）へ手法を成功裏に拡張し、以前の失敗モードを解消しました。
4. ビット幅アブレーション: 本手法の効果がシュル凸性の一貫性を持つことを示しました。効果は量子化ノイズ予算に比例して変化します。W2 では莫大な利益をもたらしますが、W4 では無視できる（ノイズフロアレベルの）改善しか生み出さず、これが高ノイズ領域を標的としていることを確認しました。
5. エンジニアリングの堅牢性: 本手法は追加のランタイム演算子を導入せず（すべての変換は重みに折り込まれる）、Intel NPU、GPU、CPU 間でデバイス不変な PPL を維持することを検証しました。

結果

• 性能:
  • SmolLM-135M: PPL が 81.03 から 45.11 に低下（−44.3%）。
  • Qwen2.5-0.5B: PPL が 119.31 から 50.22 に低下（−57.9%）。
  • Qwen2.5-1.5B: PPL が 36.93 から 28.16 に低下（−23.7%）。
  • Qwen3-0.6B: Spectral-PCA を使用し、PPL が Vanilla の 136.76 から 88.99 に低下（Vanilla に対して 35% の改善）。
• スループット: 折り込まれた重みにより、標準的な密なトランスフォーマーグラフが生成されます。スループットは Vanilla ベースラインと同等（±15% 以内）であり、追加のランタイムオーバーヘッドはありません。
• ノイズフロア: W4 における改善は +0.06 PPL（統計的に有意ではない）であり、本手法が極端な低ビット領域に特化していることを確認しました。

主張と限界（著者の視点）

著者らは、これを理論的ブレイクスルーではなく、応用エンジニアリング論文として明確に位置づけています：

• 形式的同等性の欠如: 彼らは、ここで使用されている実数値 WHT 活性化エネルギーが、companion 理論論文で定義されたブーリアン影響力と形式的に同等であると主張していません。関連性は直感的かつ定性的（座標ごとのスペクトル質量）であり、形式的な定理の転用ではありません。
• 統計的有意性の欠如: 結果はシングルシードです。±0.5 PPL 未満の差異は評価ノイズとして扱われます。
• ベースラインの範囲: 比較対象はVanilla Auto-Roundです。本論文は、AWQ、GPTQ、SpinQuant、QuaRot などの他の強力な低ビットベースラインに対する優位性を主張していません。頭突き比較は将来の作業に委ねられています。
• 範囲: 本手法は「ドロップイン」型のヒューリスティックです。すべての量子化課題を解決すると主張するものではなく、特に「シュル凸性」の議論は実数値設定に対するヒューリスティックなガイドであり、それに対する証明された定理ではないと明記しています。

主な貢献は、多様なモデルファミリーにおいて W2 で非自明な実証的勝利をもたらす、小さく、原理的、かつ厳密に数学的不変な変換であり、標準的な丸めが失敗する極端な低ビット展開に対する実用的な解決策を提供する点にあります。