技術的概要：KV キャッシュ圧縮のための Hurwitz 四元数乗法的量子化

問題定義

大規模言語モデル（LLM）における長コンテキスト推論中のキー・バリュー（KV）キャッシュのメモリコストは、計算コストをしばしば凌駕する。FP16 で K および V ベクトルを保存すると、シーケンス長が 32k を超える場合、数十ギガバイトを消費する可能性がある。スカラー量子化（例：int8、int4）はこのコストを削減するが、4 ビット未満では性能が著しく劣化し、int2 は通常モデルを破綻させる。さらに、現代のアーキテクチャ（特に Qwen2.5 や Qwen3 のようなグループ化クエリアテンションを備えたもの）は、「アウトレイヤー（外れ値）が重い」アテンションパターンを示し、K チャンクのわずかな割合が極端な大きさを持つ。標準的なスカラー量子化は、これらのシナリオでは壊滅的に失敗し、10,000 点以上のパープレキシティ（PPL）の急上昇を招く。既存のベクトル量子化アプローチは、しばしば較正データを必要とするか、これらの外れ値を効果的に処理できない。

手法：Hurwitz 四元数乗法的量子化（HQMQ）

著者らは、較正不要な手法である HQMQ を提案する。これは、K または V ベクトルの 4 要素ごとのチャンクを四元数 $x \in \mathbb{H}$ として扱う。この手法は、ベクトルを半径 $r = \|x\|$ と 3 次元球面 $S^3$ 上の単位方向 $u = x/r$ に分解する。

1. 乗法的コードブック構成

単一の大型コードブックを学習するか、加法的構成を使用する代わりに、HQMQ は 2 つの成分の乗法的積を通じて結合コードブックを構築する：

• プライマリーコードブック（$P$）： $S^3$ 上の 24 胞体の頂点（二重四面体群 $2T$）に対応する、24 個の固定された単位 Hurwitz 四元数の集合。これらの頂点は互いに $60^\circ$ 離れており、閉じた乗法群を形成する。
• セカンダリーコードブック（$S$）： 較正なしで（層、ヘッド、ロール）ごとに初期化された、$S$ 個のランダムな単位四元数の集合。

実効的なコードブックは、集合 $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ である。これにより $S$ 個のパラメータのみを保存しながら、$24S$ 個の実効符号語が得られる。方向 $u$ は、内積 $\langle u, c \rangle$ を最大化する符号語 $c \in C$ に量子化される。

2. ランダム初期化の理論的根拠

本論文は、単位四元数による左乗法が $S^3$ 上の等長変換であるため、較正は不要であると主張する。$S$ 個をランダムに選択することは、固定された $2T$ 群を回転させ、$S^3$ を準一様に敷き詰める $S$ 個の互いに重ならない等長コピーを作成する。命題 3.1 は、このランダムな乗法的パッキングが $S^3$ 上で $O((24S)^{-1/3})$ の最適な被覆率を達成し、定数までの最適球面パッキングの理論的限界と一致することを確立している。

3. 中央値乗数による外れ値抽出（Med3×）

チャンクノルムが 80〜280 倍も変動する「アウトレイヤーが重い」アーキテクチャに対処するため、著者らはバッチごとの外れ値抽出ステップを導入する：

• 現在のバッチ全体で中央値チャンクノルム $r_{med}$ を計算する。
• $r > C \cdot r_{med}$ となるチャンクを特定する（ここで $C=3$ は固定定数）。
• これらの外れ値を完全な FP16（1 ビットフラグ付き）で保存し、残りの「バルク」チャンクを HQMQ を用いて量子化する。
  このステップは較正データを必要とせず、異なるアーキテクチャ間でも安定している。

主要な貢献

1. 新しいコードブック構成規則： 加法的 VQ（CommVQ）や平坦な学習済み VQ（VPTQ）とは異なり、有限 Hurwitz 群 $2T$ に基づく乗法的量子化スキーム。
2. 較正不要な展開： この手法は、24 胞体の Haar ランダム回転の幾何学的性質に依存しており、モデルごとの較正パスの必要性を排除する。実験結果によると、ランダムシード間でのエンドタスクのパープレキシティ変動は 0.14% 未満である。
3. 堅牢な外れ値処理： Med3× 抽出メカニズムにより、naive な int4 が完全に失敗するアウトレイヤーが重いモデル（Qwen2.5/3 など）において、低ビット量子化の利用が可能になる。
4. 実験的検証： 5 つの多様なモデル（Mistral-7B、Llama-3-8B、Qwen2.5-7B、Qwen3-8B、gpt-oss-20b）での評価により、naive な整数ベースラインに対してパレート優位性を示した。

実験結果

パープレキシティと品質

• Mistral-7B および Llama-3-8B： HQMQ は $\sim5$ ビットでほぼ損失のない圧縮を達成し、FP16 のパープレキシティを 0.02〜0.03 点の範囲で一致させる。3.79 ビットでは、FP16 のゼロショット精度（PIQA、HellaSwag、ARC-Easy）と一致する。
• Qwen2.5-7B および Qwen3-8B（アウトレイヤーが重い）： naive な int4 は PPL が 17,000〜18,000 に崩壊する。HQMQ + Med3× は $\sim5$ ビットで FP16 の品質（PPL $\approx$ 9.0〜9.7）を回復し、少ないビット数で naive な int4 に対して $\sim1,900$ 倍の品質向上を実現する。
• gpt-oss-20b（疎な MoE）： HQMQ は、一致したビット数において naive ベースラインを 3〜3.5 倍のパレート優位性で凌駕する。

ベースラインとの比較

• Naive Int 対比： 一致したビットレートにおいて、HQMQ はすべてのモデルで PPL において naive int4 より 3〜1,900 倍優れている。
• KIVI（較正済みベースライン）対比： 3.79 ビットにおいて、HQMQ は較正済み KIVI-4（$\sim4.5$ ビットを使用）と、CoQA で $\sim1$ 点、GSM8K で 2.3 点の範囲で一致し、16% 少ないビット数と較正なしで達成している。
• 球面/ベクトル量子化対比： HQMQ は、ランダムなコードブックを持つ球面ベースライン（TurboQuant 風など）および加法的 VQ ベースラインを上回る。

メモリとレイテンシ

• 圧縮： HQMQ は最大5.05 倍の KV キャッシュ圧縮を実現する。128k コンテキストを持つ Llama-3-70B モデルの場合、キャッシュは FP16 の 43 GB から 8.5 GB に縮小され、単一の 24 GB 消費者向け GPU での推論が可能になる。
• レイテンシ： 融合された Triton カーネルは、アテンションループ内で K/V を直接デコードする。生産環境のデコードワークロードにおいて、この融合カーネルはコンテキスト長に関わらず $\sim0.033$ ms の一定レイテンシを維持し、各ステップでキャッシュ全体を量子化解除する naive な「偽量子化」パイプラインに対して7.4 倍から 82.9 倍の高速化を提供する。

意義と主張

本論文は、HQMQ が理論的ベクトル量子化と実用的展開の間のギャップを埋める KV キャッシュ量子化のための「クリーンな代数的レシピ」を提供すると主張する。その主な意義は以下の点にある：

1. アウトレイヤーが重いモデルにおける低ビット量子化の実現： 標準的な手法が失敗する Qwen2.5/3 などのアーキテクチャに対して、5 ビット未満の量子化を実用的にする最初の手法である。
2. 較正オーバーヘッドの排除： Hurwitz 群の幾何学的性質を活用することで、データ依存の較正を不要にし、プロプライエタリまたは迅速に展開されるモデルに適している。
3. 実用的効率： 高い圧縮率（最大 5 倍）と、メモリ帯域幅のボトルネックを回避する融合カーネルの組み合わせにより、消費者向けハードウェアでの長コンテキスト推論を実用的にする。

著者らは限界点として、HQMQ は 3 ビット未満の領域では学習済みコードブック（CommVQ など）と競合しないこと、および 128k を超える極めて長いコンテキストやマルチヘッド潜在アテンション（MLA）のような特定のアーキテクチャにおける性能についてはさらなる調査が必要であることを指摘している。ただし、3〜5 ビットの領域内では、較正不要かつ外れ値に堅牢な KV 圧縮において新たな最先端を確立している。