技術的サマリー：HeadQ：KV キャッシュ量子化のためのモデル可視歪みとスコア空間補正

1. 問題定義

現在の KV キャッシュ量子化手法は、主に保存空間の再構成を最適化しており、通常は元のキー・値と量子化されたキー・値間の平均二乗誤差（MSE）を最小化する。しかし、著者らは、この目的がアテンション機構が実際にキャッシュデータを消費する仕方と整合していないと主張する。

• キーはログイット（クエリ・キーのスコア）を通じて読み出されるため、アテンション分布に影響を及ぼすのはキーの特定の線形射影のみである。
• 値はアテンション重み付き読み出し（$\sum p_j v_j$）を通じて読み出される。

本論文は、持続的なキャッシュ誤差は、生きたユークリッド保存座標ではなく、モデル可視の座標で測定されるべきであると提唱する。摂動は、大きな保存 MSE を持つ一方でアテンションにゼロの影響を与える場合（「softmax-Null」方向に存在する場合）もあれば、小さな保存 MSE を持つ一方でアテンションに壊滅的な損害を与える場合（「スコア可視」方向に影響する場合）もある。この不一致は、無関係な成分にビットを浪費しつつ、行動上重要な成分を保護できない、最適化されていない量子化戦略につながる。

2. 理論的基盤：モデル可視幾何学

本論文は、保存誤差と行動誤差を区別する幾何学的枠組みを確立する。

2.1 キー・スコア空間（フィッシャー幾何学）

固定されたクエリ $q$ に対して、キーの摂動 $\delta k_j$ はスコア摂動 $\delta s_j = q^\top \delta k_j / \sqrt{d}$ を引き起こす。

• Softmax-Null 方向: トークン共有の並進（すべてのキーに一定ベクトル $\mu$ を加えること）は、すべてのスコアに定数を加える。Softmax は定数シフトに対して不変であるため、この摂動はsoftmax-Nullであり、潜在的に大きな保存 MSE があるにもかかわらず、アテンションへの損害はゼロである。
• スコア可視空間: アテンションは、クエリに対するキー摂動の中心化された活性係数のみに依存する。
• フィッシャー情報: Softmax 分布の局所的な二次幾何学はフィッシャー情報行列によって捉えられる。本論文は、元のアテンション分布と摂動されたアテンション分布間の KL 発散が、生きたキーの MSE ではなく、スコア誤差のフィッシャー重み付き分散（式 6）に局所的に比例することを導出した。

2.2 値読み出し幾何学

値は重み付き和として消費される。固定されたアテンション重み $p$ に対して、読み出し誤差は $\Delta o = \sum p_j \Delta v_j$ である。

• 本論文は、値誤差の適切な代理として$A^2$ 重み付きトークン歪みを提案する。生きた値の MSE とは異なり、この指標は各トークンの歪みをそのアテンション確率の二乗（$p_j^2$）で重み付けする。これは、高アテンションを受けるトークンの誤差が出力誤差により大きく寄与するという事実を反映している。

3. 手法：HeadQ

HeadQは、生きたキーベクトルではなく「スコア可視」の残差を保持するように設計されたキー側の量子化手法である。

アルゴリズムの概要

1. 較正: 各レイヤーとヘッドについて、低ランク基底 $U_h$（ランク $r$）を、較正クエリ（RoPE 後）から PCA を用いて学習する。
2. キャッシュ書き込み:
   • 標準的な低ビット量子化器 $B_b$ がベースキー $\hat{k}^{base}_j$ を生成する。
   • 残差 $e_j = k_j - \hat{k}^{base}_j$ を計算する。
   • 残差を学習された基底に射影する：$z_j = Q_q(U_h^\top e_j)$。ここで $Q_q$ は低ビットのサイド量子化器である。
   • キャッシュにはベースキーとサイドコード $z_j$ が保存される。
3. キャッシュ読み出し（推論）:
   • 現在のクエリ $q$ を用いてサイドコードを量子化解除する。
   • 加法的ログイット補正を適用する：
     $$\hat{s}_j = \frac{q^\top \hat{k}^{base}_j}{\sqrt{d}} + \frac{q^\top U_h \hat{z}_j}{\sqrt{d}}$$
   • この補正はスコア誤差を直接対象とし、完全なキーベクトルの再構成を必要としない。

重要な相違点: HeadQ は現在のクエリを保存するのではなく、較正で学習された基底における残差コードを保存し、ランタイムのクエリがそれをログイット補正に復号できるようにする。

4. 主要な貢献

1. モデル可視歪みの定式化: 本論文は、キー歪みを「定数シフトを法としたスコア可視誤差」とし、値歪みを「$A^2$ 対角代理を備えた読み出し可視誤差」として定義する。これにより、生きた MSE が行動性能の貧弱な代理指標である理由が説明される。
2. HeadQ アルゴリズム: クエリ基底に低ランク残差サイドコードを保存し、それを加法的ログイット補正として適用する、実用的なキャッシュ書き込み/読み出しアルゴリズム。
3. 検証可能な証拠連鎖:
   • 指標の優位性: フィッシャー/スコア空間誤差は、6 つのモデルにわたり、生きたキーの MSE よりもアテンション KL 発散を著しくよく予測する（スピアマン $\rho \approx 0.62\text{--}0.69$ の改善）。
   • 反例: ペア実験により、保存 MSE が低い量子化器の方が、高いアテンション KL および出力誤差を持つ場合があることが示され、保存 MSE だけでは不十分な代理指標であることが証明された。
   • Null 空間介入: 密アテンションが無視する「softmax-Null」平均成分を復元すると、非等価な固定グリッド量子化器に対してフィッシャー損害が急激に増加し、保存座標の浪費が行動性能を損なうことを実証した。
   • 展開可能性: 較正データから学習されたクエリ-PCA 基底は活性残差を成功裡に近似するが、同等の予算を持つランダム基底は失敗する。
   • 方向性: HeadQ 補正の符号を反転させる（「誤った符号」制御）と壊滅的な失敗を引き起こし、この手法が正しい方向で特定のスコア対象を補正することによって機能していることを確認した。

5. 実験結果

実験は WikiText-103 上で、6 つのモデル（GPT-2、Pythia、Qwen2、Qwen2.5、TinyLlama、Mistral）を用いて行われた。

• K のみの実験（密な値）:
  • 最も損傷を受けた 2 ビット行において、HeadQ（ランク 4）は、Qwen2、Pythia、GPT-2 などのモデルにおいて、KIVI 風のベースラインと比較して、過剰なパープレキシティ（PPL）の約**84–94%**を除去する。
  • TinyLlama は実質的な改善を示し、Mistral はこのプロトコルでは既に密な性能に近い。
• 完全 KV 構成（2 ビット）:
  • HeadQ（キー側）と $A^2$ 重み付き値ポリシーを組み合わせることで、2 ビット精度において 6 つのモデルすべてで性能が向上する。
• 異常分析:
  • Pythia-160M は、特定の低エントロピー「ルート反転」領域（小さな摂動がトップ 1 トークンを反転させる領域）において、フィッシャーと KL の相関が弱いことを示した。この異常は特定のファミリー固有の境界に局在しており、より大きな Pythia チェックポイント（410M、1B）では弱まった。

6. 意義と主張

本論文は、オペレータマッチングが KV キャッシュ量子化の重要な設計教訓であると主張する。

• キーはスコア対象である。圧縮はクエリ可視の残差を保持し、softmax-Null シフトに解像度を浪費することを避ける必要がある。
• 値は読み出し対象である。圧縮は $A^2$ 重み付き誤差を優先すべきである。

著者らは明示的に、この仕事がメカニズム的かつ診断的なものであり、生産readyなサービングシステムの主張ではないと述べている。パッキングされたカーネル、レイテンシ、スループットの最適化を主張するものではない。その意義は以下の点にある。

1. KV キャッシュ量子化の理論的対象を、保存再構成からモデル可視歪みへと修正すること。
2. 正しい誤差幾何学を対象とすることで、低ビット領域において実質的な PPL 回復を達成する展開可能な手法（HeadQ）を提供すること。
3. 標準的な保存指標（MSE）が行動的に誤解を招く可能性があり、スコア空間代理指標への移行が必要であることを実証すること。

本論文は、次のステップとして、保存 MSE をデフォルトの目標として扱うのではなく、このオペレータマッチングの視点を完全に最適化された完全 KV コーデックへと拡張することであると結論づけている。