技術要約: HyperQuant

問題提起

大規模言語モデル（LLM）および拡散トランスフォーマーは、自己回帰的推論において、メモリ帯域幅という決定的なボトルネックに直面している。コンテキスト長が増大するにつれ、Key-Value（KV）キャッシュとモデルの重みがメモリ使用量を支配し、システムは薄い行列・ベクトル積のために膨大なデータセットをストリーミングすることを強いられる。これにより、演算強度はハードウェアの計算対帯域幅比を大幅に下回った状態に留まっている。Post-Training Quantization（PTQ）は、推論をレート歪み圧縮問題として定式化することで解決策を提示するが、既存の最先端手法には以下の非効率性が存在する：

• 重みの量子化: HIGGSのような手法は、Randomized Hadamard Transform（RHT）と有限のLloydコードブックを利用するが、インデックスを固定ビットレートで伝送する。情報理論によれば、エントロピー符号化された量子化器は、同じ歪みに対してより少ないビット数を必要とするはずであるが、HIGGSは固定レートのインデックスによって「レートを余剰として残して」しまっている。
• KVキャッシュの量子化: TurboQuantやOCTOPUSのようなアプローチは、スカラーまたは低次元の周辺量子化と固定レートのオーバーヘッドに依存している。これらは厳密なベクトルごとの無偏性を欠くことが多く、注意スコアに系統的なシフトを引き起こす。また、多次元ベクトル量子化による利点を十分に活用できていない。

手法: HyperQuantパイプライン

HyperQuantは、タイルごとのRHT、格子量子化、およびエントロピー符号化という、レート歪み最適化されたトリプレットを、重みとKVキャッシュの両方に適用する、統一されたデータフリーのポストトレーニング・パイプラインを提案する。このパイプラインは、以下の4つのコアコンポーネントで構成される：

1. タイルごとのRandomized Hadamard Transform (RHT)

量子化の前に、入力（重みまたはKVベクトル）をタイル（例：サイズ128）に分割し、$RHT_n(x) = H_n D x$ によって変換する。ここで、$H_n$ はウォルシュ・アダマール行列、$D$ はランダムな符号対角行列である。

• 効果: これによりデータを「混合」し、座標ごとの分布を近似的にガウス分布（$N(0, \sigma^2)$）にする。
• 利点: 量子化誤差を外れ値座標から等方的な広がりへと再分配し、データを最適な格子量子化に適したものにする。この変換は直交しており、$\ell_2$ 誤差特性を保持する。

2. 格子量子化 (Lattice Quantization)

HyperQuantは、有限のコードブックの代わりに、低次元の最適格子である E8 (8次元)、D4 (4次元)、A2 (2次元)、またはスカラー Z にタイルを量子化する。

• 粒度の向上: これらの格子は、スカラー量子化よりも低い正規化第二モーメント（$G(\Lambda)$）を提供し、固定レートにおける歪みを低減する。E8は、定数時間（$O(1)$）の閉形式デコーダを許容する最高次元の格子である。
• 整数の実現: 格子は整数埋め込み（例：$E^8_{int} \subset \mathbb{Z}^8$）にマッピングされ、オーバーフローを防ぐために校正されたスケーリング係数（$\alpha$）を用いて、8ビットストレージの制約内に収められる。

3. ビットストリッピングとライス符号化 (Bit-Stripping and Rice Coding)

レートをエントロピー最適に近づけるため、HyperQuantは2段階のエンコーディングプロセスを採用する：

• ビットストリッピング: 格子メンバーシップの制約（例：E8のパリティチェック）により、整数コードベクトルの特定のビットが決定的に固定される。これらのビットは符号化前にロスレスでストリップされ、残りのシンボルのエントロピーを減少させる。
• ライス符号化: 残りのシンボルは、幾何分布に最適な可変長符号であるライスコードを使用してエンコードされる。固定レートのスキームとは異なり、これによりコードブックを実質的に無制限に扱うことができ、外側のセルを無理に引き延ばすことなくガウス分布の裾（テイル）を処理できる。実現されたレートは、ターゲットの $\sim0.01$ bps 以内に収まる。

4. KVキャッシュのバイアス補正

KVキャッシュにおける決定的なバイアスがアテンションのセマンティクスを損なうのを防ぐため、HyperQuantは以下を統合する：

• ランダム回転: 異方性を低減するために、層ごとの回転（フルHaar一様QJL行列または安価な $\pm 1$ 符号対角行列）を適用する。
• 減算的ディザリング (Subtractive Dither): 量子化の前に新しい一様ノイズベクトル $U \sim \text{Uniform}(V(\Lambda))$ を加え、量子化後にこれを減算する。著者らは（付録A）、これが厳密なベクトルごとの内積無偏性をもたらすと証明しており、これは標準的なQJLスケッチの分布平均的な無偏性よりも優れた特性である。

主な貢献

1. 統一されたレート歪み最適パイプライン: HyperQuantは、RHT、最適格子、およびエントロピー符号化を重みとKVキャッシュの両方に組み合わせ、ターゲットの $\sim0.01$ bps 以内のレートを実現した初のデータフリー・パイプラインである。
2. 優れた重み量子化: 有限のコードブックを無制限の格子と可変長符号に置き換えることで、HyperQuantはあらゆる動作点（3–5 bps）においてHIGGSを凌駕する。この利得は以下に分解される：
   • エントロピー・スラック: 固定レートのインデックスによって浪費されていたビットの回収（低レート時に支配的）。
   • 無制限コードブックの優位性: 有限のコードブックに対する構造的な利点（高レート時に支配的）。
3. 二段階のKV量子化: 著者らは、バイアス補正のバリアントが収束する「高品質」レジム（$\ge 2.5$ bps）と、QJL回転が大幅な利得（$\sim0.5$ PPL改善）をもたらす「高圧縮」レジム（$1.7\text{--}2.5$ bps）にKV量子化を特徴付けた。
4. ハードウェア統合: パイプラインは現代のTensor Core（Hopper/Blackwell）向けに設計されており、fp8、int8、nvfp4、およびmxfp4パスと統合されている。特筆すべきは、RHT適用後の重みの分布が軽量な裾を持つ近ガウス分布であるため、int8がfp8よりも優れた性能を示すことを著者らが発見した点である。
5. 汎用性: 本手法は非LLMアーキテクチャにも正常に転移可能であり、19BパラメータのLTX-2ビデオDiTにおいて、知覚可能なアーティファクトなしで実証されている。

実験結果

Llama-3.1-8B-Instruct (WikiText-2) および LTX-2-19B で評価：

• 重み量子化: 4 bps において、HyperQuant (E8格子) はパープレキシティ (PPL) 7.434 を達成し、HIGGS-p2 の 7.618 を上回った。3 bps では、その差は顕著になる（HyperQuant: 8.744 vs. HIGGS: 9.527）。
• KVキャッシュ量子化:
  • 3 bps において、HyperQuant は PPL 7.41（bf16ベースライン 7.16 に対し）を達成し、81% のメモリ削減を実現した。
  • 2 bps において、HyperQuant は PPL 7.93（ベースラインに対し +0.77%）を達成し、OCTOPUS（+34.7% PPL）やTurboQuantを大幅に上回った。
  • 1.7 bps において、HyperQuant は 7.1倍 の圧縮比に達し、PPL増加は 26.9% であるが、OCTOPUS は 3.0倍程度の圧縮で頭打ちとなる。
• エンドツーエンドのパフォーマンス: H100 上で、HyperQuant は線形重みを 3.9倍、KVキャッシュを 3.79倍 圧縮する。可変長デコーディングによりレイテンシは導入されるが（現在のハードウェアではウォールクロック・スピードアップはない）、常駐メモリの削減は多大である（フルモデルで 14.96 GiB $\to$ 5.29 GiB）。
• ビデオモデル: LTX-2-19B において、4 bps 量子化は PSNR 22.74 dB および LPIPS 0.20 を達成し、目に見えるアーティファクトはなく、fp8ベースの量子化を上回った。

重要性と主張

本論文は、情報理論的原則（エントロミー符号化と格子理論）をトランスフォーマーの推論に厳密に適用することで、HyperQuant がデータフリーのポストトレーニング量子化における新たな SOTA を確立したと主張している。

• 理論的ブレイクスルー: 現在の SOTA (HIGGS) と最適性能との間のギャップが、主に固定レートのインデックスと有限のコードブックの非効率性に起因することを実証した。可変長符号化を無制限の格子に切り替えることで、HyperQuant はこの「スラック」を回収している。
• 実用的な展開: 本手法はキャリブレーションデータセットやファインチューニングを必要とせず、即座にデプロイ可能である。実践者がメモリと品質をトレードオフできる（例：3 bps の KV キャッシュは、最小限の PPL 低下で膨大なメモリ節約を提供する）「メニュー」を提供している。
• ハードウェアへの意識: 本研究は、外れ値に対して常に fp8 が優れているという仮定に異議を唱えている。RHT によってデータをガウス化することで、int8 が結果として得られる分布に対してより適しており、同じビット幅でより高い品質を提供することを示している。

著者らは、HyperQuant が現在のハードウェアではスループットをメモリ効率とトレードオフしているものの、そのパイプラインは、ウォールクロック・スピードアップを解禁し得る将来のカーネル最適化（例：融合デコード+MMA）のための必要な基礎を提供するものであると結論付けている。