🤖 machine learning

HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models

HyperQuant 是一个统一的后训练量化流水线，它结合了随机哈达玛变换、最优格量化、Rice 编码和偏置修正，旨在为大型语言模型和扩散模型的权重及 KV 缓存实现率失真最优的压缩，在各种比特率下均优于现有方法，同时保持近乎无损的质量。

原作者： Yuval Domb, Hadar Sackstein, Tomer Solberg

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuval Domb, Hadar Sackstein, Tomer Solberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其详尽的图书库（一个大型语言模型或视频生成器）。这些书籍包含了数十亿个词汇和图像，占用的空间如此之大，以至于几乎填满了你的电脑硬盘。当你要求计算机阅读一句话或生成一段视频时，它必须不断地在这些沉重的书籍之间来回搬运，这让机器感到既缓慢又疲惫。

HyperQuant 是一个全新的、聪明的系统，旨在将这些书缩减到其原大小的一小部分，同时又不丢失故事内容，使它们读取起来更快，存储起来更容易。

以下是它的工作原理，通过日常类比将其分解为简单的步骤：

1. “洗牌”技巧 (随机哈达玛变换 - Randomized Hadamard Transform)

想象你有一堆乱七八糟的纸张，其中有些页面巨大且沉重，而另一些则是微小的碎片。如果你试图把它们装进箱子，大的页面会凸出来，浪费空间。
HyperQuant 首先通过**“洗牌”**这些页面开始工作。它混合了数据，使得数据不再是只有少数几个巨大的离群值和许多微小碎片，而是变成了一个平滑、均匀的分布（就像一个完美的钟形曲线）。这使得数据更容易被高效地打包，就像洗一副扑克牌能让发牌更加均匀一样。

2. “完美打包” (格点量化 - Lattice Quantization)

一旦数据被洗牌，HyperQuant 就需要将连续的数字转换为可以存储的离散“点”。

旧方法： 想象尝试用简单的网格（就像棋盘一样）将球体装入箱中。球体之间会有大量的空隙和浪费的空间。
HyperQuant 的方法： 它使用数学“格点”（例如 E8 或 D4 形状）。你可以把这些想象成在板条箱中堆叠橙子最有效率的方式。它们能让球体紧密地结合在一起，几乎没有浪费的空间。这使得系统可以使用更少的比特来存储相同数量的信息。

3. “拉链” (熵编码与 Rice 编码 - Entropy Coding & Rice Codes)

即使有了完美的打包，你仍然有一长串数字需要记录下来。

旧方法： 你会为每一个数字分配相同的空间，即使有些数字出现得非常频繁，而另一些则很少出现。
HyperQuant 的方法： 它使用了一种变长编码（Rice 编码）。这就像是一种秘密语言，常用的词汇使用极短的代码（比如用 "u" 代表 "you"），而罕见的词汇则使用较长的代码。因为系统知道哪些数字出现得最频繁，它可以进一步压缩数据，在不丢失任何意义的情况下节省空间。

4. “降噪” (KV 缓存的偏差修正 - Bias Correction for KV Cache)

当模型记忆之前的单词（即“KV 缓存”）时，它需要非常精确。如果对数字进行过于粗糙的舍入，模型可能会产生混乱，甚至开始产生幻觉（胡言乱语）。
HyperQuant 使用了一个技巧，叫做**“减法抖动” (subtractive dither)**。想象你正在测量液体的体积，但你的杯子有点晃动。与其仅仅靠猜测，不如先加入一点随机的水，测量它，然后再减去那个完全相同的随机量。这样可以完美地抵消误差，确保即使在数据被高度压缩的情况下，最终结果依然准确且无偏差。

5. “魔法盒” (硬件集成 - Hardware Integration)

最后，HyperQuant 被设计为直接与现代计算机芯片（如 NVIDIA 的 H100 和 Blackwell GPU）协同工作。它不仅仅是压缩数据，它还对数据的格式进行了处理，使得芯片无需先进行解包即可立即读取。

结果： 它发现，对于这种特定类型的压缩数据，使用 8 位整数（标准的整数）实际上比 8 位浮点数（小数）效果更好。这就像是意识到对于这个特定的谜题，整数比小数更能完美契合槽位。

核心优势

论文声称 HyperQuant 实现了以下目标：

大规模压缩： 它将模型的“权重”（weights）缩小了约 4 倍，并将“工作记忆”（KV 缓存）缩小了约 3.8 倍。
无质量损失： 尽管数据被压缩得如此之多，该模型理解和生成文本或视频的能力几乎与原始未压缩版本一样出色。
视频领域的成功： 它成功压缩了一个 190 亿参数的视频生成模型 (LTX-2)，且没有出现任何可见的闪烁或故障。
击败竞争对手： 它在几乎所有的测试中都优于以往的顶级方法（如 HIGGS、TurboQuant 和 OCTOPUS），尤其是在尝试将数据压缩到极小尺寸（如每个数字 1.7 比特）时。

简而言之，HyperQuant 是一种新的“打包算法”，它通过洗牌、堆叠和拉链式压缩，让 AI 模型能够轻松装进你的口袋，同时又不破坏故事的完整性。

技术摘要：HyperQuant

问题陈述

大语言模型（LLMs）和扩散 Transformer 在自回归推理过程中面临着一个关键瓶颈：内存带宽。随着上下文长度的增加，键值（KV）缓存和模型权重占据了主导地位的内存使用量，迫使系统必须为薄矩阵-向量乘法传输海量数据集。这使得算术强度远低于硬件计算与带宽的比率。虽然后训练量化（PTQ）通过将推理建模为率失真压缩问题提供了一种解决方案，但现有的最先进方法存在效率问题：

权重量化： 诸如 HIGGS 之类的方法利用随机哈达玛变换（RHT）和有限的 Lloyd 码本，但以固定比特率传输索引。信息论指出，熵编码量化器应在相同的失真下需要更少的比特，然而 HIGGS 由于采用固定速率索引，导致“留下了速率余量（rate on the table）”。
KV 缓存量化： 方法如 TurboQuant 和 OCTOPUS 依赖于标量或低维边缘量化，并带有固定速率开销。它们通常缺乏严格的逐向量无偏性，导致注意力评分出现系统性偏移，并且未能充分利用多维向量量化的增益。

方法论：HyperQuant 流水线

HyperQuant 提出了一个统一的、无需数据的、后训练流水线，该流水线将率失真最优的三元组——逐块 RHT、格点量化（lattice quantization）和熵编码——应用于权重和 KV 缓存。该流水线由四个核心组件组成：

1. 逐块随机哈达玛变换 (RHT)

在量化之前，输入（权重或 KV 向量）被划分为块（例如大小为 128），并通过 $RHT_n(x) = H_n D x$ 进行变换，其中 $H_n$ 是 Walsh-Hadamard 矩阵， $D$ 是随机符号对角矩阵。

效果： 这种“混合”了数据，使每坐标分布近似于高斯分布 ( $N(0, \sigma^2)$ )。
收益： 它将量化误差从离群坐标重新分配到各向同性的分布中，使数据适用于最优的格点量化。该变换是正交的，保留了 $\ell_2$ 误差特性。

2. 格点量化

HyperQuant 不使用有限码本，而是将旋转后的块量化为低维最优格点：E8 (8 维)、D4 (4 维)、A2 (2 维) 或标量 Z。

粒度增益： 这些格点比标量量化具有更低的归一化二阶矩 ( $G(\Lambda)$ )，从而在固定速率下降低失真。E8 是最高维度的格点，允许常数时间 ( $O(1)$ ) 的闭式解码。
整数实现： 格点被映射到整数嵌入（例如 $E^8_{int} \subset \mathbb{Z}^8$ ），以符合 8 位存储约束，并校准缩放因子 ( $\alpha$ ) 以防止溢出。

3. 位剥离 (Bit-Stripping) 与 Rice 编码

为了实现接近熵最优的速率，HyperQuant 采用了两阶段编码过程：

位剥离： 格点成员约束（例如 E8 的奇偶校验）确定性地固定了整数码向量的某些位。这些位在编码前被无损地剥离，从而降低了剩余符号的熵。
Rice 编码： 剩余符号使用 Rice 码进行编码（一种对于几何分布最优的变长编码）。与固定速率方案不同，这使得码本实际上是无界的，能够处理高斯尾部而无需拉伸外部单元。实现的速率落在目标值的 $\sim 0.01$ bps 之内。

4. KV 缓存的偏差校正

为了防止 KV 缓存中的确定性偏差破坏注意力语义，HyperQuant 集成了：

随机旋转： 每层旋转（使用全 Haar-均匀 QJL 矩阵或廉价的 $\pm 1$ 符号对角矩阵）以减少各向异性。
减法抖动 (Subtractive Dither)： 在量化前添加一个新的均匀噪声向量 $U \sim \text{Uniform}(V(\Lambda))$ ，并在量化后将其减去。作者在附录 A 中证明，这可以产生严格的逐向量内积无偏性，这一特性优于标准 QJL 草图的分布平均无偏性。

核心贡献

统一的率失真最优流水线： HyperQuant 是第一个将 RHT、最优格点和熵编码结合起来，同时应用于权重和 KV 缓存的无需数据的流水线，实现了与理论目标仅 $\sim 0.01$ bps 差距的速率。
卓越的权重量化： 通过使用无界格点和变长编码取代有限码本，HyperQuant 在每个运行点（3–5 bps）都优于 HIGGS。论文将这种增益分解为：
- 熵余量 (Entropy Slack)： 恢复了被固定速率索引浪费的比特（在低速率时占主导）。
- 无界码本优势： 无限码本相对于有限码本的结构性优势（在高速率时占主导）。
两阶段 KV 量化： 作者将 KV 量化特征化为两个阶段：“高质量”阶段 ( $\ge 2.5$ bps)，其中偏差校正变体趋于收敛；以及“高压缩”阶段 ( $1.7\text{--}2.5$ bps)，其中 QJL 旋转提供了显著增益（约 0.5 PPL 提升）。
硬件集成： 该流水线专为现代 Tensor Core（Hopper/Blackwell）设计，集成了 fp8、int8、nvfp4 和 mxfp4 路径。值得注意的是，作者发现由于变换后的权重呈现轻尾、近高斯的分布，int8 的表现优于 fp8。
泛化能力： 该方法成功迁移到了非 LLM 架构，在 19B 参数的 LTX-2 视频 DiT 上表现出色，未出现明显的伪影。

实验结果

在 Llama-3.1-8B-Instruct (WikiText-2) 和 LTX-2-19B 上进行的评估：

权重量化： 在 4 bps 时，HyperQuant (E8 格点) 实现的困惑度 (PPL) 为 7.434，而 HIGGS-p2 为 7.618。在 3 bps 时，差距显著扩大（HyperQuant 为 8.744，HIGHS 为 9.527）。
KV 缓存量化：
- 在 3 bps 时，HyperQuant 实现 PPL 为 7.41（对比 bf16 基准 7.16），实现了 81% 的内存缩减。
- 在 2 bps 时，HyperQuant 实现 PPL 为 7.93（仅比基准高 +0.77%），显著优于 OCTOPUS（PPL 增加 +34.7%）和 TurboQuant。
- 在 1.7 bps 时，HyperQuant 达到了 7.1× 的压缩比，而 PPL 增加为 26.9%，相比之下 OCTOPUS 的压缩比接近 3.0×。
端到端性能： 在 H100 上，HyperQuant 将线性权重压缩了 3.9×，将 KV 缓存压缩了 3.79×。虽然变长解码引入了延迟（在当前硬件上没有实现墙钟速度提升），但驻留内存的减少非常显著（全模型从 14.96 GiB 降至 5.29 GiB）。
视频模型： 在 LTX-2-19B 上，4 bps 量化产生的 PSNR 为 22.74 dB，LPIPS 为 0.20，未见明显伪影，表现优于基于 fp8 的量化。

意义与主张

论文声称，HyperQuant 通过将信息论原则（熵编码和格点理论）严格应用于 Transformer 推理，建立了无需数据的后训练量化的新基准（SOTA）。

理论突破： 它证明了当前 SOTA（HIGGS）与最优性能之间的差距主要源于固定速率索引和有限码本的低效。通过转向无界格点上的变长编码，HyperQuant 找回了这些“余量”。
实际部署： 该方法不需要校准数据集，也不需要微调，因此可以立即部署。它提供了一个“操作菜单”，允许从业者权衡内存与质量（例如，3 bps 的 KV 缓存可以在实现巨大内存节省的同时，保持极小的 PPL 损失）。
硬件感知： 该工作挑战了 fp8 总是优于处理离群值的假设；通过 RHT 使数据高斯化，它表明 int8 在处理变换后的权重时往往是更好的选择，能在相同的比特宽度下提供更高的质量。

作者总结道，虽然 HyperQuant 目前在当前硬件上是以牺牲吞吐量来换取内存效率，但该流水线为未来的内核优化（例如，融合 decode+MMA）奠定了必要的基础，这些优化有望解锁墙钟速度（wall-clock speedup）的提升。