🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

本文介绍了 Hurwitz 四元数乘法量化（HQMQ），这是一种无需校准的方法，通过将 4 元素块表示为经固定 Hurwitz 群与随机次级码本乘积量化的四元数来压缩 KV 缓存，在消除校准需求的同时，于多种现代大语言模型中实现了接近 fp16 的精度并达到高达 5.05 倍的压缩率。

原作者： Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比，对论文《Hurwitz 四元数乘法量化用于 KV 缓存压缩》（HQMQ）的解释。

核心难题：“内存囤积者”

想象大型语言模型（LLM）是一位才华横溢却容易健忘的图书管理员。当你提出一个长问题时，它必须记住你说过的每一个字才能给出正确答案。在计算机术语中，这种记忆被称为KV 缓存。

对于非常长的对话，这个内存缓存会变得巨大。如果图书管理员试图以高清模式（就像 4K 电影一样）记住每一个细节，它会瞬间填满计算机的内存（RAM）。这迫使计算机使用更慢的存储设备或直接崩溃，导致对话中断。

为了解决这个问题，工程师们尝试“压缩”内存，就像把 4K 电影压缩成更小的 MP4 文件。然而，之前的压缩方法就像一把钝刀：如果你把文件大小压缩得太多（低于 4 位），电影就变得无法观看（AI 开始胡言乱语）。如果 AI 模型存在“离群值”（数据中奇怪、极端的数值），标准压缩方法会完全失效，导致 AI 产生严重的幻觉。

解决方案：HQMQ（“智能罗盘”系统）

作者提出了一种名为HQMQ的新方法。他们不只是简单地缩小数字，而是将数据组视为四元数（一种四维数学罗盘）。

以下是其工作原理，分为三个简单步骤：

1. "24 点星”（主码本）

想象数据指向的方向就像指南针的指针。与其尝试存储精确的角度（这需要太多空间），作者使用了一个特殊的、预先制作好的、拥有24 个顶点的“星”（称为 Hurwitz 群）。

类比：这就好比一套标准的 24 个固定方向（北、东北等，但在四维空间中）。无论数据指向哪里，你只需将其“吸附”到这 24 个“完美”方向中最接近的一个。
神奇之处：由于这 24 个点在数学上是完美的且均匀分布的，你不需要训练 AI 来学习它们。它们只是“硬编码”的规则，就像键盘上的字母一样。

2. “随机旋转”（次级码本）

这 24 个点不足以覆盖所有可能的细微差别。因此，作者添加了第二层：为 AI 的每个特定部分添加一个微小的随机“旋转”。

类比：想象你在一个地球仪上画了那 24 个点。现在，想象你可以为 AI 处理的每一句话随机旋转这个地球仪。
结果：当你将固定的 24 个点与随机旋转结合起来时，你就得到了成千上万个独特的方向（ $24 \times \text{随机旋转}$ ）。
酷在哪里：论文声称你不需要训练这个随机旋转。由于其背后的数学原理，任何随机旋转的效果几乎都等同于经过训练的旋转。这就像说：“你不需要练习扔飞镖；随便扔，数学保证你能投中靶子。”这节省了时间和数据。

3. “离群值安全网”（Med3×）

一些 AI 模型（如 Qwen）存在“离群值”——即比正常值大 100 倍或 200 倍的数据点。标准压缩试图将这些巨大的数字强行压缩以适应，这会破坏数据。

类比：想象你在打包行李箱。大多数衣服尺寸正常，但你有一只巨大且形状怪异的泰迪熊。如果你试图强行把这只熊塞进一个小盒子里，盒子就会破裂。
修复方法：HQMQ 有一条规则：“如果一个数字太大（超过平均值的 3 倍），就不要挤压它。只需将其保持为原始的、高质量的形式（fp16），并标记一个小旗子。”
结果：只有约 1–3% 的数据接受这种特殊处理，因此内存节省仍然巨大，但那些“巨型泰迪熊”不会破坏系统。

他们证明了什么？

作者在五种不同的现代 AI 模型（Mistral、Llama、Qwen 等）上测试了这种方法。以下是他们的主要发现：

无需训练即可工作：与其他需要“校准”阶段（AI 学习数据以了解如何压缩）的方法不同，HQMQ 使用随机设置即可立即工作。
节省巨大空间：他们成功将内存缓存缩小了5 倍。例如，一个 700 亿参数模型的 128k 上下文缓存（通常需要 43 GB）被缩小到了8.5 GB。这意味着你可以在单个消费级显卡上运行巨大的 AI，而不需要超级计算机。
处理“坏”数据：在具有极端离群值的模型（如 Qwen）上，标准压缩完全失败（AI 的错误率飙升）。HQMQ 加上“安全网”修复了这一问题，将 AI 的性能恢复到了接近完美的水平。
速度：他们构建了一个特殊的“融合”引擎，在 AI 思考的同时读取压缩数据并即时解码。这意味着 AI 不会变慢，只是使用了更少的内存。

总结

HQMQ 就像是一个用于 AI 内存的通用、预制压缩套件。它利用了一个巧妙的数学技巧（将固定的 24 点星乘以随机旋转）来高效地存储方向，而无需事先学习任何东西。它还为异常数据峰值配备了安全开关。

结果如何？你可以在更小的计算机上运行更长、更智能的对话，而 AI 不会“发疯”。

技术摘要：用于 KV 缓存压缩的 Hurwitz 四元数乘法量化

问题陈述

在大语言模型（LLM）进行长上下文推理时，键值（KV）缓存的内存成本往往超过计算成本。以 FP16 存储 K 和 V 向量，在序列长度超过 32k 时可能消耗数十 GB 内存。虽然标量量化（如 int8、int4）能降低此成本，但在低于 4 比特时性能会显著下降，而 int2 通常会导致模型崩溃。此外，现代架构（特别是具有分组查询注意力（Grouped Query Attention）的架构，如 Qwen2.5 和 Qwen3）表现出“重异常值”的注意力模式，即一小部分 K 块具有极大的幅度。在这些场景下，标准标量量化会彻底失效，导致困惑度（PPL）飙升 10,000 点以上。现有的向量量化方法通常需要校准数据，或者无法有效处理这些异常值。

方法：Hurwitz 四元数乘法量化（HQMQ）

作者提出了 HQMQ，这是一种无需校准的方法，它将 K 或 V 向量的每 4 个元素块视为四元数 $x \in \mathbb{H}$ 。该方法将向量分解为半径 $r = \|x\|$ 和 3 球面 $S^3$ 上的单位方向 $u = x/r$ 。

1. 乘法码本组合

HQMQ 不学习单个大型码本或使用加法组合，而是通过两个组件的乘法积构建联合码本：

主码本（ $P$ ）： 一组固定的 24 个单位 Hurwitz 四元数，对应于 $S^3$ 上 24 胞体（24-cell）的顶点（即二元四面体群 $2T$ ）。这些顶点两两之间相隔 $60^\circ$ ，并构成一个封闭的乘法群。
次级码本（ $S$ ）： 一组 $S$ 个随机单位四元数，按（层、头、角色）初始化，无需校准。

有效码本是集合 $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ 。这产生了 $24S$ 个有效码字，而仅需存储 $S$ 个参数。方向 $u$ 被量化为最大化内积 $\langle u, c \rangle$ 的码字 $c \in C$ 。

2. 随机初始化的理论依据

该论文论证了校准是不必要的，因为单位四元数的左乘是 $S^3$ 上的等距变换。随机选择 $S$ 个元素实际上旋转了固定的 $2T$ 群，创建了 $S$ 个不相交的等距副本，这些副本准均匀地铺满 $S^3$ 。命题 3.1 确立了这种随机乘法填充在 $S^3$ 上实现了 $O((24S)^{-1/3})$ 的最优覆盖率，与最优球体填充的理论界限（相差常数因子）相匹配。

3. 中值 - 乘数异常值提取（Med3×）

针对“重异常值”架构（其中块范数变化幅度达 80–280 倍），作者引入了每批次的异常值提取步骤：

计算当前批次中的中值块范数 $r_{med}$ 。
识别满足 $r > C \cdot r_{med}$ 的块（其中固定常数 $C=3$ ）。
将这些异常值以完整 FP16 格式存储（带 1 位标志），并使用 HQMQ 量化剩余的“主体”块。
此步骤无需校准数据，且在不同架构间表现稳定。

主要贡献

新的码本组合规则： 一种基于有限 Hurwitz 群 $2T$ 的乘法量化方案，不同于加法向量量化（CommVQ）或扁平学习向量量化（VPTQ）。
无需校准的部署： 该方法依赖于 24 胞体 Haar 随机旋转的几何特性，消除了每模型校准过程的需求。实证结果显示，在不同随机种子下，最终任务困惑度的变化小于 0.14%。
鲁棒的异常值处理： Med3× 提取机制使得在异常值密集的模型（如 Qwen2.5/3）上能够使用低位量化，而 naive int4 在这些模型上会完全失效。
实证验证： 在五个多样化模型（Mistral-7B、Llama-3-8B、Qwen2.5-7B、Qwen3-8B 和 gpt-oss-20b）上的评估表明，其在相同比特率下对 naive 整数基线实现了帕累托优势。

实验结果

困惑度与质量

Mistral-7B 与 Llama-3-8B： HQMQ 在约 5 比特下实现了近乎无损的压缩，其困惑度与 FP16 的差距在 0.02–0.03 点以内。在 3.79 比特时，其下游零样本准确率（PIQA、HellaSwag、ARC-Easy）与 FP16 持平。
Qwen2.5-7B 与 Qwen3-8B（重异常值）： naive int4 崩溃至 17,000–18,000 的 PPL。HQMQ + Med3× 在约 5 比特下恢复了 FP16 质量（PPL $\approx$ 9.0–9.7），相比在更少比特下的 naive int4，质量提升了约 1,900 倍。
gpt-oss-20b（稀疏 MoE）： 在匹配比特率下，HQMQ 对 naive 基线的帕累托优势达到 3–3.5 倍。

与基线的比较

对比 Naive Int： 在所有模型中，HQMQ 在匹配比特率下的 PPL 表现优于 naive int4 3–1,900 倍。
对比 KIVI（校准基线）： 在 3.79 比特下，HQMQ 在 CoQA 上相差约 1 点，在 GSM8K 上相差 2.3 点，即可匹配经过校准的 KIVI-4（后者使用约 4.5 比特），同时比特数减少了 16% 且无需校准。
对比球面/向量量化： HQMQ 优于球面基线（如 TurboQuant 风格）和带有随机码本的加法向量量化基线。

内存与延迟

压缩： HQMQ 实现了高达 5.05 倍 的 KV 缓存压缩。对于具有 128k 上下文的 Llama-3-70B 模型，缓存从 43 GB（FP16）缩减至 8.5 GB，使得在单个 24 GB 消费级 GPU 上进行推理成为可能。
延迟： 一个融合的 Triton 内核直接在注意力循环中解码 K/V。在生产级解码工作负载上，该融合内核保持了约 0.033 毫秒的恒定延迟，无论上下文长度如何，相比每步对整个缓存进行去量化的 naive“伪量化”流水线，提供了 7.4 倍至 82.9 倍 的加速。

意义与主张

该论文声称，HQMQ 为 KV 缓存量化提供了一种“清晰的代数方案”，弥合了理论向量量化与实际部署之间的差距。其主要意义在于：

使重异常值模型的低比特量化成为可能： 这是首个使子 5 比特量化在 Qwen2.5/3 等架构上可行的方法，而标准方法在这些架构上会失效。
消除校准开销： 通过利用 Hurwitz 群的几何特性，它消除了对数据依赖型校准的需求，使其适用于专有模型或快速部署的模型。
实际效率： 高压缩比（高达 5 倍）与避免内存带宽瓶颈的融合内核相结合，使得在消费级硬件上进行长上下文推理变得切实可行。

作者指出了局限性，具体而言，HQMQ 在子 3 比特区间内无法与训练过的码本（如 CommVQ）竞争，且其在极长上下文（超过 128k）或特定架构（如多头潜在注意力 MLA）上的性能需要进一步研究。然而，在 3–5 比特区间内，它确立了无需校准、抗异常值的 KV 压缩的新最先进水平。