🤖 AI

When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon

本文证明，在 Apple Silicon 上，专为 int4 KV 缓存量化设计的融合 Metal 内核不仅保持了模型质量，还通过利用统一内存带宽和先进的旋转技术消除逐 token 的退化，在延迟方面优于 fp16。

原作者： Mohamed Amine Bergach

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Amine Bergach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《量化即免费》的通俗解释，使用简单的语言和日常类比。

核心理念：打破“速度 vs 质量”的法则

通常，当你想让计算机程序运行得更快时，必须牺牲一些质量。这就像开车：如果你想开得特别快，可能不得不走一条不那么平滑的捷径，或者为了减重而关掉空调。

在人工智能领域（特别是大型语言模型），存在一种“内存交通堵塞”。当 AI 阅读长故事或对话时，它必须记住刚刚读到的所有内容。这种内存（称为KV 缓存）会变得非常庞大。

旧方法：将内存保持为高质量、大体积的格式（就像全高清视频文件）。它很准确，但占用大量空间，并且在计算机的“高速公路”（内存带宽）上传输缓慢。
标准解决方案：压缩内存（就像将视频转换为较小的 MP4 格式）。这节省了空间，但通常计算机需要更努力地解压它，从而使整个过程变慢。

这篇论文声称，在 Apple Silicon（M1/M2/M3 芯片）上，这条法则被打破了。 他们找到了一种有效压缩内存的方法，使得 AI 实际上比未压缩版本运行得更快，且不会损失任何质量。

类比：图书馆与图书管理员

想象 AI 是一位图书管理员，试图根据庞大的图书馆藏书（上下文）来回答问题。

问题（沉重的书籍）：
图书管理员必须将书籍最新的页面打开放在桌上以便查阅。如果书籍是厚重的精装百科全书（标准的fp16格式），图书管理员大部分时间都花在把书从书架搬来搬去。桌子很小，所以他们一次只能打开几本书。
标准解决方案（复印件）：
通常，为了节省空间，你会把页面复印到薄纸上（压缩）。但图书管理员每次需要查阅时，都必须停下来，展开复印件，阅读，然后再折叠起来。这种“折叠/展开”所花费的时间如此之长，以至于图书管理员实际上比直接搬运厚重的书籍更慢。
Apple Silicon 解决方案（魔法文件夹）：
作者构建了一个特殊的魔法文件夹（融合 Metal 内核）。
- 技巧：他们不仅仅是缩小纸张，而是使用一种特殊的数学洗牌（称为SRFT，即符号随机化快速傅里叶变换）重新排列页面上的单词，使文本看起来像随机噪声。这使得文本很容易被压缩成微小的 4 位“半字节”（就像将一段话变成一行代码）。
- 速度：由于 Apple 计算机的内存是“统一”的（图书管理员和书架紧挨在一起），移动这些微小的压缩页面极其迅速。 “洗牌和压缩”文本所花费的时间如此之短，以至于实际上比移动厚重的未压缩书籍更快。
- 结果：图书管理员现在可以在桌上同时打开 3 倍多的书籍，并且阅读速度仍然比之前更快。

关键发现（通俗版）

这不是权衡：在 Apple 芯片上，你可以同时获得最佳效果：3 倍的内存容量 AND 更快的速度。论文称之为“量化即免费”。
“魔法洗牌”（SRFT）：他们使用了一种称为“符号随机化傅里叶变换”的数学技巧。这就像完美地洗牌一副扑克牌，使得高价值牌（异常值）均匀分布。这防止了“复印件”变得模糊。他们发现这种方法与其他洗牌方法（Hadamard）效果一样好，但更适合 Apple 的硬件。
修复“灾难”：在一个特定模型（Qwen）上，简单地压缩文本会导致 AI 犯下可怕的错误（就像图书管理员读到了胡言乱语）。作者通过在压缩前为每个特定单词添加一个微小的“音量旋钮”（每通道缩放）解决了这个问题。这在不降低速度的情况下挽救了质量。
学习 vs 随机：他们测试了是否可以“教会”AI 进行完美的洗牌。令人惊讶的是，随机洗牌在最终结果上比“学习”得到的洗牌效果更好，尽管后者在数学测试中看起来更准确。事实证明，随机洗牌就像一个有益的“正则化器”，使 AI 保持稳定。

结论

这篇论文证明，在 Apple 计算机上，你可以将 AI 的内存占用缩小3 倍（节省巨大空间），并且由于计算机内存的工作方式，AI 实际上比以前快了 3% 到 8%。

这就像找到了一种打包行李箱的方法，使其打包得如此紧密以至于变得更轻，但你仍然能比从半空且笨重的行李箱中取衣服更快地拿出衣物。

这是为谁准备的？
这专门适用于在Apple Silicon 设备（笔记本电脑、手机、平板电脑）上运行 AI 模型。作者指出，在其他计算机（如标准 NVIDIA GPU）上，这种速度提升可能不会发生，因为它们的内存架构不同。

它能实现什么？
它允许这些设备处理更长的对话或阅读更长的文档，而不会耗尽内存或变慢，同时保持 AI 的回答和以前一样聪明。

技术摘要：当量化是免费的

问题陈述

长上下文 Transformer 推理通常受限于键值（KV）缓存的内存占用和带宽需求。随着上下文长度增加（例如 128K 个 token），以 fp16 格式累积的 KV 张量可能超过模型权重本身的大小，从而形成瓶颈：此时限制解码速度的不再是计算能力，而是内存带宽。

行业标准做法通常通过“先旋转后量化”策略（如 QuaRot、SpinQuant）来解决这一问题，即在将激活值量化为低位（int4/int8）之前，先应用随机正交旋转使其高斯化。然而，这种方法传统上被视为一种质量与延迟的权衡：旋转与反旋转的计算开销，加上量化误差，通常会导致解码延迟增加 5–20%，即使节省了内存。

作者提出，在Apple Silicon（统一内存架构）上，这种权衡被逆转了。他们假设，只要量化内核经过高度优化并融合，3 倍压缩缓存带来的带宽节省将超过量化内核的计算成本。

方法论

1. 符号随机傅里叶变换（SRFT）

本文采用SRFT（符号随机 FFT）作为旋转机制，定义为 $SRFT(x) = \text{pack}(F \cdot \text{diag}(s) \cdot x)$ ，其中 $F$ 是酉离散傅里叶变换（DFT）， $s$ 是固定的随机符号向量。

原理：虽然哈达玛变换（SRHT）很常见，但 SRFT 为非 2 的幂次维度提供了灵活性，并与 16×16 矩阵乘法操作（AMX、Tensor Cores）相一致。
发现：作者证明，在五个模型（SmolLM2、Qwen2.5、Gemma-3）和各种位预算下，SRFT 和 SRHT 在困惑度（PPL）质量方面在统计上无法区分。

2. 融合 Metal 内核

为了消除调度开销，作者实现了一个单一的融合 Metal 计算内核，执行整个流程：

加载与符号乘法：在寄存器内应用随机符号对角矩阵。
FFT：执行 $\log_2(d/2)$ 次基 2 Stockham 蝴蝶运算。
打包：将厄米特对称性解包为实数表示。
缩放与量化：执行每通道 $\lambda$ 重缩放（学习或校准）、每组绝对最大值归约，并舍入为有符号 int4/int8。
半字节打包：使用 SIMD 混洗将两个 int4 值打包到单个字节中。

该内核通过 torch.mps.compile 公开，并集成为 HuggingFace Cache 的子类（SRFTInt4Cache）。

3. 高级缩放策略

每通道 + 每组：对于头维度较小的模型（如 Qwen2.5-1.5B， $d=128$ ），由于异常坐标的存在，每 token 缩放会灾难性地失效。作者结合了每通道缩放（每个坐标一个缩放因子）与每组缩放（每组 16 个）来恢复质量。
学习旋转：本文研究了后训练校准，其中添加了可学习的旋转 $R$ 和缩放 $\lambda$ 。一个关键发现是，在不使用 SRFT 基础的情况下学习 $R+\lambda$ 能显著更大地最小化校准均方误差（84.9% 对比 50.3%），但会导致下游 PPL 更差，这表明固定的随机 SRFT 起到了正则化的作用。
豪斯霍尔德旋转：在 $d=256$ 时，具有 $k=d/2$ 个反射器的豪斯霍尔德旋转实现了近乎无损的量化（ $\Delta PPL \approx 0.000$ ），且参数数量仅为完整凯莱旋转的一半。

4. CPU 路径（AMX）

一个互补的 CPU 路径利用 Apple 的 AMX 矩阵协处理器，通过 cblas sgemm 实现。通过将长度为 8 的 DFT 批处理为 16×16 实数矩阵乘法，作者实现了高达单核 AMX 峰值 91% 的性能，为 GPU 调度开销占主导地位的小批量场景提供了低延迟替代方案。

关键结果

性能（延迟）

在 Apple M1（16GB 统一内存）上，融合后的 int4 KV 缓存在全流程解码延迟上优于 fp16：

Gemma-3 1B：在 256–4096 个 token 的前缀上，运行速度快 3–8%（负延迟开销）。
Qwen2.5-1.5B：在短上下文（≤1K 个 token）下，运行速度快 0.7–2.6%。
机制：内核开销（约 25 纳秒/向量）低于通过每次解码步骤传输减少 3 倍数据所实现的内存带宽节省。

质量（困惑度）

SRFT 与 SRHT：在所有测试模型中， $\Delta PPL$ 无统计学显著差异。
Qwen2.5-1.5B：带有每通道 + 每组缩放的融合内核将 4 位 $\Delta PPL$ 从灾难性的 +7975（每 token 基线）降低至 +638.6（12.5 倍减少），与 Python 参考实现持平。
Gemma-3 1B：4 位 $\Delta PPL$ 从 +18.7（每 token）改善至融合缩放内核的 +3.6。
无损模式：在 $d=256$ 时，学习的豪斯霍尔德旋转实现了 $\Delta PPL = 0.000$ 。

内存效率

压缩：在全注意力层实现了 3.0 倍至 3.56 倍 的持久内存压缩。
实际影响：对于 Llama-3-70B 的 128K 上下文，int4 缓存将内存从约 41 GB（fp16）减少至约 10.9 GB。

意义与主张

本文主张，在统一内存硬件上，量化是“免费的”（吞吐量正向的），这推翻了行业标准假设，即低位量化总是会产生延迟惩罚。

权衡的逆转：主要贡献在于证明，在 Apple Silicon 上，3 倍压缩缓存带来的带宽节省超过了量化内核的计算成本。这使得 int4 KV 缓存对于笔记本电脑和边缘设备上的延迟敏感型长上下文推理严格优于 fp16。
硬件感知设计：这项工作强调，旋转选择（FFT 与哈达玛）更多是关于硬件对齐（例如 FFT 的基 8 结构与 AMX 16×16 瓦片匹配），而非数学优越性。
校准与 PPL 的分离：本文分离了一种新颖现象，即最小化校准均方误差并不能保证更好的下游 PPL，表明固定的随机旋转提供了必要的正则化先验。
部署可行性：通过将整个流程融合为单个 Metal 内核并将其与 HuggingFace 集成，作者证明了只要硬件架构（统一内存）和内核优化（融合）相一致，激进的 4 位量化就可以在不牺牲模型质量或速度的情况下部署。

作者总结道，虽然标准量化权衡适用于具有分离 HBM 和高调度开销的 GPU，但在笔记本电脑和边缘推理运行的统一内存体制下，这一权衡被逆转了。