🤖 machine learning

OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

OffQ 是一种新颖的低比特量化方法，它通过利用 top-1 PCA 识别出一个低维离群子空间，将高幅值激活值旋转至单个通道，并将它们的幅值转换为一个共享偏移量，从而通过实现高效且准确的 W4A4KV4 量化来缓解大型语言模型中的激活值离群问题。

原作者： Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个规模巨大、细节极其丰富的知识库（即大语言模型，LLM）。为了让这个知识库能装进一个可以随身携带在手机或笔记本电脑上的小背包里，你需要缩小这些书籍的体积。这个过程被称为量化（Quantization）。

通常情况下，我们通过舍弃微小的细节来缩小书籍，将复杂的数字变成简单的整数（比如把 4.99 变成 5）。这能节省大量的空间。

问题所在：“尖叫者”（The "Screamers"）
然而，这里有一个陷阱：在这些知识库中，大部分页面都是安静且平缓的，但有少数页面却包含了“尖叫者”——即那些比其他数字大得多的、极度响亮且混乱的数字。

如果你试图将整个知识库压缩到一个小盒子里，这些“尖叫者”会迫使你使用一个非常粗糙的网格。
这就像是试图把一头大象和一只小老鼠同时塞进同一个小板条箱里。为了容纳大象，你不得不把小老鼠压成一个无法辨认的小肉团。
用技术术语来说，这些“尖叫者”（激活值离群点/activation outliers）会破坏模型的准确性，因为对于那些安静的数据部分来说，舍入误差变得太大了。

旧有的解决方案
以往解决“大象与老鼠”问题的尝试，类似于以下几种做法：

学习一种新的缩减方式： 重新训练模型，使其更擅长缩减（这既昂贵又缓慢）。
使用不同尺寸的盒子： 把大象放在大盒子里，把老鼠放在小盒子里（混合精度）。这种方法有效，但会让打包过程变得复杂且缓慢。
使用奇特的定制盒子： 使用不符合标准货架的特殊盒子（非均匀量化），但大多数计算机都无法轻松处理这些盒子。

新的解决方案：OffQ
论文介绍了一种名为 OffQ 的新方法。OffQ 并不试图与“尖叫者”对抗，也不使用不同的盒子，而是使用了一个聪明的技巧来“抵消”这些尖叫者。

以下是 OffQ 的工作原理，通过一个简单的类比分步展示：

1. 寻找“尖叫者”（Top-1 PCA）

首先，OffQ 会观察数据，找出“尖叫者”究竟躲在哪里。

类比： 想象一个拥挤的房间，除了角落里的一个人在尖叫外，其他人都在低声细语。标准方法可能会被这些细语声搞糊涂。OffQ 使用一种特殊的“Top-1”雷达，它会忽略细语，只锁定并放大那个最响亮的尖叫声。
结果： 它识别出这些“尖叫者”都遵循特定的模式，并且可以被归类为一个单一的“响亮通道”。

2. 将“尖叫者”移至一处（旋转/Rotation）

一旦找到，OffQ 会旋转数据，使得所有的尖叫能量都集中在仅仅一个通道中（就像把所有尖叫的人都移到剧院里的某一个特定座位上）。

类比： 与其让一些人在不同的排坐着尖叫，不如把他们全部移到前排的 1 号座位。现在，剧院的其他部分就变得非常安静了。

3. 神奇的“偏移”技巧（Hadamard 旋转）

这是核心创新点。OffQ 拿到那个“响亮的座位”后，使用一种数学旋转（称为 Hadamard 旋转），将那股响亮的噪声均匀地扩散到剧院里的每一个座位上。

类比： 想象 1 号座位的巨大噪音实际上是一条厚重的大毯子。与其让它留在 1 号座位上（从而挡住视线），OffQ 将这张毯子剪成无数个微小的、等大的碎片，然后把每一片微小的碎片都披在剧院里的每一个座位上。
结果： 再也没有哪个座位会被噪音淹没。现在的“噪声”变成了一个在所有人耳边都一样的、微弱且恒定的背景嗡鸣声。

4. 吸收噪声（量化/Quantization）

由于噪声现在是全场均匀的背景嗡鸣，量化过程（即缩减过程）可以简单地通过说：“好吧，我们知道到处都有微弱的嗡鸣声。让我们通过调整零点（zero-point）来忽略它。”

类比： 这就像是告诉图书管理员：“我们知道房间里有点灰尘。只要从每本书的重量中减去一点点灰尘的重量，它们就能完美地装进小背包里。”
结果： “尖叫者”被有效地中和了。模型现在可以被压缩到 4-bit（非常小）的规模，而不会丧失理解语言的能力。

为什么这很重要

无需特殊硬件： 与其他需要定制、复杂芯片的方法不同，OffQ 使用标准的、均匀的盒子。这就像使用标准的集装箱而不是定制的木箱。
更高的准确性： 论文表明，即使在进行极小规模的压缩（权重、激活值和内存均为 4-bit）时，OffQ 也能比以往的方法更好地保持知识库的准确性。
高效性： 它不需要重新训练模型，也不需要额外的内存来存放不同的盒子。它只是重新排列了数据并调整了“零点”。

总结
OffQ 是一种聪明的打包技巧。它不再让少数几个“响亮”的数字毁掉整批货物，而是隔离它们，将它们的影响均匀地分布到整个包裹中，然后调整比例，使包裹能够完美地装进一个微小且高效的盒子里，而不会损坏其中的内容。这使得在日常设备上运行强大的 AI 模型变得更加可行。

技术摘要：OffQ —— 通过偏移量驯服 LLM 量化中的结构化离群值

问题陈述
低比特量化（如 4-bit）对于通过减少内存占用和计算成本，将大语言模型（LLM）部署在资源受限的硬件上至关重要。然而，同时对权重、激活值和 KV 缓存进行鲁棒量化（W4A4KV4）仍然是一个重大挑战。主要障碍在于存在激活离群值（activation outliers）：即在特定通道中出现的稀疏且极大的数值，它们主导了动态范围。这些离群值迫使量化方案必须使用粗糙的步长来适应完整的范围，从而导致大多数激活分布出现巨大的舍入误差，并导致严重的性能下降。虽然基于旋转的方法（如 QuaRot、SpinQuant）通过重新分配激活能量改善了离群值缓解问题，但其产生的分布往往仍保留着高方差，使得可靠的 W4A4KV4 量化变得困难。现有的替代方案，如混合精度方案或非均匀量化，会引入执行异构性、复杂的算子内核或硬件不兼容性。

方法论：OffQ
作者提出了 OffQ，这是一种后训练量化（PTQ）方法，旨在缓解结构化激活离群值，且不依赖于混合精度组件、非均匀量化层级或基于反向传播的昂贵旋转学习。该方法通过三个核心阶段运行：

通过 Top-1 PCA 进行浓度集中：
该方法利用了 LLM 中的激活离群值具有显著低维结构的观察结果，这种结构在不同层、Token ID 和序列位置之间是共享的。为了利用这一点，OffQ 采用了 Top-1 PCA 程序：
- 它不是使用所有 Token 进行协方差估计（这会被正常 Token 分散注意力），而是从校准数据集中仅选择每个序列中具有最大 $L_\infty$ 范数的单个 Token。
- 它计算由这些极端 Token 组成的协方差矩阵的主特征向量。
- 使用该特征向量矩阵对激活进行旋转，将占主导地位的离群值方差集中到第一个通道（或少数几个通道）中，使剩余通道在很大程度上不再有离群值。
通过偏移量进行吸收（Hadamard 旋转）：
一旦离群值被集中到特定通道，OffQ 会应用专门的 Hadamard 旋转 来吸收它们：
- 构建一个部分随机的 Hadamard 矩阵 $H$ ，其中第一行全部由 1 组成（ $H_{1,:} = [1, 1, \dots, 1]$ ）。
- 对这些离群值集中的激活应用此旋转，将离群通道的值均匀地重新分布到该组的所有通道中。
- 从数学上讲，这把离群值的幅度转化为一个加到该组每个通道上的常数偏移量（constant offset）。
- 该偏移量随后被吸收进非对称量化的**零点（zero-point, $z$ ）**中。因此，剩余的激活值呈现出更平坦的分布，且标准差降低，非常适合标准的低比特均匀量化。
分组实现：
为了处理多个离群通道，该方法将通道划分为组。在每个组内，识别出顶层离群通道，并进行旋转以创建组内偏移量。这允许使用逐组非对称量化（per-group asymmetric quantization），其中每个组都有自己的缩放因子（scale）和零点来吸收特定的离群能量。

核心贡献

识别结构化离群值： 本文指出 LLM 的激活离群值具有跨层和跨 Token 共享的低维结构，可以通过针对性的 Top-1 PCA 方法进行隔离。
OffQ 框架： 一种新颖的 PTQ 方法，结合了用于离群值浓度集中的 Top-1 PCA 和用于将离群值转化为量化零点的基于 Hadamard 的偏移技术。这实现了使用标准均匀网格和均匀精度矩阵的高效 W4A4KV4 量化。
性能与效率： 该方法在 4-bit 量化下实现了最先进的准确度，且没有混合精度执行或复杂学习旋转的开销，保持了端到端低比特推理的简洁性。

实验结果
研究人员在各种 LLM 架构（Llama 2, Llama 3, Llama 3.2 以及 Qwen 2.5 系列）和基准测试（WikiText 困惑度以及 ARC-e, ARC-c, BoolQ, HellaSwag 等上的 0-shot 准确率）上进行了广泛实验。

优于基准模型： OffQ 一致地优于最先进的基准方法，包括基于旋转的方法（QuaRot, SpinQuant, DFRot, KurTail）和混合精度方法（ResQ, QUIK）。
W4A4KV4 鲁棒性： 虽然仅权重方法（GPTQ）和混合精度方法在 W4A4KV4 设置下遭受了严重的性能下降，但 OffQ 保持了接近 16-bit 基准的困惑度和准确率。例如，在 Llama 3-8B 上，OffQ 的 PPL 为 6.98，而 SpinQuant 为 7.4，QuaRot 为 7.8。
消融实验： 研究证实，Top-1 选择策略对于准确识别离群子空间至关重要，其表现优于标准 PCA。此外，发现通道的**排序分组（sorted grouping）**比锯齿形分组（zigzag grouping）更有效，且组大小为 128 在性能和元数据开销之间提供了最佳平衡。

意义与主张
本文声称 OffQ 提供了一种实用且高效的机制，使 4-bit 量化能够对激活离群值保持鲁棒。通过将“尖峰”离群值问题转化为可管理的“偏移量”问题，OffQ 使使用部署友好的均匀硬件进行可靠的 W4A4KV4 量化成为可能。作者强调，这种方法增强了在不牺牲模型准确性或不需要复杂、异构执行流水线的情况下，在成本敏感型和资源受限环境（如边缘设备）中部署 LLM 的可行性。该方法被视为一种互补技术，未来可以与其他先进的量化策略相结合，尽管目前的结果已证明其作为独立解决方案的强大实力。

1. 寻找“尖叫者”（Top-1 PCA）

2. 将“尖叫者”移至一处（旋转/Rotation）

3. 神奇的“偏移”技巧（Hadamard 旋转）

4. 吸收噪声（量化/Quantization）

类似论文