🤖 machine learning

RDQ: Residual Distribution Quantization for Large Language Models

本文介绍了 RDQ，这是一个通过采用级联误差补偿来使逐通道缩放因子拟合漂移的残差分布，从而减轻大型语言模型中量化噪声超线性累积的训练后量化框架，在 3 位和 4 位精度下实现了最先进的困惑度，且零推理开销。

原作者： Prateek Singh

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Prateek Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个由 32 个相连房间组成的漫长且蜿蜒的隧道中发送一条秘密信息。在原始的高质量版本（称为 FP16）中，这条信息可以完美无瑕地从起点传到终点。但当我们试图将信息压缩成极小的格式（量化）以节省手机或边缘设备的存储空间时，事情开始出问题了。

长期以来，科学家们认为问题仅仅在于每个房间本身变得有点脏。他们认为：“如果我们只要把房间 1 清理干净，再清理房间 2，接着清理房间 3，一切就会好起来。”但这项名为 RDQ（残差分布量化） 的新论文发现，这种“分别清理每个房间”的方法实际上是错误的思考方式。

真正的元凶：“雪球”效应

作者发现，真正的问题在于一个雪球效应。每当信息经过一个房间时，都会增加一点点“噪声”或静电。在正常的隧道中，这并不重要。但在压缩后的隧道中，这点微小的噪声并不会消失；它会被带到下一个房间，并与该房间产生的新噪声混合在一起。

当信息到达第 32 个房间时，那点微小的静电已经变成了一阵巨大的轰鸣声。作者测量了这种“噪声累积”（他们称之为残差流漂移），并发现这种噪声量能完美地预测消息质量的恶化程度。事实上，他们发现了一种极其强大的相关性（皮尔逊相关系数 r=0.999）：如果你知道信号漂移了多少，你就能准确预测计算机会变得多么困惑。

重大发现：隧道并不平滑

在此论文发表之前，大多数专家假设这些隧道中的噪声看起来像是一个平滑、可预测的小山丘（“高斯”分布）。他们基于这种平滑的小山丘构建了他们的清理工具。

但作者进入隧道内部观察了一下。他们发现，在 LLaMA-3-8B 模型中，84% 的房间根本没有平滑的小山丘！相反，噪声是锯齿状的、怪异的，有时甚至有两个峰值（双峰分布）。这就像是预期看到一个平静的湖泊，结果却发现了一个波浪汹涌、突发巨浪的海洋。由于噪声如此怪异，旧有的“平滑小山丘”清理工具表现得非常糟糕，尤其是在尝试将消息缩小到仅 3 比特（一个非常小的尺寸）时。

解决方案：“级联误差补偿”（CEC）

那么，如何修复一个噪声随深度变化的隧道呢？作者提出了一种名为**级联误差补偿（CEC）**的新方法。

与其在清理每个房间时假装信息仍然新鲜且干净（这是旧方法所做的），CEC 提议说：“让我们先走一遍整个隧道，看看信息到达每个房间时究竟是什么样子的，然后再进行清理。”

以下是其工作原理：

实地走访： 计算机在隧道中运行一个测试消息。它让前几个房间像在现实生活中那样变得“脏”（量化）。
真实面貌： 当信息到达第 10 个房间时，它已经因为经历了前 9 个房间而变得有些嘈杂。系统捕捉到这个实际的、混乱的信号。
定制修复： 系统不再使用通用的清理工具，而是专门为这个混乱的信号构建一个定制的清理工具。它就在那个房间里调整消息的“音量”（缩放比例/scales）。
神奇折叠： 一旦构建好清理工具，它就会被“折叠”进房间的门框中（RMSNorm 权重）。这意味着当真实的信号稍后经过时，清理过程会自动完成，没有任何额外的耗时或速度损失。

结果：巨大的提升

团队在三个著名的 AI 模型上进行了测试：LLaMA-3-8B、Qwen-2.5-7B 和 Mistral-7B。

旧方法： 当他们尝试使用标准方法（RTN）将 LLaMA-3-8B 压缩到 3 比特时，消息几乎变得无法理解，得分（困惑度/Perplexity）从 5.83 飙升到了 14.09。这是一个巨大的质量下降。
RDQ 方法： 使用这种新的“走访”方法，他们将得分降到了 7.55。这比旧方法提升了 46.4%！
在 4 比特下： 他们也取得了有史以来最好的结果，大幅超越了之前的冠军（例如，对于 LLaMA，得分是 5.62 对比 6.92）。

这意味着什么

作者明确表示：这不仅仅是一个更好的工具，更是一种看待问题的新方式。他们证明了“漂移”是这些模型在低比特宽度下崩溃的主要原因。他们还表明，旧的“独立清理每个房间”的想法是一个死胡同，因为它忽略了来自前序房间的噪声雪球。

虽然他们目前还无法解决 2 比特 压缩的问题（那里的噪声实在太强了），但他们已经证明，对于 3 比特和 4 比特 压缩，我们可以保持模型的智能与快速。最棒的是，这种新方法可以与工程师现有的标准工具配合使用，因此无需任何特殊的、缓慢的硬件，即可部署在手机和电脑上。

简而言之：隧道变得混乱是因为我们清理房间的顺序错了。通过按照信息实际经过的顺序进行清理，我们可以让信号始终清晰地传达到终点。

技术摘要：针对大语言模型的 RDQ（残差分布量化）

1. 问题陈述：低于 4-bit 的性能退化壁垒

大语言模型（LLM）的训练后量化（PTQ）在精度降至 4-bit 以下时面临着剧烈的性能悬崖。虽然 4-bit 方法通常能接近 FP16 的质量，但 3-bit 量化往往会导致灾难性的退化。例如，在 LLaMA-3-8B 上，舍入至最近值（RTN）方法的困惑度（PPL）从 W4 时的 5.83 跳升至 W3 时的 14.09——仅为 1.33 倍的位宽减少，却导致了 2.42 倍的 PPL 增长。

论文指出，这一失败的根本原因在于残差流分布漂移（residual stream distributional drift）。在 Transformer 架构中，残差流 $h_l$ 是一个被每一层读取和写入的共享表示。当某一层 $l$ 被量化时，它引入的误差 $\epsilon_l$ 会持续存在于残差流 $h_{l+1}$ 中。这种误差随层数累积，导致深层激活值的分布显著偏离原始的 FP16 基准。

诊断该问题的关键经验发现包括：

超线性漂移累积：量化后的残差分布与 FP16 分布之间的总 KL 散度与对数困惑度（log-perplexity）呈高度相关，在所有测试的方法和位宽下，皮尔逊相关系数 $r=0.999$ （ $p<0.001$ ）。
非高斯分布：LLaMA-3-8B 中 84% 的层表现出非高斯残差分布（Kolmogorov-Smirnov 检验， $p \le 0.05$ ），这使得许多现有 PTQ 理论分析中隐含的高斯假设失效。
方差爆炸：逐层的残差流方差在模型深度方向上增长了 6,548 倍，表明后层对上游量化误差更为敏感。

2. 方法论：级联误差补偿（CEC）

提出的解决方案 RDQ（残差分布量化） 引入了一个以**级联误差补偿（Cascaded Error Compensation, CEC）**为核心的框架。不同于以往针对干净的 FP16 输入独立优化每一层的 PTQ 方法（如 GPTQ、AWQ、SpinQuant），CEC 承认在推理过程中，第 $l$ 层接收到的输入已经受到了前序所有层 $0 \dots l-1$ 量化所造成的失真影响。

CEC 流水线

CEC 采用顺序校准程序：

顺序处理：按顺序从 $l=0$ 到 $L-1$ 对每一层进行量化。
捕获漂移激活值：在量化第 $l$ 层之前，将校准数据通过模型，其中层 $0 \dots l-1$ 已经经过了量化。这捕捉到了第 $l$ 层在推理时实际会遇到的漂移激活分布（ $\hat{h}_l$ ）。
逐通道尺度拟合：利用这些捕获到的漂移输入，使用类 AWG 的网格搜索来拟合最优的逐通道尺度（per-channel scales）。其目标是在给定的漂移输入分布下，最小化输出重建误差。
通过折叠实现数学等价性：学习到的尺度被折叠到前序的 RMSNorm 权重中。这确保了该方法在数学上是精确的，且零运行时开销。前向传播过程与标准量化模型完全一致，兼容现有的推理栈（如 Qualcomm AIMET、GGUF 等）。

与前作的关键区别

论文强调，核心创新点不在于缩放公式本身（该公式仍为 AWG 式），而在于校准数据源。标准方法针对理想化的 FP16 输入进行校准，但在推理时，深层网络并不存在这种输入。CEC 则针对实际的漂移分布进行校准。

3. 主要贡献

识别残差流漂移：作者证实了残差流漂移是导致 sub-4-bit 退化的主导机制，这一点由 KL 漂移与对数 PPL 之间近乎完美的关联性（ $r=0.999$ ）所证明。
分布特征刻画：论文记录了 LLaMA-3-8B 中 84% 的层是非高斯的，且残差方差随深度增长了 6,548 倍，挑战了标准的 PTQ 假设。
级联误差补偿 (CEC)：一种顺序校准程序，用于修正跨层漂移累积，相比 LLaMA-3-8B 在 W3 上的 RTN 方法，实现了 46.4% 的 PPL 降低。
达到 SOTA 性能：RDQ 在三种不同的架构（LLaMA-3-8B、Qwen-2.5-7B、Mistral-7B）的 W3A16 和 W4A16 配置下均取得了最佳结果，在所有测试配置中都优于已发表的最佳基准方法（LeanQuant、SpinQuant）。
零开销部署：输出为标准的 group-128 非对称量化，并带有修改后的 RMSNorm 标量，无需自定义算子或运行时开销。

4. 实验结果

该方法在使用了 32 个校准序列的 WikiText-2 上进行了评估。

性能指标（困惑度/Perplexity）：

LLaMA-3-8B:
- W3A16: 7.55 (对比 RTN 14.09, LeanQuant 7.61)。
- W4A16: 5.62 (对比 FP16 5.557, LeanQuant 6.92)。
Qwen-2.5-7B:
- W3A16: 7.46 (对比 RTN 8.20, LeanQuant 8.30)。
- W4A16: 6.38 (对比 FP16 6.158, LeanQuant 7.25)。
Mistral-7B:
- W3A16: 6.88 (对比 RTN 7.44, LeanQuant 7.30)。
- W4A16: 5.73 (对比 FP16 5.632, LeanQuant 6.20)。

消融实验：

顺序校准 vs. 缩放：论文证明，仅使用顺序校准（不使用 AWG 缩放）实际上会导致性能比 RTN 更差（在 Qwen 上为 10.31 PPL vs. 8.20 PPL）。反之，将 AWG 缩放应用于静态 FP16 校准也表现不佳（9.49 PPL）。必须结合顺序漂移感知校准和 AWG 式缩放才能获得观察到的增益。
泛化能力：该方法在具有不同机制（GQA、RoPE、滑动窗口）的架构间具有泛化性，表明其漂移修正机制是与架构无关的。

5. 重要性与主张

论文将 RDQ 定位为不仅仅是 PTQ 的工程改进，而是对量化下 Transformer 分布动力学的一种基本洞察。

可预测性：作者声称，量化质量可以通过单个标量（总 KL 漂移）来预测，控制此漂移即可控制困惑度。
失效模式修正：这项工作指出，sub-4-bit PTQ 的主要失效模式并非单层权重误差，而是跨层漂移的累积。静态校准方法之所以失败，是因为它们针对的是一个层在推理时永远不会见到的分布（干净的 FP16）。
鲁棒性：通过拟合实际的漂移激活值，CEC 避开了可能在不同权重分布的模型（如 Qwen）上失效的特定架构启发式方法（如 AWQ 的显著通道检测）。
理论局限性：论文谦虚地指出，虽然在高斯机制下存在理论界限，但并不适用于 84% 的层均为非高斯的实际情况。观察到的性能提升是经验性的，是由漂移修正机制驱动的，而非源于严密的理论界限。

总之，RDQ 确立了解决残差流中的“漂移”是解锁稳健 3-bit 量化的关键，提供了一种可扩展、零开销的解决方案，在多个模型家族中均优于当前的先进方法。