🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q 是一种新颖的模块化后训练权重量化算法，基于交替方向乘子法的一种组合变体，通过在强制实施量化约束的同时最小化逐层重建误差，显著提升了大语言模型在激进的低于 4 比特量化级别下的效用。

原作者： Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文ADMM-Q的解释。

宏观图景：缩小巨型大脑

想象大型语言模型（LLM）如Qwen或LLaMA，就像庞大且细节丰富的图书馆。这些图书馆包含数十亿本书（参数），使人工智能能够写作、推理和聊天。然而，由于这些图书馆过于庞大，它们难以携带（高内存占用），且阅读耗时（计算缓慢）。

量化就是缩小这些图书馆的过程。我们不再将所有书籍以高清全彩墨水（32 位或 16 位精度）保存，而是尝试用更少的颜色或更简单的符号（4 位甚至 2 位）重写它们。目标是将图书馆缩小到足以装进背包，同时不丢失故事内容。

问题：“贪婪”的缩小者

现有的模型缩小方法，如GPTQ（当前的行业标准），运作起来就像一个贪婪的编辑。

工作原理：他们查看第一句话，将其缩小，然后继续。接着查看第二句话，缩小它，然后继续。
缺陷：当编辑缩小第一句话时，可能会犯一个小错误。因为他们立即继续前进，从未回头修正那个错误。等到他们读完整本书时，所有那些微小的错误已经累积起来，使得故事变得混乱或荒谬。在尝试非常激进地缩小书籍（降至 2 位或 3 位）时，这种情况尤其糟糕。

解决方案：ADMM-Q（“团队围坐”方法）

作者提出了一种名为ADMM-Q的新方法。与其让一个贪婪的编辑独自工作，不如想象一个编辑团队为每一章举行圆桌会议。

团队围坐（联合优化）：
团队不是逐句修复，而是同时查看整章内容。他们会问：“如果我们在这里改变这个词，会如何影响那里的另一个词？”他们同时调整所有词语，以找到最佳的组合，即使在极少的颜色下也能保持故事清晰。
“平滑”与“块状”的舞蹈（ADMM）：
这背后的数学被称为ADMM（交替方向乘子法）。可以将其想象为两个步骤之间的舞蹈：
- 步骤 A（平滑滑动）：团队对词语进行微小、连续的调整，以改善故事流畅度。
- 步骤 B（ snapping 到网格）：突然，他们必须将这些词语“ snap"到特定的允许值上（就像将乐高积木卡入到位）。
- 他们不断在滑动和 snap 之间交替。随着时间的推移，这个过程迫使词语 settle 到最佳的“乐高位置”，而不会破坏故事。
“异常值”问题（对角缩放）：
在这些模型中，有些词语是“响亮”的（异常值），有些是“安静”的。如果你试图同时缩小它们，响亮的词语会主导对话，而安静的词语则会被淹没。
- ADMM-Q 的修复：他们使用一种称为对角缩放的技术。想象一下，在编辑会议期间，给安静的词语配上麦克风，并调低响亮词语的音量。这确保每个词语都有公平的机会进行优化，从而产生更清晰的最终故事。
最终润色（局部搜索）：
团队完成围坐后，会进行一次快速的“抽查”。他们会寻找可能意外互换的词语对，看看换回来是否能改善故事。这是一种快速的最终润色，以捕捉任何最后的错误。

为何重要：结果

该论文在多个模型（Qwen 和 LLaMA）上测试了这种新方法，发现：

更好的故事：当他们将模型缩小到非常小的尺寸（如 3 位或 2 位）时，旧的“贪婪”方法（GPTQ）会产生胡言乱语或非常混乱的答案。ADMM-Q 则保持了模型的智能和连贯性。
- 示例：在名为"WikiText-2"的测试中，旧方法的得分为 12.85（分数越高越差），而 ADMM-Q 将其降至 10.06。这是清晰度的巨大提升。
与其他工具兼容：ADMM-Q 并非取代一切；它是“缩小器”部分的即插即用替代品。它可以完美地与其他人们使用的技巧（如旋转数据或缩放数据）配合使用。
速度相同：一旦模型被缩小，其运行速度与旧方法一样快。ADMM-Q 额外花费的时间仅发生在“离线”缩小过程中（就像在出版前编辑一本书），而不是在你实际使用 AI 时。

注意事项（局限性）

编辑时间更长：由于 ADMM-Q 为每一层进行复杂的“团队围坐”，与简单的贪婪方法相比，它需要更多的计算机时间来初始缩小模型。然而，作者表示，为了获得更好的质量，这种一次性的等待是值得的。
需要样本：像所有这些方法一样，它需要一小部分文本样本（校准数据）来理解模型试图表达的内容，然后才开始缩小。

总结

ADMM-Q是一种更智能的压缩 AI 模型的方法。与其一步步匆忙进行压缩并在过程中犯错，不如采用一种整体的、数学的方法，同时调整模型的所有部分。其结果是一个更小的 AI，即使被挤压到非常狭小的空间，仍然记得如何清晰地思考。

技术摘要：用于大语言模型训练后量化的 ADMM-Q

问题陈述

由于计算和内存需求巨大，大语言模型（LLMs）面临显著的部署挑战。量化，特别是训练后量化（PTQ），是通过降低权重精度（例如从 16 位降至 4 位或更低）而无需重新训练来压缩这些模型的主要策略。

当前标准的权重量化方法，如最近邻舍入（RTN）和贪婪逐列量化（GPTQ），存在局限性，特别是在激进的位宽（低于 4 位）下：

RTN 独立地对权重进行舍入，忽略了权重间的依赖关系以及重构误差景观的结构。
GPTQ 利用海森矩阵信息来补偿误差，但以贪婪的方式逐列处理权重。这种顺序方法对处理顺序敏感，并在列之间累积误差。

核心挑战在于将层量化表述为一个约束优化问题，该问题在尊重离散量化约束的同时最小化重构误差，且随着位宽的降低，该问题变得愈发困难。

方法论：ADMM-Q

作者提出了ADMM-Q，这是一种基于交替方向乘子法（ADMM）的新型权重量化算法。与 GPTQ 的贪婪逐列方法不同，ADMM-Q 将层量化视为一个联合优化问题。

1. 问题表述

该算法将具有预训练权重 $\hat{W}$ 和输入激活 $X$ 的层的量化表述为一个海森加权约束优化问题：
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
其中 $H = X^\top X + \lambda I$ 是海森矩阵， $\mathcal{Q}$ 是量化权重矩阵的集合。

2. 关键算法组件

为了在 LLM 规模下高效地求解这一非凸问题，ADMM-Q 结合了多项增强措施：

对角缩放以实现数值稳定性：LLM 激活值通常包含“通道异常值”（即幅度不成比例地大的维度），导致海森矩阵条件数较差。ADMM-Q 应用对角缩放矩阵 $\Sigma = \text{Diag}(H)^{-1/2}$ 对问题进行归一化，确保所有通道对更新的贡献相当。这一点至关重要；消融研究表明，移除该缩放会显著降低性能（例如，在 Qwen3-8B 的 W3A16 设置下，困惑度从 10.06 增加到 14.68）。
ADMM 分裂：该算法引入辅助变量 $D$ $D$ ，将连续的海森加权目标与离散量化约束解耦。它在以下步骤之间交替进行：
1. W 更新：最小化海森加权距离的连续更新，通过对 $H$ 进行特征分解高效求解。
2. D 更新：离散投影到量化网格（等效于 RTN，但考虑了缩放）。
3. 对偶更新：调整拉格朗日乘子以强制一致性。
网格刷新：与在优化过程中固定量化网格的 GPTQ 不同，ADMM-Q 根据当前的连续迭代值动态重新拟合网格参数（比例和零点）。这使得投影能够与移动的目标保持对齐，避免固定网格的滞后性。
局部搜索优化：为了解决由相关舍入引起的次优离散解，后处理步骤执行高效的成对交换局部搜索。该步骤评估直接降低重构误差的离散移动（交换行之间的值），并利用 GPU 并行化来加速。
收敛性保证：作者将现有的 ADMM 收敛性证明（此前已针对稀疏约束建立）扩展到量化设置，证明了在特定的惩罚调度（ $\rho_t = \rho_0 \cdot \gamma^t$ ）下，连续和离散迭代收敛到相同的极限点。

3. 模块化与集成

ADMM-Q 被设计为现有 PTQ 流程中 RTN 或 GPTQ 的即插即用替代品。它完全可与以下组件组合：

缩放变换（例如 SmoothQuant, AWQ）。
旋转变换（例如 SpinQuant, QuaRot）。
截断启发式方法（例如基于 MSE 的网格搜索）。

实验结果

作者在三种设置下评估了 ADMM-Q：仅权重量化、结合 SpinQuant 的权重与激活量化、以及结合 SmoothQuant 的权重与激活量化。

1. 仅权重量化（Qwen3 系列）

在 Qwen3 模型（1.7B 到 32B）中，ADMM-Q 在困惑度和零样本准确率方面始终优于 GPTQ 和 AWQ，且在较低位宽下增益更为显著：

W3A16 (Qwen3-8B)：WikiText-2 困惑度从 12.85 (GPTQ) 提升至 10.06 (ADMM-Q)。
W2A16 (Qwen3-8B)：WikiText-2 困惑度从 32.88 (GPTQ) 提升至 17.69 (ADMM-Q)。
逐层分析：ADMM-Q 降低了所有解码器层的重构误差，在早期层中实现了低至 GPTQ 误差 10% 的效果。

2. 权重与激活量化

SpinQuant (WbA4KV4)：在 LLaMA-3 和 Qwen3 模型上，用 ADMM-Q 替换 GPTQ 带来了持续改进。例如，在 LLaMA-3 8B 的 W2A4KV4 设置下，困惑度从 50.27 (GPTQ) 降至 15.65 (ADMM-Q)。
SmoothQuant (WbA8)：在 Qwen3-8B 上，ADMM-Q 将 W3A8 的困惑度从 16.00 提升至 12.21。

3. 推理性能

当集成到 vLLM 推理栈中时，ADMM-Q 生成的权重矩阵格式与 GPTQ 相同。因此，它实现了完全相同的推理吞吐量和内存优势。例如，在带有 SpinQuant W8A8 的 Qwen3-32B 上，两种方法相比稠密基线均实现了约 1.52 倍的加速。

4. 计算成本

由于涉及迭代优化，ADMM-Q 的离线量化过程比 GPTQ 计算量更大。然而，作者指出量化是一次性步骤，且运行时间仍然实用（例如，在单张 GPU 上对 32B 模型的处理时间少于两小时）。峰值 GPU 内存使用量略高（约 6%）。

意义与主张

该论文声称，ADMM-Q 代表了从贪婪、顺序量化向 LLM 联合、约束优化的原则性转变。其主要贡献包括：

算法创新：成功将 ADMM 适配于权重量化的硬组合问题，并引入了针对 LLM 规模所需的稳定性措施（对角缩放）和细化措施（网格刷新、局部搜索）。
性能提升：展示了模型效用（困惑度和准确率）的显著改进，特别是在以往方法难以应对的激进低位宽（W3 和 W2）区域。
通用性：作为一个模块化、即插即用的组件，它增强了现有流程（包括使用旋转和缩放的流程），且不改变最终的推理格式或速度。

作者承认了局限性，指出 ADMM-Q 会产生更高的离线量化成本，并且依赖于校准集的代表性。此外，当前的评估仅限于稠密自回归解码器-only 的 LLM，将其适配到混合专家（MoE）或扩散模型需要进一步的工作。