🤖 AI

Model-Preserving Adaptive Rounding

本文介绍了 YAQA，一种自适应舍入量化算法，该算法利用基于 Hessian 近似的理论端到端误差界限，在不增加推理开销的情况下，显著超越了 GPTQ 和量化感知训练等现有方法。

原作者： Albert Tseng, Zhaofeng Sun, Christopher De Sa

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Albert Tseng, Zhaofeng Sun, Christopher De Sa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个巨大的、细节极其丰富的图书馆（大型语言模型），其中包含了数十亿本书籍（参数）。这个图书馆非常了不起，能够回答各种问题，但它规模庞大到占据了整个仓库，并且需要一个庞大的图书管理员团队来运行。你想把这个图书馆缩小，让它能装进一个背包里，并由一名图书管理员来运行，同时又不损失讲故事或准确回答问题的能力。

这个过程被称为量化（Quantization）。这就像是将那些庞大的、高分辨率的书籍，印在更小、更便宜的纸张上，并减少色彩数量。目标是让“缩小版”的图书馆听起来和表现起来都与原版几乎一致。

问题所在：“近视眼”图书管理员

目前大多数缩小这些图书馆的方法都使用了一种作者称之为“近视”（myopic）的策略。

想象一位图书管理员试图压缩一本书。他们看第一页，压缩第一页，然后说：“好的，这一页看起来不错。”接着他们看第二页，压缩第二页，然后说：“这一页看起来也很好。”他们对每一页都进行这样的操作。

问题在于：他们忽略了页面之间的联系。
如果第一页压缩得不好，即使第二页本身看起来没问题，第二页可能也会变得无法理解。目前的各种方法（如 GPTQ 或 LDLQ）试图逐层修复模型，却忽略了第一层的错误会如何破坏最后一层的输出。这就像是通过逐个拧紧螺丝来修理汽车发动机，却从未启动过汽车来观察它是否能正常运转。

解决方案：YAQA（又一个量化算法）

作者引入了 YAQA，这是一种全新的方法，它像是一位总编辑，在做出任何改动之前，会从头到尾阅读完整本书。

YAQA 不仅仅只看眼前的这一页，它会问：“如果我改变这里的这个词，会对这一章结尾的最终句子产生什么影响？”

以下是 YAQA 的工作原理，通过简单的类比进行拆解：

1. “错误地图”（Hessian 矩阵）

为了了解模型中一个微小的变化如何影响整体，你需要一张地图。在数学中，这张地图被称为 Hessian。

旧方法 使用的是模糊、低分辨率的地图，只能显示即时邻域（当前层）。
YAQA 构建了一张高分辨率、端到端的地图。它精确计算了开头的微小误差是如何一路波动并影响到最终答案的。

2. “Kronecker” 捷径

为拥有数十亿本书的图书馆构建这样一张完美的地图通常是不可能的，因为地图本身会过于庞大而无法存储。

YAQA 的窍门： 他们使用了一个名为 Kronecker 因子分解近似（Kronecker-factored approximation） 的数学捷径。
类比： 想象你需要描述一个复杂的 3D 雕塑。与其测量每一个原子，你意识到这个雕塑只是由几个简单的形状堆叠而成的。YAQA 意识到，“误差地图”可以通过组合两个较小的、更简单的地图（一个针对输入侧，一个针对输出侧）来构建，而不是构建一个巨大且难以处理的单一地图。这使得计算变得快速且可控。

3. “幂迭代”（Power Iteration）搜索

一旦有了地图的框架，他们就需要找到该地图的最佳版本。

他们使用了一种称为幂迭代的技术。这就像是在调收音机。你从一个粗略的信号开始，听着静电噪音，稍微调整旋钮以获得更清晰的声音，然后重复此过程。
YAQA 在一个文本数据集上运行这种“调优”过程。它不仅仅是猜测；它在数学上证明了这个过程会收敛于最佳的“压缩”策略，从而使新模型与原模型的差异降到最低。

为什么 YAQA 很重要

论文提出了三个主要主张，解释了为什么它比现有的方法更好：

证明其更优： 作者不仅是凭直觉猜测，他们还写出了一个数学证明，表明 YAQA 的误差严格低于旧方法（如 GPTQ/LDLQ），因为它考虑了全局视角，而非仅仅是局部邻域。
将“距离”缩小了 30%： 当他们衡量新模型与原模型的差异时（使用一种称为 KL 散度的指标），YAQA 比现有最优秀的方法减少了约 30% 的差异。
- 类比： 如果原模型是一张完美的照片，而旧方法制作了一个略显模糊的副本，那么 YAQA 制作的副本几乎与原图无法分辨。
超越“从头训练”（QAT）： 通常，为了获得一个完美的微型模型，你需要从头开始重新训练整个模型（量化感知训练，QAT），这需要耗费大量的时间和计算资源。YAQA 实现了比这种昂贵的训练方法更好的结果，而且它不需要重新训练模型。这就像是通过调整现有的衣服来获得一套定制西装，而不是重新购买布料并重新缝制一遍。

核心结论

YAQA 是一种新的 AI 模型压缩方式。它不再是逐块修复模型并寄希望于结果，而是同时观察整个系统。它利用巧妙的数学方法来确定如何压缩模型，从而使最终输出尽可能接近原版。

其结果是：你得到了一个更小、更快的模型，它的表现几乎与那个庞大、昂贵的模型完全一样，而且在实际使用时没有任何额外成本（没有推理开销）。这就像是从模糊的复印件进化到了高保真扫描件，而且无需超级计算机也能完成打印。

技术摘要：保持模型的自适应舍入算法 (YAQA)

问题陈述

大语言模型 (LLM) 量化的主要目标是将模型参数压缩为低精度表示，同时尽可能保留原始模型的输出分布。这在形式上被定义为最小化原始模型 $M(\theta^*, X)$ 与量化模型 $M(\theta, X)$ 之间的 Kullback-Leibler (KL) 散度。

目前的先进后训练量化 (PTQ) 方法（如 GPTQ 和 LDLQ）依赖于局部层级自适应舍入。这些算法通过最小化单层的即时激活误差来作为端到端误差的代理。然而，这种方法忽略了量化误差在后续层中的传播，使得其对于真实目标的优化是次优的。虽然其他方法试图引入全局信息（例如通过经验 Fisher 矩阵或块对角近似），但它们通常缺乏关于端到端误差界的理论保证，且依赖于无法一致提升性能的启发式 Hessian 近似。

方法论：Yet Another Quantization Algorithm (YAQA)

YAQA 是一种新的自适应舍入算法，旨在直接最小化端到端的 KL 散度，而非局部的层级误差。它由两个核心部分组成：一个具有理论依据的舍入算法和可扩展的 Hessian 草图 (Hessian sketches)。

1. 端到端层级自适应舍入

YAQA 推广了 LDLQ 的定点迭代，以考虑完整的模型误差。YAQA 不再使用即时激活误差的 Hessian ( $H_1$ )，而是利用 Kronecker 积分解的 Hessian 近似 $\tilde{H} = H_O \otimes H_I$ ，其中 $H_O$ 和 $H_I$ 分别代表输出侧和输入侧的反馈。

舍入更新定义为：
$W = \text{vec}^{-1} \left( Q \left( \text{vec}(W^*) + \text{vec}(W^* - W)(L - I) \right) \right)$
其中 $L$ 是 $\tilde{H}$ 的 LDL 分解中的三角分量。

结构性幂零度 (Structural Nilpotence Degree, SND)：
为了确保该迭代过程的可行性，作者引入了结构性幂零度 (SND) 的概念。对于一般的稠密 Hessian，收敛步数将是 $O(mn)$。然而，通过使用 Kronecker 因子化结构 ( $\tilde{H} = H_O \otimes H_I$ )，SND 被限制在 $m + n - 1$ 以内。这使得算法可以在 $m+n$ 个迭代步内收敛，每一步都涉及高度可并行的矩阵乘法，而不是密集方法的 $O(m^2n^2)$ 复杂度。这种结构引入了来自输入侧和输出侧的双向对称反馈，而以往的方法仅利用输入侧反馈。

2. Hessian 草图 (Hessian Sketches)

为了在大型 LLM 中高效计算 Kronecker 因子 $H_O$ 和 $H_I$ ，YAQA 提出了两种源自对真实 KL 散度 Hessian ( $\nabla^2 L(W^*)$ ) 进行幂迭代的 Hessian 草图：

草图 A (Sketch A)： 假设序列内的 token 是独立的。它对一个 Hessian 估计值进行幂迭代，通过将 token 视为独立样本来降低方差，尽管这会引入轻微偏差。它需要对数据进行多次遍历。
草图 B (Sketch B)： 对真实 Hessian 进行单轮幂迭代，并从单位矩阵初始化开始。该方法计算整个序列的梯度（考虑序列混合情况），并且可以在对数据集进行单次反向传播时执行。它在概念上类似于 Shampoo 中的预处理基，但使用的是真实的 Fisher 信息矩阵。

理论分析表明，YAQA 的端到端误差受限于 Kronecker 近似 ( $H_O \otimes H_I$ ) 与真实 Hessian ( $\nabla^2 L(W^*)$ ) 之间的余弦相似度。两种草图的设计目标都是在保持低不相干性和低秩性的同时，最大化这种相似度。

核心贡献

YAQA 算法： 引入了一种新的自适应舍入算法，通过将局部方法推广到优化完整的端到端 KL 散度。它是首个具备端到端误差理论边界的量化算法。
理论框架： 通过结构性幂零度 (SND) 表征了自适应舍入的收敛时间，并推导出了首个量化算法的端到端误差界，将近似误差与 Hessian 草图与真实 Hessian 之间的余弦相似度联系起来。
可扩展的 Hessian 草图： 开发了两种可处理的、近乎最优的 Kronecker 因子化 Hessian 草图（草图 A 和草图 B），使得在不产生高昂计算成本的情况下获取全局误差信息成为可能。
经验优越性： 证明了 YAQA 在各种位宽（2-bit 到 4-bit）下，其端到端 KL 散度显著低于现有 SOTA 方法（包括 GPTQ、LDLQ 以及甚至 QAT）。

结果

作者在 Llama 3.1 (1B, 3B, 8B, 70B)、Gemma 3 (12B) 和 Qwen 3 (8B) 模型上评估了 YAQA。

KL 散度： 与 LDLQ 和 GPTQ 相比，YAQA 将 KL 散度降低了约 30%。值得注意的是，尽管 Google 的 Gemma 3 QAT 方案需要更多的计算和数据，YAQA 仍能实现比其更低的 KL 散度。
下游任务性能： 在各种位宽（2-bit 到 4-bit）下的零样本下游任务（如 MMLU, GSM8K, BoolQ）中，YAQA 刷新了 SOTA 结果。
效率： 该方法为量化后的模型增加了 零推理开销，因为其复杂度仅限于后训练量化阶段。
鲁棒性： 实验表明，即使仅使用 2,000 个序列，草图 B 也能达到 SOTA 结果，这比典型的 QAT 方法所需的数据量少得多。

意义与主张

本文声称 YAQA 代表了量化策略的一个根本性转变：从局部层级误差最小化转向全局端到端误差最小化。其重要性在于：

理论保证： 提供了首个可证明的量化端到端误差界，将算法性能与 Hessian 近似的几何特性（余弦相似度）联系起来。
性能： 实现了比局部舍入方法和高计算成本的 QAT 方法更高的保真度量化。
实用性： 提供了一种无需重新训练或微调模型的可扩展解决方案，使其适用于高效部署大型模型且不产生推理惩罚。

作者强调，虽然之前的 GuidedQuant 等方法探索了全局信息，但缺乏理论支撑和一致的性能提升。YAQA 通过提供一种在数学上严谨且在经验上优越的方法填补了这一空白。