🤖 machine learning

Statistically-Lossless Quantization of Large Language Models

本文介绍了统计无损量化（SLQ），这是一种层级非对称量化方法，它在每参数低于 4 位时实现了任务无损的精度，在 5–6 位时实现了分布无损的保真度，同时实现了相对于 FP16 1.7–3.7 倍的推理加速。

原作者： Michael Helcig, Eldar Kurtic, Dan Alistarh

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Michael Helcig, Eldar Kurtic, Dan Alistarh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下人工智能的世界就像一座巨大且繁忙的图书馆，那里的书不是由纸张制成的，而是由纯粹的数学构成的。这些“书”就是大语言模型（LLMs），即那些能够写故事、解方程并像人类一样聊天的超级智能计算机。但问题在于，这些图书馆规模宏大。要阅读一本书，你需要一台巨大的、昂贵的且极其耗电的超级计算机。大多数人的客厅里并没有这样一台设备。因此，科学家们一直试图缩小这些“书”的体积——让它们变得更小、更轻，以便能装进普通的手机或笔记本电脑中。这个过程被称为“量化”（quantization）。你可以把它想象成将一张高分辨率照片压缩成较小的文件。通常情况下，如果你把文件压缩得太厉害，图片会变得模糊或出现像素块（这是“有损”压缩）。如果你希望图片保持完美，文件就会保持庞大（这是“无损”压缩）。科学家们一直在问一个大问题：我们能否将这些 AI 大脑缩小到足以装进手机，同时又能保持足够的聪明才智来通过测试，而不会让它们出现卡顿或幻觉？

这篇题为《大语言模型的统计无损量化》（Statistically-Lossless Quantization of Large Language Models）的论文深入探讨了这个棘手的中间地带。作者 Michael Helcig、Eldar Kurtic 和 Dan Alistarh 认为，我们不需要在模糊的小型模型和完美的巨型模型之间做选择。相反，他们提出了一种新的缩小模型的方法，这种方法是“统计无损”的。这里有一个神奇的技巧：他们意识到，当人类（甚至是 AI 本身）回答问题时，总会存在一点随机性。如果你两次询问同一个 AI 同一个问题，它可能会给出略有不同的答案，就像你可能会根据自己的心情不同，对朋友的问题做出不同的回答一样。作者发现，如果缩小的模型能保持在那种自然的“情绪波动”范围内，那就足够好了。他们创造了一种名为 SLQ（统计无损量化）的方法，它就像一位大师级的裁缝。SLQ 不会对 AI 大脑的每个部分都进行同样大小的切割，而是精确测量每一部分的敏感程度。有些部分得到的空间极小（低至每参数 3.3 位），而另一些部分则会得到更多空间。

这篇论文做出了一些改变我们对缩小 AI 理解方式的具体发现。首先，他们证明了某种特定的衡量“缩减”程度的方式至关重要。他们引入了一个名为 EAR（预期接受率）的指标，这就像是一个“词元一致性得分”。如果原始 AI 和缩小的 AI 在 100 个词中对 99 个词，那就是一次胜利。他们发现，为了实现这种完美的契合，必须非常小心如何缩小数值。他们从数学上证明了，使用一种“对称”的缩减方式（将正数和负数同等对待）实际上比“非对称”方式（通过平移比例尺来完美适配数据）会产生更多的噪声和误差。这就像试图把一个不对称的行李箱塞进一个正方形的盒子里；如果你强行将其置于中心，它无法完全闭合。你必须移动行李箱以适应盒子的形状。

结果令人印象深刻。通过使用 SLQ 方法，他们成功地将 Llama-3.3-70B 和 Qwen3 等模型缩小到了平均 3.3 到 4.7 位每参数，同时保持了它们的“任务无损”准确度（这意味着它们仍能通过与大版本相同的测试）。如果他们想要更加严格，确保 AI 的内部“情绪”（其概率分布）与原始版本几乎完全一致，则需要大约 5 到 6 位。但最棒的部分是？由于模型变得如此之小，它们的运行速度也快得多。作者在真实硬件上进行了测试，发现他们的缩小版模型比原始的全尺寸版本快了 1.7 到 3.7 倍，甚至可以装载在更少的显卡上。他们还表明，像 GPTQ 或 AWQ 这样的旧方法往往无法达到这种“统计无损”的目标，要么过于模糊，要么压缩得不够。简而言之，这篇论文表明，通过更聪明地决定在哪里以及如何缩小 AI，我们可以让这些庞大的大脑变得既小巧、快速，又依然拥有惊人的准确度，而无需牺牲回答的质量。

技术摘要：大语言模型的统计无损量化

问题陈述

目前的的大语言模型（LLM）量化方法面临着一种二元权衡：有损方法（如 GPTQ、AWQ）实现了高压缩率和推理加速，但会降低模型精度；而无损方法（如 ZipNN、熵编码表示）虽然保持了保真度，但往往无法提供推理加速或实现高压缩比。

本文识别了这两个极端之间的空白区域：统计无损量化（Statistically-Lossless Quantization, SLQ）。作者认为，由于大多数开源权重 LLM 在部署时都使用随机采样参数（例如 temperature > 0），它们的输出自然表现出运行间的方差。一个能够保持在自然采样方差范围内的量化模型，在实际应用中即可视为无损。挑战在于如何定义并实现既能保持模型在标准采样下输出特性，又无需进行位精确（bit-exact）重构的压缩。

方法论

提出的 SLQ 框架采用了层级非均匀标量量化和非对称量化网格。该方法建立在三个核心支柱之上：

1. 理论基础：非对称与对称量化

论文证明了非对称量化是实现分布无损保真度的先决条件，而对称量化不足以实现这一严格目标。

中心化低效性 ( $\gamma$ )： 定义为 $\gamma = 2M/R$ ，其中 $M$ 是最大绝对幅值， $R$ 是动态范围。对于对称分布， $\gamma=1$ ；对于非对称分布（LLM 中常见）， $\gamma > 1$ 。
伽马平方方差定律（Gamma-Squared Variance Law）： 作者证明了对称量化会使输出噪声方差相对于非对称量化增加 $\gamma^2$ $γ^{2}$ 倍。
- $\sigma^2_{sym} = \gamma^2 \sigma^2_{asym}$
影响： 这种方差膨胀会导致更高的“决策翻转”（即改变 argmax token）概率，尤其是在模型置信度最高的低熵区域。因此，为了达到与非对称量化相同的分布保真度，对称量化需要显著更多的比特（每参数多出高达 1.5 bit）。

2. 保真度指标

为了在近无损状态下进行导航，论文引入了两种不同的无损定义及相应的指标：

任务无损 (Task-Lossless, TL)： 在自然采样方差内保持零样本基准测试的准确率。
- 指标： 恢复率（保留的 BF16 准确率百分比）。
- 搜索策略： 单点校准。 利用观察到的 KL 散度与近无损状态下任务恢复之间的线性关系，作者通过单次基准测量推导出 KL 阈值，从而在无需穷举搜索的情况下预测比特宽度需求。
分布无损 (Distribution-Lossless, DL)： 要求量化模型的下一个 token 分布在实践上与原始分布不可区分。
- 指标： 预期接受率 (Expected Acceptance Rate, EAR)。 受推测解码启发，EAR 衡量在最优耦合下，原始分布与量化分布之间的最大 token 一致性概率。
- 定义： $EAR = \frac{1}{N} \sum_{i} \sum_{k=1}^{K} \min(p_i(k), q_i(k))$ ，限制在 top- $K$ 个 token 内。EAR 为 0.99 意味着在最优耦合下有 99% 的一致性。
- 搜索策略： 使用校准数据对 EAR 约束进行直接优化。

3. SLQ 流水线

敏感度估计： 使用多比特宽度 Shapley 估计来评估为不同层组分配特定比特宽度（从集合 $\{2, \dots, 8\}$ 中选取）的边际影响。这将其先前的二元选择方法扩展到了完整的整数比特宽度范围。
比特宽度分配： 将分配问题建模为通过整数线性规划（ILP）解决的多重选择背包问题。求解器在满足比特预算或保真度约束的前提下，最小化预测的退化。
实现： 该方法使用非对称整数组量化（组大小为 128），并兼容标准推理内核（如 vLLM 中的 Humming 内核）。

关键结果

作者在四个模型（Qwen3-8B, Qwen3-32B, Qwen3.5-27B, 和 Llama-3.3-7B-Instruct）上评估了 SLQ 的仅权重量化效果。

准确率与压缩

任务无损 (TL)： 在激进的比特宽度范围 3.3 到 4.7 bpp（每参数比特数）内实现。
- 示例：Llama-3.3-70B 在 3.59 bpp 时实现了 99.1% 的恢复率，优于均匀 4-bit 量化。
- 示例：Qwen3.5-27B 在 3.30 bpp 时实现了 99.1% 的恢复率。
分布无损 (DL)： 在 5.0 到 6.6 bpp 且 EAR $\ge 0.99$ $\geq 0.99$ 时实现。
- 示例：Qwen3-32B 在 4.98 bpp 时达到了 100.1% 的恢复率。
- 示例：Llama-3.3-70B 在 6.55 bpp 时达到了 99.9% 的恢复率。
对比： SLQ 在分布无损状态下显著优于 QTIP 和 YAQA 等先进方法。例如，在 Llama-3.1-8B 上，QTIP 在 4-bit 时 EAR 为 0.9519，而 SLQ 在 5.59 bpp 时达到了更低的 KL 散度 (0.004)。

推理加速

使用 NVIDIA L40s GPU 上的优化 Humming 内核，SLQ 配置相比 BF16 基准提供了 1.7× 至 3.7× 的吞吐量提升。

硬件效率： 减小的模型尺寸允许更大的模型适配更少的 GPU（例如，Llama-3.3-70B 从 4 个 GPU 减少到 2 个 GPU 即可运行）。
对比： SLQ 在每 GPU 吞吐量方面始终优于 FP8 基准。

消融实验与分析

非对称性： 移除非对称量化（强制对称）会导致实现 DL 目标所需的比特宽度增加约 1.5 bpp。
比特宽度范围： 与在全范围 {2–8} 中搜索相比，将搜索限制在二元选择（如 {4, 8}）会导致更高的平均比特宽度。
Token 级分析： 在 DL 配置中，98.1% 的 token 与基准完全匹配；差异仅限于细微的风格变化（同义词、标点符号），不存在事实错误。
思考型 Token (Thinking Tokens)： DL 配置引入的“思考” token 开销与 BF16 相同，而有损配置（TL 和 Uniform-4）增加了 2.2–2.9% 的思考 token。

重要性与主张

本文声称通过形式化统计无损量化，建立了一种新的 LLM 压缩范式。其主要贡献包括：

形式化差距： 区分了任务级和分布级无损，并指出后者对于随机解码场景中的真实保真度至关重要。
$\gamma^2$ 定律： 首次提供了将非对称量化设计与 token 级决策翻转联系起来的正式证明，证明了对称量化在实现分布无损目标时具有本质上的低效性。
EAR 指标： 引入了具有直接可解释性的保真度指标（预期接受率），作为 KL 散度的补充。
实际效率： 证明了在亚 4-bit（针对任务无损）和约 5–6 bit（针对分布无损）宽度下实现统计无损压缩是可行的，同时提供了显著的推理加速，有效地弥合了有损压缩与无损存储之间的鸿沟。

作者将 SLQ 定位为并非取代所有量化方法，而是一种针对“近无损”场景的原则性方法，在这些场景中微小的分布偏移至关重要，并为均匀量化器提供了一个帕累托占优（Pareto-dominant）的解决方案。