🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

Kronecker 是一个通过将梯度协方差引入量化目标函数（利用 Kronecker 分解的海森矩阵近似）来改进大语言模型压缩的训练后量化框架，它实现了双向不相干性处理和增强的敏感度指标，从而在极低比特场景下取得了优于 GPTQ 等现有方法的困惑度表现。

原作者： Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、极其聪明的机器人大脑（大型语言模型），它能写故事、解数学题，还能像人类一样聊天。问题在于？这个大脑如此庞大，以至于需要一整层仓库的计算机才能装下它。为了让它能在普通的笔记本电脑或手机上运行，科学家们尝试通过压缩其内存来“缩小”它，这个过程被称为量化（quantization）。这就像是在打包行李：你想把所有的衣服（模型的知识）装进一个小提包里，同时又不丢失任何重要的东西。

有一段时间，这种打包行李的最佳方法叫做 GPTQ。它通过观察机器人的“输入”（它阅读的词汇）是如何变化的，并据此调整权重。但开发这种新方法 KronQ 的作者们注意到，这种策略存在一个缺陷。他们意识到 GPTQ 只观察了方程的“输入”侧，假设每一个可能的“输出”（机器人接下来要说的词）都是同等重要的。

大错误：忽略了“输出”侧
论文指出，这种假设就像是试图通过只看衣服有多重来打包行李，却忽略了它们有多脆弱。事实上，机器人的大脑中有些部分是非常敏感的。如果过度挤压这些部分，整个系统就会崩溃。

作者们测量了这一点，并发现了一个惊人的现象：在像 LLaMA-3-70B 这样的大型模型中，“输出”通道（机器人生成答案所使用的路径）的重要性差异巨大。有些通道就像易碎的玻璃；而另一些则像坚固的砖块。旧的方法将它们一视同仁，这导致模型在被过度压缩时会变得异常混乱。事实上，当他们尝试将 LLaMA-3-70B 缩小到仅 2 位（bits）（极小的内存量）时，旧的方法完全失败了，产生的“困惑度”（perplexity，衡量模型多么困惑的分数）超过了 2000。这就像是一个机器人完全忘记了如何说英语。

新解决方案：KronQ
于是，KronQ 登场了。作者提出了一种新的打包方式，它同时观察“输入”和“输出”。他们使用了一个名为**克罗内克因子分解海森矩阵近似（Kronecker-factored Hessian approximation）**的数学技巧。

这里有一个类比：想象机器人的大脑是一个巨大的鼓。

旧方法 (GPTQ)： 你从正面敲击鼓面（输入），并根据正面的振动来调整张力。你假设背面是正面的镜像。
KronQ： 你既从正面敲击，也从背面敲击。你意识到背面振动得不同！背面的某些部分是松动且摇晃的，而另一些则是紧绷的。KronQ 测量这种“背面振动”（梯度协方差），并利用它更细致地打包行李。

KronQ 的两个超能力

双向不相关性（“洗牌”）：
在打包之前，KronQ 会在两个方向（输入和输出）上对权重进行洗牌，以确保没有任何一个位置会被过重或过于脆弱的物品所占据。这就像是将一堆乱七八糟的书均匀地铺开，以免行李箱在某个地方凸起。论文显示，这降低了权重的“变异性”，使其更容易在不损坏的情况下进行压缩。
智能比特分配（“VIP 通行证”）：
并不是所有的机器人部分都需要同样多的空间。KronQ 为大脑的每个子层计算了一个“敏感度分数”。它为“VIP”层（最敏感的层）分配更多的比特（更多内存空间），而为不太重要的层分配较少的比特。至关重要的是，因为它观察了输出侧，所以它能够分辨出那些从输入侧看完全相同、但在实际表现上截然不同的层。

结果：拯救局面
作者在多个模型（从 70 亿到 700 亿参数）上进行了测试。结果非常显著，尤其是在他们尝试将模型压缩到 2 位这一极端极限时。

失败： 在巨大的 LLaMA-3-70B 模型上，旧方法（GPTQ 和 GPTAQ）出现了发散或产生垃圾结果的情况（困惑度 > 2000）。
成功： KronQ 成功将这个同样的 700 亿参数模型压缩到了 2 位，并保持了完美运行，在 WikiText-2 数据集上的困惑度仅为 7.93。这在“坏掉的机器人”与“聪明的机器人”之间有着天壤之别。

即使在 4 位和 3 位的设置下，KronQ 也始终优于竞争对手，在 PiQA 和 Arc-Challenge 等推理测试中表现出更低的困惑度和更高的准确率。例如，在 LLaMA-2-7B 的 2 位设置下，KronQ 的困惑度为 8.15，而 GPTQ 则挣扎在 31.11。

代价
有代价吗？论文承认，为了获取这种“输出振动”数据，KronQ 在打包前需要对模型进行一次额外的反向传播。这在设置阶段会多花一点时间和内存（每个层比 GPTAQ 多大约 8–11 秒）。然而，一旦模型打包完成，在实际运行时的速度和内存占用与旧方法一样高效。这种额外的开销是一次性的设置成本，它换取的是允许模型在不损坏的情况下被大幅度缩小的能力。

他们排除了什么
论文明确反对了“你可以忽略数学中输出侧”的观点。他们证明，假设所有输出方向都是相等的（即将梯度协方差设为单位矩阵）是一种“次优近似”，会导致在超低比特场景下的失败。他们还表明，仅观察输入统计数据的模型（如标准 GPTQ）无法区分具有相同输入的不同子层，从而导致在分配内存时的错误决策。

他们有多确定？
作者对这些结果非常有信心，因为这些结果是基于硬性测量而非仅仅是模拟。他们在真实硬件（A100 GPU）上使用真实模型（LLaMA-2, LLaMA-3, Gemma, DeepSeek）进行了测试，并测量了实际的困惑度和准确率。他们不仅仅是建议这可能奏效，而是展示了在这些特定实验中，旧方法在 2 位设置下确实无法产生可用的模型，而 KronQ 则成功了。

简而言之，KronQ 就像是一位大师级的打包员，他意识到要将一个巨大的大脑装进一个小盒子，你必须理解大脑如何输出信息，而不只是如何输入信息。通过这样做，它解锁了在以前认为不可能的设备上运行大规模 AI 模型的能力。

技术摘要：KronQ：基于 Kronecker 因子化 Hessian 的大语言模型量化

问题陈述

后训练量化（PTQ）是将在大语言模型（LLM）部署到资源受限硬件上的关键技术。虽然现有的二阶 PTQ 方法（如 GPTQ 及其后续方法，例如 GPTAQ）已成为单次（one-shot）量化的标准，但它们依赖于一个根本性的局限：它们仅根据输入激活统计量（ $H_X$ ）来构建量化目标。

在 Kronecker 因子化近似（K-FAC）下，完整的权重 Hessian 矩阵（ $H$ ）可以分解为输入激活协方差（ $H_X$ ）与输出梯度协方差（ $H_G$ ）的 Kronecker 积。补偿类方法隐式地假设 $H_G = I$ （单位矩阵），即认为所有输出方向的重要性是相等的。作者指出，这是一个次优的近似，因为图 1(a) 表明输出通道表现出异质的梯度量级。这种忽视导致了性能下降，特别是在超低比特（如 2-bit）场景下，GPTQ 和 GPTAQ 等方法在 LLaMA-3-70B 等模型上往往会出现发散或产生退化的量化结果。

方法论

本文提出了 KronQ，这是一个在 K-FAC 近似（ $H \approx H_X \otimes H_G$ ）下，将梯度协方差（ $H_G$ ）显式引入量化流程的 PTQ 框架。该方法在两个互补的层面上运行：

1. 双向不相关性处理 (BiIP)

标准的不相关性处理（例如 QuIP# 中的处理）通过应用随机正交变换来抑制输入维度（ $H_X$ ）中的离群值，以减少量化误差。KronQ 通过使用 $H_G$ 将此扩展到了输出维度。

机制： 该方法对输入（ $V$ ）和输出（ $U$ ）维度均应用对角重缩放和正交变换。重缩放因子是根据 $H_X$ 和 $H_G$ 相对于权重范数的对角线元素导出的。
不变性： 至关重要的是，虽然 $H_G$ 被用于确定预处理变换，但在列向最优大脑外科医生（OBS）权重补偿更新过程中，它在代数上会相互抵消（命题 1）。这使得 KronQ 能够在保留 GPTAQ 求解器计算效率的同时，受益于改进后的权重分布。
结果： BiIP 降低了输入和输出维度中权重幅值的变异系数（CV），从而实现了更紧致的量化误差界限。

2. 层间混合精度分配

KronQ 引入了一种新的敏感度指标，用于在子层之间分配位宽。

指标： 敏感度得分定义为两个 Hessian 因子迹的乘积： $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ 。
优势： 仅使用 $\text{tr}(H_X)$ 的现有方法无法区分具有相同输入统计特性的子层（例如注意力模块中的 Query、Key 和 Value 投影）。KronQ 的得分打破了这种简并性，因为由于下游梯度的不同， $H_G$ 在这些子层之间是变化的。这使得能够进行更优的位宽分配，将更高的精度分配给具有更高联合敏感度的子层。

核心贡献

Kronecker 因子化量化误差： 作者通过 K-FAC 近似将层级量化目标扩展到了包含 $H_G$ 。他们证明了可以在不增加量化更新循环计算成本的情况下，利用 $H_G$ 进行双向不相关性处理，因为 $H_G$ 在代数上会抵消。
联合 Hessian 迹敏感度： 提出了一种源自 $H_X$ 和 $H_G$ 联合迹的新型混合精度分配指标。该指标解决了仅靠激活度量产生的简并问题，允许对 Q、K 和 V 投影进行不同的敏感度排序。
实证验证： 广泛的实验表明，KronQ 在 LLaMA-2 和 LLaMA-3 模型（7B 到 70B）在 W2/W3/W4 比特宽度下均达到了最先进（SOTA）的结果。在 2-bit 场景下观察到的增益最为显著，而在该场景下竞争方法通常会失效。

实验结果

论文在 LLaMA-2 (7B, 13B, 70B)、LLaMA-3 (8B, 70B) 以及较新的模型如 Gemma-3 和 DeepSeek-R1 上对 KronQ 进行了评估。

均匀精度： 在 LLaMA-3-70B 的 2-bit 权重仅量化中，GPTQ 和 GPTAQ 会发生发散（在 WikiText-2 上产生 perplexity >2000），而 KronQ 实现了 7.93 的困惑度（PPL）。在 3-bit 和 4-bit 设置下也观察到了类似的鲁棒性。
组量化： 在 2-bit 组量化（g=128）中，KronQ 显著优于 GPTQ（例如，在 LLaMA-2-7B 上，7.61 PPL vs. 274.0 PPL）。
权重与激活量化： 使用 QuaRot 框架进行激活量化时，KronQ 始终比基准方法降低了困惑度（例如，在 LLaMA-2-7B 的 W2A4 设置下，将 PPL 从 36.74 降至 9.38）。
混合精度： KronQ 敏感度得分产生的困惑度-位宽权衡明显优于仅基于激活度的得分。例如，在 LLaMA-2-7B 上，按照 KronQ 的建议优先升级“down proj”子层，比按照仅激活度指标优先升级“gate proj”子层在相同的平均位宽下具有更低的困惑度。
泛化能力： 该方法可推广到新的模型家族（Gemma-3, DeepSeek-R1, Phi-4），并在更难的基准测试（LiveCodeBench, AIME-2024）上表现出色，通常能将基准方法的性能提高一倍。

重要性与主张

论文声称 KronQ 解决了当前 PTQ 文献中的一个关键盲点：忽视了输出侧的梯度统计特性。通过利用 Kronecker 因子化结构，KronQ 提供了一种原则性的方法来处理输出侧的异质性，而不会引入像 YAQA 等相关工作中使用的全 Hessian 估计或迭代求解器那样沉重的计算成本。

作者强调，该方法对于**超低比特量化（2-bit）**尤为重要，因为在这种情况下，假设输出重要性相等（ $H_G = I$ ）会导致大型模型发生灾难性失败。能够在 70B 参数模型上实现稳定的 2-bit 量化，标志着向在边缘硬件上部署 LLM 迈出了重要一步。

局限性： 作者承认，KronQ 需要对校准集进行一次反向传播以估计 $H_G$ ，这引入了适度的离线延迟开销以及在 BiIP 预处理步骤期间的临时峰值内存占用。然而，一旦预计算完成， $H_G$ 就会被释放，量化循环将保持与 GPTAQ 同样的高效。推理开销仅限于正交变换，而这些变换与 QuIP# 中的变换完全一致。