🤖 machine learning

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs

原作者： Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Preserve-Then-Quantize》（先保留，后量化）的解释。

宏观图景：在不丢失最佳藏书的前提下压缩图书馆

想象你拥有一个拥有数百万册藏书的高品质图书馆（大型语言模型）。你想把这个图书馆压缩，塞进一个小背包里（低比特量化），以便轻松携带。

问题所在：
如果你只是把所有书都扔进背包并强行挤压以塞入其中，书脊会断裂，书页会污损，最重要的故事也会遭到破坏。这正是压缩 AI 模型时发生的情况：“挤压”（量化）会破坏最关键的信息，导致模型性能下降。

旧有的解决方案（量化误差重建）：
此前，科学家们试图通过这种方式修复：“好吧，我们挤压了书籍，但让我们添加一个小型‘修复套件’（低秩校正）来修补损伤。”

缺陷： 旧方法试图用整个“修复套件”来修复由挤压造成的所有损伤。但关键在于：挤压并非随机损坏了某些页面，而是专门破坏了最重要、能量最高的故事（主导方向）。修复套件太小，无法同时修补主故事中的大洞和其余部分的小划痕。它试图用有限的空间完成过多的任务。

新解决方案：SRR（结构化残差重建）

作者提出了一种名为SRR的新策略，他们将其描述为"先保留，后量化"。

这就像在严格的重量限制下打包旅行，但你有一条特殊规则：在开始打包其余物品之前，你可以将最珍贵的物品保留在一个独立的、安全的口袋里。

以下是 SRR 逐步运作的过程：

1. “保留”步骤（安全口袋）

在你尝试挤压书籍之前，先审视图书馆，识别出前 10% 最重要、能量最高的故事（“主导子空间”）。

行动： 你将这些特定的故事抽出，放入一个“安全口袋”（予以保留）。你承诺不去挤压或损坏它们。它们保持原有的完美形态。

2. “量化”步骤（挤压）

现在，你拿起剩余的书籍（不太关键的故事），将它们挤压进背包。

结果： 由于你没有挤压最重要的故事，背包受到的损伤要小得多。由挤压引入的“噪声”或误差现在要小得多，也更容易管理。

3. “重建”步骤（修复套件）

你的背包里仍然剩下有限的空间，用于放置一个“修复套件”（低秩校正）。

神奇之处： 在旧方法中，修复套件必须修复整个图书馆。而在 SRR 中，修复套件只需修复那些被挤压的剩余书籍。
权衡： 你将“秩预算”（即总的修复空间）分为两部分：
- 部分 A： 用于容纳“安全口袋”（保留顶级故事）。
- 部分 B： 用于修复剩余被挤压书籍上的损伤。

该论文引入了一种智能公式，用于精确计算应该抽出多少故事放入“安全口袋”，以及为修复套件留出多少空间。它在两者之间取得平衡，以获得最佳结果。

这对“微调”（教模型新技能）为何重要

该论文还表明，当你希望教压缩后的模型新技能（称为QPEFT）时，这种方法同样有效。

类比： 想象“安全口袋”里的故事是 AI 的核心人格。如果你想教它一门新语言，你不希望在教它新词汇的同时，意外地改变它的核心人格。
修复方案： SRR 将“核心人格”（保留的方向）与“新学习”（重建的方向）分离开来。在训练过程中，系统温和地告诉 AI：“不要过度改变核心人格，但请自由地利用背包的其余部分来学习新事物。”
结果： 模型学习得更快，且更加稳定，特别是在背包非常小（2 比特量化）的情况下。

结果

作者在多种不同的 AI 模型（如 LLaMA 和 Gemma）上测试了该方法，发现：

更高的准确性： 即使被重度压缩，与之前的方法相比，这些模型犯的错误更少（“困惑度”更低）。
更好的学习能力： 在对这些压缩模型进行微调时，SRR 帮助它们在语言理解和推理等任务上表现显著提升，在 2 比特设置下，比之前的方法最高提升了 5.9 个百分点。

总结

SRR 不再试图在图书馆被压碎后再去修补，而是主张：“让我们在被挤压其余部分之前先保护最珍贵的书籍，然后仅将有限的修复工具用于那些实际受损的物品。”这种策略上的简单转变，使得 AI 模型可以在不丧失智能的前提下变得更小。

技术摘要：先保留后量化（SRR）

问题陈述

训练后量化（PTQ）通过将全精度权重转换为低比特表示，是降低大语言模型（LLM）内存占用和推理成本的主要方法。然而，激进的低位数量化（例如 2 比特或 3 比特）通常会导致显著的精度下降。一种广泛采用的补救措施是量化误差重建（QER），该方法将全精度权重矩阵 $W$ 近似为 $W \approx Q + LR$ ，其中 $Q$ 是量化后的权重，$LR$ 是为恢复量化过程中丢失的信息而设计的低秩校正项。

现有的 QER 方法通常将整个秩预算 $r$ 用于重建量化残差（即近似 $S(W-Q)$ ，其中 $S$ 为激活缩放矩阵）。作者认为，这种方案在以下两个主要原因下是次优的：

资源分配低效：在低位数量化场景中，量化误差往往具有高密度和高秩特征。将所有秩容量用于校正此类误差可能是低效的。
结构损伤：激活缩放空间（$SW$）中的 Transformer 权重通常表现出高度各向异性，大部分能量集中在少数主导奇异方向上。标准 QER 会优先量化这些主导方向，从而引入不成比例的巨大缩放误差。随后的低秩校正被迫将其有限的容量用于修复最具信息量子空间中“本可避免的失真”，而非校正残差噪声。

本文探讨的核心问题是：在固定的秩预算下，我们应如何平衡主导结构的保留与量化误差的重建？

方法论：结构化残差重建（SRR）

本文提出了结构化残差重建（SRR），这是一种“先保留后量化”的框架，显式地将秩预算分配给两个角色：保留主导结构和重建量化误差。

1. 先保留后量化流程

SRR 并非先量化整个权重矩阵 $W$ 再校正残差，而是针对选定的分割点 $k$ （其中 $0 \le k \le r$ ）执行以下步骤：

保留：提取缩放权重矩阵 $SW $的前$ k $个主导奇异方向。将这些方向映射回原始空间（$ L^{(1)}_k R^{(1)}_k$）并绕过量化。
量化：将剩余的残差分量（ $W - L^{(1)}_k R^{(1)}_k$ ）进行量化，生成 $Q_k$ 。
重建：利用剩余的秩预算 $r-k$ ，通过缩放空间中的截断 SVD（ $L^{(2)}_k R^{(2)}_k$ ）重建残差上产生的量化误差（ $E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$ ）。

最终近似结果为 $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$ 。

2. 理论引导的秩选择（ $k^*$ ）

选择最优分割点 $k$ 至关重要。SRR 推导出了一个准则，旨在无需昂贵的枚举即可最小化缩放重建误差。

目标：最小化 $\|S(W - \hat{W}_{SRR}(k))\|_F$ 。
推导：误差被分解为量化误差的幅度与不可恢复能量比率。
- 假设 4.1：缩放量化误差的能量大致与缩放输入能量成正比（ $\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$ ）。
- 假设 4.2：归一化量化误差的谱分布对具体实现不敏感，可近似为由独立同分布条目组成的随机矩阵 $E$ 。
选择规则：最优 $k^*$ 通过最小化保留部分的不可恢复能量与残差部分的不可恢复能量的乘积来选择：
$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$
其中 $\rho_p(A)$ 是秩- $p$ 截断后剩余能量的比率。这允许使用随机探测矩阵 $E$ 对 $k$ 进行轻量级的单次选择。

3. 应用于量化参数高效微调（QPEFT）

SRR 自然地扩展到 QPEFT，其中量化骨干网络被冻结，仅训练低秩适配器。

初始化：SRR 分解为适配器提供了高保真初始化（ $LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$ ）。
梯度缩放：这两个分量扮演不同角色： $L^{(1)}R^{(1)}$ 保留主导子空间，而 $L^{(2)}R^{(2)}$ 处理适应。为了防止优化器过度更新保留方向（这可能会破坏结构稳定性），SRR 对保留分量应用梯度缩放：
$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$
这通过衰减沿保留子空间的更新，同时允许残差方向自由适应，从而稳定了微调过程。

主要贡献

秩分配框架：SRR 引入了一个原则性框架，显式地将秩预算分割为保留主导低秩结构和重建量化误差两部分，解决了“仅残差”重建的低效问题。
理论引导的选择：本文推导了一个简单的、由理论引导的准则，用于基于缩放权重的谱衰减和量化噪声的随机矩阵代理来选择分割点 $k$ ，避免了昂贵的枚举。
QPEFT 稳定性：该方法为 QPEFT 提供了结构化初始化，并引入了一种梯度缩放机制，通过解耦保留方向和重建方向的作用来稳定训练。
即插即用实现：SRR 被设计为无需微调的即插即用模块，兼容现有的激活感知 QER 方法（例如 LQER、QERA）。

实验结果

作者在多种模型（TinyLLaMA、Gemma-2、LLaMA-2、LLaMA-3.1）和量化设置（2 比特至 4 比特）下评估了 SRR。

训练后量化（PTQ）：
- 与 LQER 和 QERA 等基线相比，SRR 在所有模型和秩预算（ $r=32, 64$ ）下，在 WikiText2 上的一致性困惑度（perplexity）均有所降低。
- 显著改进包括：在 3 比特精度下，LLaMA-2 7B 的相对困惑度降低了27.1%，Gemma-2 2B 降低了12.2%。
- 在下游任务（HellaSwag、Winogrande 等）上的零样本准确率得到了一致提升。
量化 PEFT（QPEFT）：
- 在基于 RoBERTa-base 的 GLUE 基准测试中，在 2 比特量化下，SRR 相比 QERA 基线实现了5.9 个百分点的平均增益。
- 在 2 比特精度下，SRR 的表现优于 LoftQ 和 LQ-LoRA 等迭代方法超过 10 个百分点，且无需迭代细化。
- 训练损失曲线表明，与基线相比，SRR 加速了收敛。
- 在 GSM8K 和 SlimPajama 上，与 QERA 及其他基线相比，SRR 在 2 比特精度下显著提高了准确率并降低了困惑度。
鲁棒性：
- SRR 在不同的量化器（MXINT、GPTQ、QuIP#）中均表现出一致的改进。
- 秩选择 $k^*$ 在不同随机种子下表现稳定（通常变化幅度为 $\pm 1$ ）。

意义与主张

本文主张，对于 $W \approx Q + LR$ 的准确低位数量化近似，平衡保留与重建至关重要。通过防止量化破坏高能量方向，并将低秩容量保留给最有效的校正，SRR 在相同的秩预算下实现了比先前方法更准确的近似。

作者强调，SRR 为量化模型中的低秩细化提供了一个原则性框架。它表明低秩预算不应仅服务于单一目的（误差校正），而应根据权重的内在结构属性进行动态分配。该方法被呈现为一种稳健、计算高效（通过随机化 SVD 实现可忽略的开销）且可推广的解决方案，适用于 PTQ 和 QPEFT，从而实现了更准确的 LLM 低位数量化部署。