🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound 是一种无需校准的训练后量化方法，它利用条件扩散模型来解决低比特大语言模型权重中的中点舍入歧义问题，在 3 比特和 4 比特量化方面持续优于标准技术，同时保持了离线效率。

原作者： He-Yen Hsieh, H. T. Kung

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： He-Yen Hsieh, H. T. Kung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座巨大且极其详尽的知识图书馆缩小，以便装进一个微小的、便携式的背包里。这就是大语言模型（LLM）的世界——这些超级聪明的 AI 大脑可以写故事、解数学题，并像人类一样聊天。这些大脑是由数十亿个被称为“权重”的小数字组成的。为了让它们能在普通的手机或笔记本电脑上快速且廉价地运行，科学家们尝试将这些数字挤进更小的盒子中。这个过程被称为量化（quantization）。

把原始的、全尺寸的数字想象成高分辨率的照片。为了节省空间，我们想把它们变成低分辨率的像素艺术。实现这一目标的标准方法叫做“最近舍入”（Round-to-Nearest, RTN）。这就像是在看一个数字，然后问：“它更接近 1 还是 2？”如果它是 1.4，我们就向下舍入为 1；如果它是 1.6，我们就向上舍入为 2。这是一个简单的、自动化的规则。但有一个棘手的地方：如果这个数字正好是 1.5 呢？或者非常接近 1.5，比如 1.48 呢？在这个“中点”位置，决策是模糊的。向下舍入或向上舍入产生的误差几乎一样，所以简单的规则只是武断地选择其中一个。在拥有数十亿个数字的海量图书馆中，做出成千上万个这种微小的、武断的猜测，可能会在无意中扰乱整个书籍的含义，让 AI 变得更笨。

这就是 ReRound 发挥作用的地方。ReRound 不再盲目地在这些棘手的中点处进行猜测，而是像一名侦探一样，观察数字周围的“邻里环境”，以确定最佳选择。它使用一种特殊的 AI 训练技术——“扩散模型”（与生成图像的扩散技术相同），来学习 AI 大脑中数字排列的隐藏模式。当它看到一个数字卡在中点时，它会询问：“基于这个数字所处的环境，它应该是向上舍入，还是应该向下舍入？”通过使用这些学到的模式来引导舍入，ReRound 可以在不重新训练整个 AI 或喂入新样本的情况下，修复标准方法产生的错误。这是一种巧妙的方法，能从更小的背包中挤出更多的准确性，让强大的 AI 触手可及，而无需昂贵的超级计算机。

更优 AI 的侦探指南

在人工智能领域，追求让模型更小、更快的探索经常会撞上一堵墙：即“中点问题”。当科学家试图缩小 AI 内部庞大的数字（这个过程称为量化）时，他们通常使用一个简单的规则：如果一个数字更接近底端，则向下舍入；如果更接近顶端，则向上舍入。但当一个数字正好处于房间中间时会发生什么呢？该论文《ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization》（ReRound：通过重构舍入解决无校准 LLM 量化中的中点歧义）指出，这种“抛硬币”的行为是一种错失的机会。

作者 He-Yen Hsieh 和 H. T. Kung 来自哈佛大学，他们提出了一种名为 ReRound 的新策略。ReRound 不会在数字接近中间时盲目舍入，而是使用一种“扩散先验”（diffusion prior）——即关于原始、完美数字在被缩小前长什么样的已知推测。想象一下，你有一张模糊、像素化的猫的照片。标准的舍入规则可能会根据其直接相邻的像素来猜测一个模糊像素的颜色。然而，ReRound 使用一个经过训练的 AI（具体是一个 U-Net 扩散模型）来“幻觉”或重构整片照片应该看起来是什么样子，其依据是它从原始高质量图像中学习到的模式。

以下是魔法发生的步骤：

训练阶段： 在 AI 被缩小之前，ReRound 会先窥视模型的全尺寸、高精度权重。它将这些权重切成微小的 64x64 块，并训练一个扩散模型，使其仅通过观察低比特、模糊的版本，就能预测出原始的全尺寸块。这就像是教一名侦探仅仅通过触摸一小块模糊的布料，就能识别出特定织物的纹理。
重构： 当需要缩小模型时，ReRound 不仅仅是舍入数字。它将模糊的、低比特的数字输入到训练好的“侦探”（扩散模型）中，以生成一个“重构”后的权重版本。这并不是最终的权重，而是一个指南。这就像侦探在说：“我知道这个模糊的像素靠近中点，但根据整片区域的模式，它应该稍微高一点。”
智能舍入： 只有当标准规则真正感到困惑（靠近中点）时，ReRound 才会使用这个侦探的建议。如果一个数字明显接近底端或顶端，它会坚持使用标准规则。但如果一个数字在中间位置摇摆不定，ReRound 会检查重构后的值。如果重构结果表明应该向另一个方向舍入，且该数值距离中点的“距离”不是太大，ReRound 就会切换开关。
安全检查： 为了确保它不会因为切换了太多开关而破坏模型，ReRound 会生成几个不同版本的缩减模型，每个版本对“信任程度”的设定略有不同。然后，它通过观察矩阵的“骨架”（其奇异值）来挑选胜出者。它选择的是那个能最大限度保留原始全尺寸模型重要结构模式的版本。

结果令人印象深刻，尤其是在较小的 AI 模型上。论文显示，在将模型压缩至 3-bit 和 4-bit 精度时，ReRound 始终优于标准的“最近舍入”方法。例如，在 Gemma 2 2B 和 Gemma 3 1B 等模型上，ReRound 在各种语言任务中将准确率提高了 0.1 到 1.3 个百分点。在某些情况下，它甚至超越了那些需要“校准数据”（即喂给 AI 数千个例句来学习如何舍入）的方法，而 ReRound 在整个过程中完全没有使用额外的数据。它完全是在离线状态下工作的，仅利用模型自身的权重。

作者也谨慎地指出，这并非解决所有问题的万灵药。该方法在量化参数（如缩放比例和零点）已经固定的情况下效果最好。此外，它需要为每个特定的 AI 训练一个单独的扩散模型，这需要前期的计算时间（大约 2 到 3 小时的训练时间以及每个模型数小时的推理时间）。然而，一旦完成这些工作，实际缩小模型的过程非常快，仅需数秒到数分钟。

至关重要的是，ReRound 不会改变你的手机或笔记本电脑运行 AI 的方式。它只改变了存储在内存中的最终整数值。这意味着 AI 的运行速度与之前完全一样，但保留了更多的“脑力”。论文表明，这种使用“重构权重”作为舍入指南的方法，可以成为使 AI 变得更小、更聪明的标准方法，证明了有时最好的决策方式不是孤立地看待一个数字，而是询问它的“邻里”是如何看待它的。

技术摘要：ReRound —— 通过重构舍入解决无校准 LLM 量化中的中点歧义问题

1. 问题陈述

后训练量化（PTQ）通过将全精度权重映射到低比特整数，来减少大语言模型（LLM）的存储和内存占用。这一过程中的一个关键步骤是最终的舍入赋值，即必须将量化后的浮点权重分配给其相邻的下取整（floor）或上取整（ceiling）整数。

标准的最近舍入（Round-to-Nearest, RTN）方案仅基于标量距离进行决策。虽然这对于靠近整数边界的权重是明确的，但对于位于量化区间中心（例如 $r \approx 0.5$ ）附近的权重，会产生中点歧义（midpoint ambiguity）。在这些区域，向上或向下舍入所产生的标量误差几乎相等。因此，RTN 在这些模糊区域的决策往往是随机的，然而，一小部分此类决策可能会显著改变线性层的整体舍入模式，从而导致模型精度下降。现有方法要么优化量化参数（缩放因子、零点），要么使用校准数据来学习舍入赋值，但很少有方法在不依赖激活样本或下游标签的情况下，专门解决舍入步骤本身的歧义问题。

2. 方法论：ReRound

ReRound 是一个**无校准（calibration-free）**框架，它利用直接从预训练 LLM 自身权重中学习到的信息，重新审视了中点歧义的 RTN 决策。该方法由三个主要阶段组成：

A. 通过扩散进行条件权重重构

ReRound 在预训练 LLM 的权重矩阵上训练一个条件扩散模型（具体为 U-Net）。

训练： 该模型学习在以低比特随机舍入（Stochastic Rounding, SR）版本（ $P_{low}$ ）为条件时，重构全精度权重块（ $P$ ）。目标是连续的全精度块，而条件是量化后的观测值。
推理： 在 PTQ 阶段，模型在以确定性 RTN 量化权重（ $P_{cond}$ ）为条件时，生成连续的重构权重（ $W_{rec}$ ）。
目的： 这些重构权重并不作为模型参数进行部署。相反，它们作为一种学习到的先验，反映了特定 LLM 内权重的分布，为解决舍入歧义提供依据。

B. 基于位置相关容差的重构引导舍入

ReRound 使用重构权重来提议替代的舍入赋值（从 floor 切换到 ceiling 或反之），但仅当原始 RTN 决策存在歧义时才进行。

提议条件： 只有当重构权重（ $\tilde{w}_{rec}$ ）舍入到与原始 RTN 赋值（ $q_{rtn}$ ）不同的相邻整数（ $q_{alt}$ ）时，才会提出变更建议。
位置相关容差： 并非所有提议都会被接受。ReRound 采用了一个基于权重在量化区间内分数位置 $r$ $r$ 的容差度量 $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ 。
- 在中点附近（ $r \approx 0.5$ ），容差较高，允许重构引导的变更。
- 在整数边界附近，容差呈指数级下降，保留标准的 RTN 决策，因为此时标量误差差异显著。
- 只有当重构权重与原始权重之间的偏差落在该位置相关容差范围内时，变更才会被接受。
候选生成： 通过遍历容差参数 $\tau$ ，ReRound 生成一组候选量化整数权重矩阵（ $Q_\tau$ ），每个矩阵代表了一组不同的已接受的舍入修正。

C. 谱选择

为了在没有校准数据的情况下选择最优候选，ReRound 使用了一种仅基于权重的谱准则（weight-only spectral criterion）。

每个候选矩阵 $Q_\tau$ 被反量化以形成连续矩阵 $W_\tau$ 。
将 $W_\tau$ 的前导奇异值与原始全精度矩阵 $W$ 的奇异值进行比较。
选择具有最小谱差异（与主导奇异值最匹配）的候选矩阵作为最终的量化权重矩阵。这确保了所选的舍入模式能够保留原始层的核心结构模式。

3. 核心贡献

ReRound 框架： 一种新颖的无校准方法，利用在模型自身权重上训练的条件扩散模型来引导中点歧义的舍入决策。
位置相关容差： 一种动态控制重构引导变更接受程度的度量，优先考虑中点区域，同时保留边界附近的 RTN。
谱选择准则： 一种基于奇异值保持来选择最优量化整数矩阵的方法，消除了对激活样本、文本校准或下游标签的需求。
兼容性： 该方法完全离线运行，仅修改量化的整数赋值（保持缩放因子、零点和推理过程不变），并且可以对其他 PTQ 方法生成的参数进行精细化处理。

4. 实验结果

论文在多种小型 LLM（如 Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B）的 3-bit 和 4-bit 权重量化上评估了 ReRound。

对比无校准基线： 在所有测试模型中，ReRound 始终优于标准的组量化 RTN 以及其他无校准方法（HQQ, BNB FP4, Hadamard 变换 RTN）。在 3-bit 量化下，它实现了最高的平均精度，并在 4-bit 量化下达到或超过了大多数模型的最佳结果。
对比需校准基线： 在多个模型上，ReRound 超过了需要校准的基线方法（如 GPTQ, AdaRound, 和 SignRound），例如在 Gemma 2 2B 上实现了 67.4% 的平均精度，而 SignRound 为 67.0%，且无需任何校准数据。
消融实验： 移除任何组件（重构引导、位置相关容差或谱选择）都会导致精度下降，证实了完整流水线的必要性。
泛化性： 当应用于其他方法（如 SINQ）生成的量化参数时，ReRound 仍能提升 RTN 基线性能，证明了其作为后验精细化工具的效用。
效率： 该方法在低比特推理期间不引入任何额外开销。离线成本涉及针对每个模型进行一次扩散训练运行以及一个快速的 PTQ 选择步骤（每个模型仅需数秒）。

5. 重要性与声明

该论文将 ReRound 定位为一种新的低比特量化范式，它利用预训练权重中的结构模式作为有效的先验。其主要意义在于：

解决歧义： 它专门针对“中点歧义”问题——这是标准 RTN 的一个已知局限性——并使用学习到的先验而非启发式规则来解决。
无校准的高效性： 它在无校准方法中达到了最先进的精度，并能与需要校准的方法竞争，从而消除了对昂贵校准数据集的需求。
保持推理一致性： 通过仅改变整数赋值，同时保持量化网格和推理逻辑与 RTN 完全一致，确保了无缝部署。

作者指出了一些局限性，包括需要为每个 LLM 构建单独的扩散模型（引入了模型特定的离线成本）以及目前主要关注小型 LLM。他们建议未来的工作可以探索跨模型的权重先验迁移，以及量化参数与舍入的联合优化。