🤖 machine learning

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

本文提出了一种名为位平面分解量化（BPDQ）的新方法，该方法利用可变量化网格和二阶优化，显著提升了大语言模型在超低位宽（2-3 位）下的精度，从而使得在单个消费级 GPU 上高效部署 72B 模型成为可能。

原作者： Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且细节惊人的知识库（大型语言模型），并希望将其装进口袋。问题在于，这座图书馆过于沉重且体积庞大，无法放入你的背包，而你的手机也无法快速阅读其中的书籍。

为解决这一问题，科学家采用了量化技术。这相当于将图书馆中复杂的高清书籍翻译成简化、低分辨率的版本，从而占用更少的空间。通常，他们会尝试将书籍压缩至 4 位（就像将 4K 电影转换为标准 DVD）。这种方法效果良好。但当他们试图进一步压缩至 2 位（就像将电影转换为微小且颗粒感强烈的 GIF）时，故事便支离破碎，意义丧失，图书馆变得毫无用处。

问题所在：“饼干模具”陷阱

论文指出，现有将模型压缩至 2 位的方法使用的是固定网格。

想象你正试图将一堆形状各异的岩石（模型数据）装入一个盒子。

旧方法（固定网格）： 你拥有一个僵硬的饼干模具。无论岩石形状如何，你都必须强行将其塞入四个预先切割好的槽位之一：0、1、2 或 3。如果某块岩石需要"2.5"才能完美契合，旧方法会强行将其变为"2"或"3"，从而产生空隙或裂缝。由于“饼干模具”的形状对每一组岩石都相同，当位数变得如此小时，模型会丢失过多细节。

解决方案：BPDQ（“定制模具”方法）

作者提出了一种名为**位平面分解量化（BPDQ）**的新方法。

BPDQ 不再为所有人使用单一的僵硬饼干模具，而是为每一组岩石构建一个定制模具。

工作原理： 它将数据分解为“位平面”（如同蛋糕的层次），并利用灵活的系数（可调节的旋钮）来塑造模具。
结果： 数据不再被迫塞入 0、1、2 或 3 的僵硬槽位，而是可以根据特定岩石组的需求，适应一组灵活的值，如 0、1.2、3.5 或 4.1。

论文将这种方法称为**“可变网格”**。它打破了所有组必须看起来像同一模板放大版的规则。这赋予了模型更大的自由度去寻找完美契合点，从而最大限度地减少数据中的“裂缝”（误差）。

“二阶”魔力

为了确保这些定制模具完美无缺，该方法使用了一种称为**海森诱导几何（Hessian-induced geometry）**的技术。

类比： 想象你试图平衡一摞盘子。简单的方法只是观察盘子并猜测放置位置。而 BPDQ 使用了一种“智能平衡”，能够理解整摞盘子的重量和晃动。它不仅仅修复一个盘子，而是调整整摞盘子，以确保修复一部分不会导致另一部分倒塌。这种“二阶”信息使模型在压缩数据时能够自我纠正错误。

成果：将巨人装入小型手机

作者在名为Qwen2.5-72B的巨型模型上测试了该方法（该模型通常需要超级计算机才能运行）。

壮举： 利用 BPDQ，他们成功将该巨型模型压缩至2 位，并在单张消费级显卡（RTX 3090，你可能在高端游戏电脑中见到）上运行。
性能： 即使在这种极端压缩下，该模型在数学问题（GSM8K）上仍保留了**83.85%**的原始智能。
对比： 其他 2 位方法在这些相同的数学问题上惨败，准确率降至接近 0%。这就像试图阅读一本用你不懂的语言写成的书，而 BPDQ 则保持了语言的可读性。

意义所在

论文声称，以往方法在 2 位压缩下失败的主要原因并非数学错误，而是“饼干模具”（固定网格）过于僵硬。通过转向可变网格以适应数据，BPDQ 解锁了在更小、更便宜的硬件上运行庞大且智能的 AI 模型的能力，同时不会丧失处理数学或推理等复杂任务所需的“脑力”。

简而言之：BPDQ 通过使孔洞变得灵活，停止强行将方钉塞入圆孔，从而让庞大的 AI 模型能够装入微小的空间。

技术摘要：面向大语言模型的变网格位平面分解量化

问题陈述

大语言模型（LLM）推理经常受到内存占用和带宽的限制，特别是在资源受限的环境中。虽然训练后量化（PTQ）在 4 位精度下能有效保持高保真度，但当精度推至 2–3 位时，性能会显著下降。现有的基于优化的 PTQ 方法（如 GPTQ）依赖于在海森（Hessian）诱导几何下最小化输出差异（例如 $\|WX - \hat{W}X\|_F$ ）。然而，这些方法对每个权重组强制实施形状不变的量化网格（例如，固定的均匀间隔如 UINT2，或固定的非均匀模板）。

作者指出，这种形状不变性是低比特率 regime 下的根本瓶颈。固定网格将量化水平的可行集限制为单个模板的缩放版本（例如， $s \cdot \{0, 1, 2, 3\}$ ）。这种刚性导致当权重分布与固定模板的相对间距不一致时，优化器无法在海森诱导几何中找到最近点投影，从而在 2 位精度下导致严重的表示损失和模型崩溃。

方法论：位平面分解量化（BPDQ）

为了解决固定网格的刚性问题，本文提出了位平面分解量化（BPDQ）。BPDQ 为每个组构建一个变量化网格，从理论上扩展了误差最小化的可行解集。

1. 变网格公式

BPDQ 不使用固定模板，而是利用位平面和标量系数来表示量化权重 $\hat{W}$ ：
$\hat{W} = \text{REP}(C_0) + \sum_{i=1}^{k} \text{REP}(C_i) \odot B_i$
其中：

$B_i \in \{0, 1\}^{d_{out} \times d_{in}}$ 是从原始权重中提取的 $k$ 个最高有效位平面。
$C_i$ 是组级标量系数（包括偏置 $C_0$ ）。
$\text{REP}(\cdot)$ 将系数沿输入维度扩展。
$\odot$ 表示逐元素乘法。

该公式允许量化水平的相对间距根据学习到的系数 $C_i$ 在各组之间变化，从而打破了形状不变性约束。

2. 优化框架

BPDQ 在海森诱导几何内运行，以确保与输出重建目标保持一致。该过程包括：

初始化：通过权重的位平面分解（BPD）选择位平面（保留 $k$ 个最高有效平面）。标量系数利用局部海森度量下的闭式加权最小二乘解进行拟合。
迭代细化：算法在以下步骤之间交替：
1. 位平面更新：对于固定的系数，位平面通过精确枚举按列更新，以最小化局部重建误差。
2. 系数重拟合：利用更新后的位平面，通过闭式最小二乘法重新优化标量系数。
增量校正：为了与误差传播状态保持一致（这对顺序 PTQ 至关重要），在系数重拟合后应用增量校正。这调整了累积的传播误差以考虑量化权重块的变更，确保所有迭代都遵循相同的优化目标。

主要贡献

洞察：本文指出固定量化网格中的形状不变性是限制低比特率 regime 下基于优化的 PTQ 的主要约束。它证明了 2 位下的失败并非源于优化目标本身，而是可行集的刚性所致。
方法论：BPDQ 将基于优化的 PTQ 扩展至变网格。通过将权重分解为位平面并为每个组拟合独立的标量系数，它将可行集从一维流形（缩放模板）扩展至高维几何。理论分析证明，BPDQ 严格包含标准均匀网格的可行集，并且对于某些权重向量，能够实现严格更低的量化误差。
性能：大量实验表明，BPDQ 在 2 位和 3 位 regime 下实现了高保真度，而最先进的方法（GPTQ、AWQ）则遭受灾难性退化。

实验结果

作者在 Qwen-3/2.5 系列（0.6B–72B）和 Ministral-3（3B, 8B）上评估了 BPDQ，涵盖语言建模、推理和长上下文基准测试。

2 位 regime：在Qwen2.5-72B上，2 位 GPTQ 和 AWQ 遭受严重的性能下降（例如，GSM8K 准确率降至 41% 以下或 0%）。相比之下，BPDQ 保持了高保真度，在单块 RTX 3090（22.69 GB 显存）上实现了GSM8K 83.85% 的准确率（16 位时为 90.83%）。
推理任务：在 2 位和 3 位下，BPDQ 在推理基准测试（GSM8K、MATH500）上显著优于 GPTQ 和 AWQ。例如，在 Qwen2.5-72B（W2-G64）上，BPDQ 在 GSM8K 上达到 87.72%，而 GPTQ 仅为 63.46%。
系统效率：虽然由于迭代细化，BPDQ 的量化时间约为 GPTQ 的 3 倍，但它比矢量量化（VQ）方法（如 VPTQ，产生约 40 倍的开销）快得多。对于推理，BPDQ 利用位平面查找表（LUT）内核，实现了在 2/3 位 regime 下与 GPTQ 相当甚至更优的低延迟解码。
异常值保留：激活分析证实，BPDQ 固有地保留了关键异常值（具有高激活幅度的特征），而这些特征通常被固定网格方法抑制，这与观察到的性能提升相关。

意义与主张

本文声称，BPDQ 通过放宽量化网格的刚性同时保持硬件友好的格式，为极端模型压缩提供了有前景的方向。通过从理论上扩展可行解集，BPDQ 使得在消费级硬件上部署大规模模型（例如 720 亿参数）成为可能，且保真度损失极小。作者将 BPDQ 定位为一种严谨的解决方案，它将量化过程与海森诱导的优化目标对齐，克服了以往形状不变方法的局限性，同时避免了矢量量化的过高成本或量化感知训练（QAT）的训练开销。

该工作表明，未来的硬件实现（FPGA/ASIC）可以从位平面的二进制特性中受益，且 BPDQ 的统一基础自然地支持混合精度服务，而无需多样化的硬件数据类型。