💬 NLP

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training

本文提出了 pQuant 方法，通过解耦线性层为高效的主干 1 比特分支和保留敏感参数的紧凑高精度分支（可扩展为稀疏专家），有效解决了全参数量化感知训练中参数敏感性同质化的瓶颈，从而在极低比特量化下实现了大语言模型的最优性能。

原作者： Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 pQuant 的新方法，旨在解决大型语言模型（LLM）在“极度压缩”后变笨的问题。

为了让你轻松理解，我们可以把训练一个大型语言模型比作组建一支超级高效的特种部队，而“量化”（Quantization）就是给这支部队换装，把原本穿着厚重、功能齐全的“重型装甲”（高精度浮点数），换成轻便但脆弱的“单兵作战服”（极低比特数，比如 1 比特）。

1. 核心问题：为什么换装后部队变弱了？（参数民主化）

在传统的换装方法中，有一个巨大的副作用，作者称之为**“参数民主化”（Parameter Democratization）**。

比喻：想象一下，你有一支由 1000 人组成的特种部队。其中只有 5 个人是真正的“狙击手”和“爆破专家”（敏感参数），他们决定了任务成败；剩下 995 人是普通步兵。
现状：在现有的 1 比特换装方案中，为了追求极致的轻便，系统强制要求所有人都穿上同样的、最简陋的“草鞋”（1 比特权重）。
后果：结果就是，那 5 个关键专家也被迫穿上了草鞋，失去了原本的高精度能力。更糟糕的是，系统不再区分谁重要、谁不重要，让所有人都变得“一样普通”。这就导致整支部队的战斗力（模型精度）大幅下降，无法完成复杂任务。

2. pQuant 的解决方案：解耦与“特种分队”

pQuant 的核心思想是**“打破平均主义，让专业的人穿专业的鞋”。它提出了一种解耦线性层（Decoupled Linear Layer）**的设计。

比喻：pQuant 不再让所有人穿一样的草鞋，而是把部队拆分成两个特种分队：
1. 主力大队（1 比特分支）：95% 的士兵依然穿着轻便的“草鞋”（1 比特），负责处理绝大多数常规任务，保证行军速度极快、消耗极低。
2. 精英特战队（高精度分支）：专门挑选出那 5% 最关键的“专家”，给他们穿上保留的“重型战术靴”（8 比特高精度）。这支小队伍专门负责处理那些最敏感、最复杂的“高难度动作”。
如何分配？：系统不会预先规定谁穿什么，而是通过一种**“特征缩放”（Feature Scaling）**机制，像一位聪明的教官一样，动态地指挥：遇到复杂任务时，自动把信号引导给穿“战术靴”的精英分队；遇到简单任务，就交给穿“草鞋”的大队。

3. 进阶玩法：专家混合（MoE）与弹性扩容

为了让这支特种部队更强大，pQuant 还引入了**“专家混合”（Mixture of Experts, MoE）**的概念。

比喻：如果任务特别难，光靠一个“精英特战队”不够怎么办？pQuant 可以瞬间召唤出多个“精英分队”（比如 4 个或 8 个）。
关键优势：虽然仓库里存了多个分队（增加了总参数量），但在执行每一个具体任务时，只激活其中一个分队。
- 这就好比：你有一个巨大的图书馆（总参数多），但每次你只借一本书（激活参数少）。
- 结果：模型的能力（智商）随着分队数量增加而大幅提升，但每次推理时的速度和内存占用却几乎不变，依然像 1 比特模型一样快。

4. 实际效果：快如闪电，强如原版

通过这种设计，pQuant 取得了惊人的效果：

精度提升：在 1.35 比特的极低精度下，它的表现甚至超过了 2 比特的模型，并且非常接近原本 16 比特（FP16）的“全副武装”版本。
效率极高：因为它大部分时间只运行 1 比特的计算，推理速度比传统的 2 比特模型快了近 20%，比 16 比特模型快了两倍以上。
内存节省：在边缘设备（如手机、无人机）上，它占用的内存只有原版模型的 8% 左右。

总结

简单来说，pQuant 就像是为语言模型设计了一套**“智能换装系统”：
它不再搞“一刀切”的压缩，而是把“聪明的大脑”（敏感参数）保留在高级装备里，把“手脚”（普通参数）换成极简装备**。同时，它还允许模型在需要时灵活调用更多的高级装备，却不需要付出额外的速度代价。

这使得我们可以在手机、边缘设备等资源受限的硬件上，运行既快又聪明的超大型人工智能模型。

这是一篇关于pQuant（Decoupled Linear Quantization-Aware Training）的论文技术总结。该论文提出了一种针对大语言模型（LLM）的极低比特（sub-2-bit）训练新方法，旨在解决现有方法在精度和可扩展性上的瓶颈。

以下是详细的技术总结：

1. 研究背景与核心问题 (Problem)

背景：大语言模型（LLM）在边缘设备上的部署受到计算和内存资源的限制。极低比特量化（如 1-bit 或 sub-2-bit）通过将权重压缩为极低位宽，能显著降低内存占用并加速推理（利用位运算替代浮点乘法）。
现有挑战：
- 精度损失：现有的极低比特量化方法（无论是训练后量化 PTQ 还是从 scratch 开始的量化感知训练 QAT-Scratch）在精度上仍有较大差距，难以达到 FP16 基线的 80% 以上。
- 可扩展性差：随着模型规模增大，1-bit 模型的性能提升呈次线性增长，远落后于 FP16 模型。
核心发现：参数民主化效应 (Parameter Democratization)：
- 作者通过敏感性分析发现，在现有的 1-bit QAT-Scratch 模型（如 BitNet）中，权重的敏感性分布变得高度均匀化。
- 在 FP16 模型中，只有少数“敏感”参数对输出有决定性影响；而在 1-bit 模型中，所有参数似乎被同等对待，导致模型失去了区分关键信息的能力，限制了其表达力和可扩展性。

2. 方法论 (Methodology: pQuant)

为了解决“参数民主化”问题，pQuant 提出了一种解耦线性量化感知训练框架，核心思想是解耦参数并引导敏感性分配。

2.1 解耦线性层 (Decoupled Linear Layer)

pQuant 将标准的线性层结构拆分为两个并行的专用分支：

主导 1-bit 分支 (Dominant 1-bit Branch)：
- 负责大部分计算，权重被量化为 1-bit（INT1），确保极高的推理效率。
- 在多头注意力（MHA）模块中，所有投影层均使用纯 1-bit 线性层。
- 在前馈网络（FFN）中，大部分参数（约 95%）位于此分支。
紧凑高精度分支 (Compact High-Precision Branch)：
- 专门用于保留对模型输出最敏感的参数。
- 权重保持为 8-bit (INT8) 精度。
- 在 FFN 中，仅保留一小部分维度（如 4%-5%）在此分支。
- 设计动机：避免单一 1-bit 量化导致的动态范围坍塌，允许模型在关键位置保留更丰富的信息。

2.2 特征缩放引导 (Feature Scaling Guidance)

问题：如何动态地将敏感参数分配到高精度分支？
解决方案：引入可学习的标量参数 $\alpha$ $α$ 和 $\beta$ $β$ 对两个分支的输出进行加权。
- 公式： $Y = \alpha \cdot \text{FFN}_{8\text{-bit}} + \beta \cdot \text{FFN}_{1\text{-bit}}$
- 初始化策略：初始化 $\alpha \gg \beta$ （例如 $\alpha=2.0, \beta=0.2$ ），强制模型在训练初期优先利用高精度分支，引导模型将重要的特征表示分配给 8-bit 路径。
- 随着训练进行，模型自动学习这两个标量，实现敏感参数的动态分配。

2.3 稀疏激活专家扩展 (Sparse-Activated Experts Scaling)

为了进一步提升模型容量而不显著增加推理成本，pQuant 将高精度分支扩展为多个并行专家（ $N$ 个 8-bit 分支）。
引入一个轻量级的 Top-1 Router，根据输入 Token 动态选择激活其中一个 8-bit 专家。
优势：这种设计类似于 MoE（混合专家），但精度不同（1-bit 共享 + 8-bit 稀疏路由）。它允许模型通过增加 $N$ 来扩展容量，同时保持每次前向传播的活跃参数量与标准稠密层一致，从而实现近线性的扩展能力。

3. 关键贡献 (Key Contributions)

提出“参数民主化”概念：首次指出 1-bit 模型中参数敏感性同质化是限制其表达力和扩展性的关键瓶颈。
pQuant 架构设计：
- 首创解耦线性层结构，结合 1-bit 效率与 8-bit 精度。
- 提出基于特征缩放的敏感性引导机制，无需预定义敏感位置，而是让模型动态学习。
可扩展性突破：通过稀疏激活的 8-bit 专家模块，解决了极低比特模型难以随规模扩大的问题，使其扩展曲线更接近 FP16 模型。
硬件友好性：推理时，1-bit 权重可打包存储，8-bit 分支仅激活一个，且缩放因子可融合，无需额外的浮点运算开销。

4. 实验结果 (Results)

实验在 300M 到 2.6B 不同规模的模型上进行，对比了 BitNet (1-bit), BitNet1.58 (2-bit), LLaMA-2 (FP16) 以及 PTQ/QAT 基线。

精度提升：
- 在 1.3B 规模下，pQuant (1.35-bit) 的平均准确率达到了 44.0，仅比 2-bit 的 BitNet1.58 (44.4) 低 0.4 分，但比特数减少了约 32.5%。
- 相比 SOTA 的 1-bit 方法 BitNet，pQuant 在 perplexity (困惑度) 上降低了 32.0%。
- 在 2.6B 规模下，pQuant 的表现甚至超过了 1.3B 的 FP16 LLaMA-2，且远超基于 7B 模型进行 PTQ 的 PTQ1.61。
扩展性验证：
- 当增加 8-bit 专家数量 $N$ 至 8 时，pQuant 的训练损失曲线几乎与 FP16 LLaMA-2 重合，而 1-bit BitNet 和 2-bit BitNet1.58 则存在明显差距。
- 证明了通过增加高精度分支容量，可以有效恢复极低比特模型的表达能力。
效率与内存：
- 推理速度：在 Apple M2 上，pQuant 比 BitNet1.58 快 38%，比 FP16 LLaMA-2 快 82%。
- 内存占用：相比 FP16 LLaMA-2，pQuant 减少了 92% 的显存占用；相比 BitNet1.58 减少了 31%。
- 尽管引入了多个 8-bit 分支，但由于 Top-1 路由机制，推理时的活跃参数量和内存访问并未显著增加。

5. 意义与结论 (Significance)

理论意义：揭示了极低比特量化中“敏感性结构保持”的重要性，挑战了传统均匀量化的假设。
实践价值：
- pQuant 证明了从 scratch 训练的极低比特模型可以在保持 FP16 级别性能的同时，实现极高的推理效率。
- 为边缘设备（Edge Devices）部署大模型提供了一条可行路径，能够在资源受限设备上运行高性能 LLM。
- 提出的解耦架构和稀疏扩展策略为未来的低比特模型设计提供了新的范式。

总结：pQuant 通过解耦参数敏感性，利用少量高精度分支“挽救”关键信息，结合特征缩放引导和稀疏专家扩展，成功打破了极低比特 LLM 的精度与扩展性瓶颈，实现了在 1-bit 级别下接近甚至超越 2-bit 模型的性能，同时保持了极致的推理效率。