💬 NLP

Channel-Wise Mixed-Precision Quantization for Large Language Models

本文介绍了一种通道级混合精度量化（CMPQ）方法，该方法根据激活分布动态地为权重通道分配任意精度水平，并采用带有离群值提取的非均匀量化技术，从而在保持大语言模型在边缘设备上高性能的同时，显著降低内存占用。

原作者： Zihan Chen, Bike Xie, Jundong Li, Cong Shen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihan Chen, Bike Xie, Jundong Li, Cong Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其详尽的知识库（即大型语言模型，简称 LLM）。这个库如此巨大，以至于它无法放在普通的书架上；它需要一个足球场大小的仓库才能容纳。现在，你想把这个库缩小，让它能放进一个小巧、便携的书架（比如手机或笔记本电脑）中，但你不能丢弃那些重要的故事，否则这个库就会变得毫无意义。

这篇论文介绍了一种缩减这些数字库的新方法，称为 CMPQ（通道级混合精度量化）。以下是它的工作原理，通过简单的解释说明：

问题所在：“一刀切”的西装

目前，大多数方法试图通过将每一本书都放入尺寸完全相同的盒子里来缩小库的体积。

旧方法： 如果你决定使用“3比特”的盒子（一种特定的特定尺寸），那么每一本书都会被强行塞进一个 3 比特的盒子里。
问题在于： 有些书很厚且复杂（它们需要一个大盒子），而有些书很薄且简单（它们可以装进一个极小的盒子）。如果你把一本厚书强行塞进一个小盒子，页面就会被压皱（AI 会出错）。如果你把一本薄书放在一个巨大的盒子里，你就是在浪费空间。
局限性： 现有的方法是僵化的。它们只能使用整数尺寸（比如 2 比特、3 比特或 4 比特）。如果你的设备比 2 比特盒子能容纳的空间多出一点点，但又不足以容纳一个完整的 3 比特盒子，现有方法无法有效地利用这部分额外空间。

解决方案：CMPQ 的“智能打包”

CMPQ 就像是一个超级智能的打包服务，它会观察每一本书，并根据这本书的重要性来决定最完美的盒子尺寸。

1. “通道”概念（书架）
你可以把 AI 的大脑想象成拥有数千个不同的“通道”或“书架”。研究发现，并非所有的书架都同样重要。有些书架存放着最关键的故事（高激活值），而有些则存放着填充内容。

CMPQ 的做法： 它不再对整个库进行统一处理，而是观察每一个书架。如果一个书架上的故事非常重要，它会给这些书一个更大、更高质量的盒子（更高的精度，比如 4 比特）。如果一个书架上的故事没那么重要，它会给它们一个更小、更紧凑的盒子（较低的精度，比如 2 比特）。

2. “分数”魔法（定制化适配）
这是该论文最大的技巧。因为 CMPQ 将大盒子和小盒子混合在一起使用，它可以创造出一种不是整数的平均尺寸。

类比： 假设你的预算正好够买 2.5 个盒子的空间。
- 旧方法会说：“我们只能使用 2 个盒子或 3 个盒子。我们不能用 2.5 个。”
- CMPQ 会说：“没问题！我们将一半的书装进 2 比特的盒子，另一半装进 3 比特的盒子。这样平均值就是 2.5，并且能完美利用每一寸空间。”
结果： 你可以将库压缩到比以前更小的空间内，而且由于没有挤压重要的书籍，AI 会变得更加聪明。

3. 保护“离群值”（稀有的珍宝）
有时，一本书会有一些非常奇特或独特的页面（被称为“离群值”）。如果你尝试压缩这些页面，整个故事就会崩塌。

CMPQ 的策略： 它拥有一套特殊的“离群值保护”系统。它会在压缩其余库之前，先识别出这些稀有、奇特的页面。它会将这些特定的页面保持在原始的全尺寸格式（就像把它们放在玻璃展示柜里一样），同时压缩其他所有内容。这确保了那些奇特且关键的细节不会丢失。

论文的研究发现

作者在九种不同的 AI 大模型（如 OPT 和 LLaMA）上进行了测试。以下是他们的发现：

更好的性能： 即使在使用非常小的盒子尺寸（如 3 比特）时，CMPQ 也让 AI 比以往的方法更聪明。
“分数”的胜利： 当他们允许 AI 使用“中间尺寸”（如 2.2 比特或 3.4 比特）时，与那些受限于整数的方法相比，AI 的性能有了显著提升。
高效性： 它不需要从头开始重新训练 AI（这既昂贵又缓慢）。它只是重新排列了现有的书籍。
速度： 它的运行速度与旧方法一样快，因此你不会为了获得准确性而牺牲速度。

总结

CMPQ 是一种更智能的 AI 模型压缩方式。它不再强迫 AI 的每个部分都进入相同的微型容器，而是对 AI 的不同部分采取不同的对待方式。它给重要的部分留出更多空间，给不重要的部分留出更少空间。这使得 AI 能够适配更小的设备而不损失其“脑力”，甚至能利用其他方法忽略掉的微小剩余空间。

技术摘要：适应任何位宽：面向大语言模型的通道级混合精度量化

1. 问题陈述

由于参数规模巨大，大语言模型（LLMs）在边缘设备上的部署面临显著挑战，这带来了巨大的内存需求。虽然仅权重的后训练量化（PTQ）通过降低精度（例如从 FP16 降至 3-bit）提供了一种解决方案，但现有方法存在两个主要局限性：

整数位宽的僵化性： 大多数最先进的 PTQ 方法（如 GPTQ、AWQ）都侧重于在所有层中采用统一的整数位宽量化。这限制了它们对能够支持分数平均位宽（例如 2.2 或 3.8 bit）的设备的适应能力，导致可用存储资源的利用不足。
无效的混合精度策略： 现有的混合精度方法（如 LLM-MQ）通常依赖于使用一阶信息（梯度）进行层级敏感度估计。然而，在已收敛的 LLM 中，梯度近似为零，这使得有效区分层敏感度变得困难。此外，层级分配可能会将信息损失集中在特定层，从而降低整体性能。另外，被动保留 FP16 离群值的方法往往会增加推理延迟，却未能带来成比例的性能提升。

2. 方法论：通道级混合精度量化 (CMPQ)

作者提出了 CMPQ，这是一个旨在使 LLM 适应任何平均位宽约束（包括非整数值）且不牺牲性能的 PTQ 框架。该方法通过三个核心组件运行：

A. 通道级非均匀量化

与将权重范围划分为等间距箱体的均匀量化不同，CMPQ 采用非均匀量化（通过 K-means 聚类），以更好地处理 LLM 中典型的非均匀权重分布。

精度分配： CMPQ 不再为整个层分配固定的位宽，而是在通道级分配精度。
基于激活值的启发式算法： 该方法在对校准集进行前向传播期间，计算每个通道激活值的 L2 范数。
- 如果目标平均位宽 $b > 3$ ，则为具有大激活范数的通道（显著通道）分配更高的精度（例如 4-bit），以保留关键信息。
- 如果 $b < 3$ ，则为不太重要的通道分配较低的精度（例如 2-bit），以最小化存储。
- 当 $b = 3$ 时，约 1% 的显著通道被保护为 4-bit，其余则使用 3-bit。
算法： 分配由算法 1 决定，该算法使用激活范数向量的分位数来为每个通道 $i$ 分配位宽 $c_i \in \{2, 3, 4\}$ 。

B. 双重离群值保护

为了减轻由极端值引起的性能下降，CMPQ 集成了两种不同的离群值提取技术，这些技术将特定的权重保留在 FP16 格式中：

基于激活值的离群值 ( $O_{act}$ )： 识别并保留对应于激活 L2 范数前 0.45% 的通道为 FP16。这解决了离群值通常表现出通道级模式的观察结果。
量化感知离群值 ( $O_q$ )： 在移除 $O_{act}$ 后，剩余权重进行通道级非均匀量化。识别并保留具有最大绝对量化误差（ $|W' - W'_q|$ ）的前 0.05% 权重为 FP16。这确保了用于量化的聚类质心代表了权重分布的大部分，而不是被极端值所偏离。

总开销： 总离群值比例维持在 0.5%，与基准方法一致，确保了公平的存储比较。

C. 高效性与部署

无需反向传播： CMPQ 仅需要一次前向传播进行校准，避免了像 SqueezeLLM 那样需要高内存消耗的反向传播过程。
推理： 该框架通过根据通道分配将权重分解为子矩阵，来处理混合精度矩阵乘法。离群值通过标准的 CSR 稀疏算子进行处理，而大部分权重则通过低位宽算子进行处理。

3. 核心贡献

自适应框架： 引入了 CMPQ，这是一个通过通道级精度分配支持任意平均位宽（包括分数位宽）的后训练量化框架。
新颖机制： 将非均匀量化与双重离群值处理策略（基于激活值和量化感知）相结合，提供了具有低开销的细粒度控制。
性能提升： 证明了 CMPQ 在整数位宽和分数位宽设置下均优于以往的方法，通过适度的内存增加实现了显著的性能改进。

4. 实验结果

实验在九种 LLM（OPT, LLaMA2, LLaMA3）上针对各种位宽（2, 3, 4 bits）和数据集（WikiText-2, C4, PIQA, HellaSwag, MMLU）进行了测试。

整数位宽性能： CMPQ 在困惑度（perplexity）方面达到了与 GPTQ、AWQ、QuIP 和 LLM-MQ 等基准方法相当或更优的状态。例如，在 3-bit 的 OPT-2.7B 上，CMPQ 的 WikiText-2 困惑度为 13.38，优于 LLM-MQ (18.09) 和 GPTQ (17.09)。
分数位宽性能： CMPQ 展示了对分数位宽（如 2.2, 3.4 bits）的卓越适应性。在 LLaMA2-7B 上，从 2-bit 提升到 2.2-bit 平均精度使困惑度从 15.97 提升至 11.11（提升了 30%），这是仅整数位宽方法无法实现的增益。
鲁棒性： 与 QuIP 等基于 Hessian 的方法相比，CMPQ 对校准集的变动表现出更强的鲁棒性，后者在评估数据集与校准集不同时可能会出现偏差。
效率：
- 内存： 存储位宽分配元数据和聚类中心的开销极小（每个权重 < 0.03 bits）。
- 延迟： 推理延迟和峰值内存使用量与仅整数量化方法（如 SqueezeLLM）相当，对于较大模型（13B），由于辅助高精度路径的存在，延迟仅有轻微增加（约 11-12%）。
- 校准： CMPQ 具有高度的数据效率，仅需 1-2 个校准样本即可达到理想性能，而其他方法通常需要 50 个以上。

5. 重要性与主张

本文声称 CMPQ 通过弥合理论存储效率与实际部署约束之间的差距，代表了 LLM 量化领域的重要进步。

适应性： 它实现了“分数位宽精度的结构化使用”，允许开发者充分利用可用的设备内存预算，而不是受限于整数位宽方案。
权衡优化： 该方法通过主动向低位宽通道分配精度，同时保持 FP16 足迹固定，实现了更优的内存-准确度权衡，避免了被动保留离群值带来的延迟惩罚。
实用性： 通过消除对反向传播的需求并仅需极少的校准数据，CMPQ 提供了一个可扩展、高效的解决方案，适用于计算和内存资源受限的现实部署场景。

作者承认其局限性，包括专注于仅权重量化、依赖于离散的精度等级集合（{2, 3, 4}）以及假设校准集具有代表性。然而，他们断言 CMPQ 为多样化的设备能力提供了高度可适应且有效的 LLM 量化方法。