💬 NLP

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

本文介绍了 Drop-by-Drop，一种新颖的训练后量化框架，该框架利用加性码本和 Matryoshka 式监督，使单个 LLM 检查点能够支持自适应、多位宽推理，同时在保持各种模型架构竞争性准确度的同时，实现极低的存储开销。

原作者： Liza Babaoglu, Shuangyi Chen, Ashish Khisti

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Liza Babaoglu, Shuangyi Chen, Ashish Khisti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这里是对论文《使用加性码本进行大语言模型多位宽量化》（引入 Drop-by-Drop 技术）的通俗易懂且富有创意的解释。

核心问题：并非所有尺寸都适用

想象你拥有一座规模宏大、细节极其丰富的知识图书馆（即大语言模型或 LLM）。这座图书馆非常庞大，需要一个巨大的仓库来存放。

云端： 如果你在云端的超级计算机上运行这个图书馆，你会有充足的空间。你可以保持每一本书都处于打开状态，阅读最精细的细节。
手机： 如果你尝试在智能手机或小型边缘设备上运行同一个图书馆，仓库就太大了。手机的内存（RAM）和电池无法承受如此庞大的体积。

目前的解决方案（“静态”方法）：
现在，如果你想在不同设备上使用这个图书馆，你必须制作多个副本：

一个用于超级计算机的“豪华版”（高质量，超大体积）。
一个用于手机的“口袋版”（压缩后，质量较低）。
一个用于平板电脑的“旅行版”（中等大小）。

这是低效的。你必须为同一个图书馆训练、存储并维护三个不同的版本。如果你想从手机切换到平板电脑，你必须更换整个文件。

新的解决方案：“Drop-by-Drop”

作者提出了一种名为 Drop-by-Drop 的新方法。他们不是制作三个不同的图书馆，而是创建了一个单一的图书馆，它可以根据所在的设备神奇地缩小或扩大，而无需重新训练或更换。

不要把这个图书馆看作是一叠书，而要把它看作一个俄罗斯套娃（Matryoshka doll）。

外壳： 最小、最基础的版本。它可以装进你的口袋，但只知道最重要的事实。
中间层： 如果你打开外壳，你会发现一个稍大一点的娃娃，拥有更多的细节。
核心层： 拥有每一个细节的全尺寸娃娃。

通过 Drop-by-Drop，你不需要携带三个不同的娃娃。你只需携带一个。

在手机上，你只需使用外壳。
在平板电脑上，你打开外壳以使用中间层。
在超级计算机上，你完全打开它以使用完整的核心。

它是如何工作的：“加性码本”配方

为了让这种嵌套结构生效，作者使用了一种称为**加性量化（Additive Quantization）**的技术。

想象你正在通过电话向别人描述一幅复杂的画作。

标准方法： 你先发送一张低分辨率的照片（模糊的）给手机，再为计算机发送一张高分辨率的照片。这是两个不同的文件。
Drop-by-Drop 方法： 你先发送一个基础草图。
- 如果听众的屏幕很小，他们就在此停止。他们得到了画作的大致轮廓。
- 如果他们的屏幕更大，你再发送第二层：增加一些线条来定义形状。
- 如果他们的屏幕非常大，你再发送第三层：最后的色彩和细节。

神奇之处在于，第二层和第三层如果没有第一层就毫无意义，但第一层本身就是完美的。这些层是“加性”的——它们相互叠加，共同构建出一幅更清晰的图像。

秘诀：“套娃式”训练

通常，当你训练一个用于压缩数据的 AI 时，它会学习如何制作出最好的最终图像。它并不关心前几层看起来是否糟糕。如果过早停止，图像就会变得一团糟。

作者引入了一种特殊的训练规则，称为套娃监督（Matryoshka Supervision）。

类比： 想象一位老师在给学生的作文评分。
- 旧方法： 老师只对最终的 10 页作文进行评分。如果学生只写了 1 页，老师会说：“这简直是垃圾，我没法评分。”
- Drop-by-Drop 方法： 老师会在每一个阶段都进行评分。“好的，第 1 页是一个很好的摘要。第 3 页增加了不错的细节。第 10 页非常完美。”
结果： 因为 AI 被训练为确保每一个部分版本（1 层、2 层、3 层）都是准确的，所以当你处于小型设备时，你可以安全地“丢弃”额外的层，剩下的层依然能完美运行。

为什么这很重要（根据论文）

一个模型，多种设备： 你只需要存储和下载一个文件。设备会根据其内存决定“拆解”多少内容。
无需重新训练： 你不需要为每种手机或平板电脑训练一个新模型。单个模型可以自动适应。
平滑过渡： 当你从低功耗设备转向高功耗设备时，质量会平滑提升，而不是在不同且不兼容的模型之间跳跃。
理论证明： 论文使用数学（信息论）证明了这种“嵌套”方法对于 LLM 使用的数据类型在理论上是可行的，从而确保通过添加这些层不会损失效率。

总结

Drop-by-Drop 将一个僵化的、一刀切的 AI 模型变成了一个灵活的、“智能”的模型，它可以缩小到装进你的口袋，也可以扩展到填满一台超级计算机，而这一切都源于同一个文件。它通过训练 AI 使其在每一个细节层级都表现出色，而不仅仅是针对最终的最详细版本。

技术摘要：用于大语言模型多位宽量化的 Drop-by-Drop 技术

问题陈述

由于数十亿参数所需的巨大内存和计算资源，大语言模型（LLMs）在部署方面面临显著挑战。虽然量化技术可以将这些模型压缩为有限精度的表示形式，但传统方法通常只能生成固定压缩水平的模型（例如静态的 4-bit 或 8-bit 模型）。这种僵化性对于从云端服务器到资源受限的边缘设备等异构硬件环境而言并非最优。为不同位宽维护多个单独量化的模型变体，会带来高昂的存储和维护开销。此外，现有的自适应方法往往依赖于重新训练，或者在移除组件时无法在精度与效率之间提供平滑的权衡，否则会导致灾难性的性能下降。

方法论：Drop-by-Drop (DbyD)

作者提出了 Drop-by-Drop，一种新型的后训练量化（PTQ）框架，它使单个训练好的模型能够在无需重新训练的情况下，在多种精度水平下运行。该方法基于信息论，并构建于 加性量化（Additive Quantization, AQLM） 之上。

理论基础

该方法受到**逐次源细化（successive source refinement）**概念的启发。论文建立了一个定理，证明了高斯源（LLM 的权重在经验上近似于高斯分布）在 加权均方误差（WMSE） 失真度量下是可进行逐次细化的。该失真度量源自 LLM 的损失函数，其中误差通过输入数据矩阵 $X$ 进行加权。该定理表明，可以通过编码使源在逐步增加比特数时，实现渐进式的精确重建，且与直接针对目标失真水平进行编码相比，不存在速率损失。

算法实现

Drop-by-Drop 改编了 AQLM 框架，该框架将权重表示为来自多个学习到的码本（codebooks）的向量之和。

加性码本： 不同于单一的量化阶段，权重被重建为从 $M$ 个不同码本中选择的向量之和。
Matryoshka 式监督： 为了确保这些码本的子集能够产生准确的部分重建，作者在训练期间引入了一种专门的损失函数。该损失函数聚合了使用前 $k$ $k$ 个码本（对于 $k = 1, \dots, M$ $k = 1, \dots, M$ ）进行部分重建时的 WMSE 失真。
- $L_{DbyD} = \sum_{k=1}^{K} \lambda_k D^{(k)}$ ，其中 $D^{(k)}$ 是使用前 $k$ 个码本时的失真。
- 这种“Matryoshka”（俄罗斯套娃）式监督显式地鼓励前几个码本捕捉粗略、基础的特征，而随后的码本则提供更精细的细化。
推理时的灵活性： 在推理时，模型可以通过丢弃码本来动态调整其精度。对于约束严格的设备，可以使用前几个码本（例如 $k=3$ ）；而对于资源丰富的设备，则可以利用所有 $M$ 个码本。这使得单个检查点（checkpoint）能够服务于多种位宽。

核心贡献

理论证明： 论文证明了高斯源在与 LLM 相关的 WMSE 失真度量下是可进行逐次细化的，为无需速率损失的渐进式量化提供了理论基础。
Drop-by-Drop 框架： 这是一个实用的 PTQ 框架，它将 Matryoshka 监督集成到加性码本训练中，通过丢弃码本使单个模型支持多种精度水平。
实证验证： 在多样化架构（Qwen, LLaMA, Gemma, Mistral）上的广泛实验表明，Drop-by-Drop 在全量支持的位宽范围内均能保持具有竞争力的困惑度（perplexity）和任务准确率，与标准 AQLM 在丢弃码本时相比，表现出更优雅的性能降级。

实验结果

作者在 0.5B 到 32B 参数的模型上，使用 WikiText-2、C4 和五个零样本推理基准测试（ARC、HellaSwag、Winogrande、PIQA）对 Drop-by-Drop 进行了评估。

困惑度（Perplexity）： Drop-by-Drop 变体始终优于基准方法“AQLM (Drop)”（即训练一个标准的 AQLM 模型并在推理时直接丢弃码本）。例如，在 3-bit 精度下的 Mistral-7B 上，标准 AQLM (Drop) 出现了巨大的困惑度上升（112.75），而 Drop-by-Drop (Weighted) 保持了 6.19 的困惑度，紧密追踪了单独训练模型的性能。
准确率： 在零样本任务中，Drop-by-Drop (Weighted) 在所有位宽下均取得了与单独训练模型（AQLM Ind.）相当的准确率得分。
效率： 该方法消除了为不同位宽训练和存储多个单独模型的需求。图 8 说明，虽然传统方法需要针对三个单独模型（3-bit, 4-bit, 5-bit）进行累积训练时间和磁盘空间消耗，但 Drop-by-Drop 仅需一次训练运行和一次存储实例，即可获得相似的性能。

意义与主张

论文声称，Drop-by-Drop 弥合了信息论中的逐次细化理论与实际 LLM 量化之间的鸿沟。其主要意义在于实现了推理时的自适应精度控制，且无需重新训练或重新校准。通过允许单个模型根据部署设备的性能动态调整其有效资源使用量，该方法解决了在异构硬件上部署 LLM 的实际挑战。作者将其定位为一种连接多位宽 PTQ 与逐次细化的新颖方式，为现实场景中的运行时硬件感知动态加载和混合精度量化提供了解决方案。