💬 NLP

Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models

本文介绍了保留怀疑度量化（Doubt-Preserving Quantization, DPQ）框架，该框架根据特定的部署目标来选择校准数据，以更好地保留量化语言模型中的置信度和弃权等不确定性行为，并证明了最优的数据选择取决于所期望的保留目标，而非遵循固定的配方。

原作者： Zhen Yang, Sizai Hou, Kaiwen Zheng, Yaofang Liu, Liang He, Yixuan Chen, Kangning Cui

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhen Yang, Sizai Hou, Kaiwen Zheng, Yaofang Liu, Liang He, Yixuan Chen, Kangning Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是许多现代人工智能引擎背后的核心，它们能够生成文本、回答问题并解决曾经被认为机器无法完成的问题。为了在智能手机或笔记本电脑等日常设备上运行这些庞大的系统，工程师们经常使用一种称为“量化”的技术。这个过程通过简化模型用于思考的数字来缩小其内存占用，就像将一张高分辨率照片压缩成较小的文件大小以便更快加载一样。多年来，这种压缩技术的成功几乎完全取决于模型是否仍能得到正确的答案。如果一个曾经知道澳大利亚首都是堪培拉的模型在缩小后仍然回答堪培拉，那么它就被视为是成功的。然而，这种狭隘的关注忽略了这些模型运作的一个关键层面：它们的置信度。模型不仅会输出一个答案，还会计算它对该答案有多大的把握。这种内在的确定感对于安全性和可靠性至关重要，特别是当模型需要决定是否回答一个问题，或者是否应该承认自己不知道时。

来自包括耶鲁大学和牛津大学在内的研究机构的一个研究小组发现，缩小这些模型的标准方法往往会破坏这种内在的置信感，即使最终答案仍然正确。他们发现，虽然压缩后的模型可能仍然能选出正确的城市，但它可能会对自己的选择表现出极度的过度自信或奇怪的不确定性，这种转变可能会导致下游系统做出危险的错误。为了解决这个问题，研究人员开发了一种新方法，用于选择用于为模型压缩做准备的特定数据。他们的工作表明，并没有一套适用于所有情况的“完美”数据集。相反，必须根据用户需要保留的具体行为类型来仔细选择数据，无论是保留识别无法回答问题的能力，还是在广泛主题范围内保持答案的普遍可靠性。

问题的核心在于这些模型如何处理不确定性。在现实世界中，一个得力的助手应该知道何时保持沉默。如果用户提出了一个没有事实答案的问题，模型应该识别出其中的歧义并拒绝猜测，而不是自信地编造一个错误的事实。这种区分能够回答的问题与不能回答的问题的能力被称为“可回答性”（answerability）。研究人员观察到，标准的压缩技术往往会扰乱这一微妙的边界。面对一个它无法回答的问题，模型可能会看到一个问题，虽然完整版的模型会犹豫，但压缩版可能会突然对一个错误的答案表现出极高的信心。这是因为压缩过程引入了微小的误差并不断累积，将模型的内部评分推向了决定是否开口说话的阈值。

为了解决这个问题，研究人员并没有将训练数据的选择视为一个通用的步骤，而是将其视为一项有针对性的校准任务。他们意识到，不同的目标需要不同的数据。如果目标是保留模型检测无法回答问题的能力，那么用于准备模型的数据必须充满处于不确定性边缘的例子——即那些难以回答或模型自然感到不确定的问题。如果目标是在许多不同类型的问题中保持普遍的可靠性，那么数据则需要更加平衡，将这些困难的边缘案例与标准的、简单明了的例子混合在一起。研究人员在八个不同的语言模型和九个不同的基准测试中测试了这个想法，并将他们的方法与二十二种其他方法进行了比较。他们发现，当他们专门选择包含高度怀疑和不确定性的数据时，压缩后的模型在适当情况下表达“我不知道”的能力得到了显著提升。

研究还揭示了一个令人惊讶的权衡。用于保护识别无法回答问题能力的最优特定配方，与用于保护标准多项选择测试中普遍准确性的配方并不相同。一种侧重于处理困难、不确定案例的方法在保护模型的决策边界方面表现出色，确保它不会对不该回答的问题给出自信的回答。然而，对于期望回答大多数问题的更广泛任务，使用较温和的数据混合，或者仅仅是为了一般置信水平而选择的数据，表现则更好。这一发现挑战了长期以来认为存在一种单一、通用的模型压缩准备方法的假设。相反，研究人员表明，“最佳”数据完全取决于模型的实际用途。

研究人员引入了一个名为“保留怀疑量化”（Doubt-Preserving Quantization）的新框架来实践这一想法。该方法的工作流程是：首先要求原始的全尺寸模型对大量潜在问题进行评分。然后，识别出模型最不确定或前两个答案之间差异非常小的问题。这些“高怀疑”示例随后与标准的、通用的示例混合，以创建一个定制的数据集用于压缩过程。通过将这种定制的混合物输入到压缩算法中，生成的较小模型能够保留原始模型的细微置信感。研究表明，这种方法显著减少了通常困扰压缩模型的置信度误差，特别是在了解何时放弃回答至关重要的场景中。

这项工作表明，我们思考如何使人工智能变得更小、更快的方式正在发生根本性的转变。仅仅检查模型是否仍能得到正确答案是不够的；我们还必须确保它仍然知道自己对该答案有多大的把握。研究人员表明，通过仔细策划用于缩小这些模型的数据，我们可以保留那些使其安全可靠的行为。无论模型是一个需要拒绝对诊断进行猜测的谨慎医疗助手，还是一个可以回答各种问题的通用聊天机器人，用于准备它的数据都必须根据其特定的用途来选择。一刀切式的压缩时代已经结束；未来属于尊重任务本身特定不确定性的针对性校准。

技术摘要：面向保留量化语言模型不确定性的目标感知校准数据选择

1. 问题陈述

量化是部署大语言模型（LLMs）以应对内存和计算约束的标准技术。然而，现有的评估主要关注保留 Top-1 准确率、困惑度（perplexity）或基准测试分数，往往忽略了对不确定性行为（例如：置信水平、决策间隔和弃权能力）的保留。

本文识别出一个关键问题：量化会导致显著的“不确定性漂移”。如动机示例所示，量化后的模型可能保留了正确的 Top-1 答案，但却剧烈改变了概率分布（例如：从低间隔的 51%/49% 分裂转变为高置信度的 95%/5% 分裂）。这种转变会损害依赖于得分行为的下游任务，例如：

可回答性检测（Answerability detection）： 判断一个问题是否无法回答。
选择性预测（Selective prediction）： 决定何时放弃回答。
重排序与集成（Reranking and ensembling）： 利用置信度分数进行模型组合。

目前的校准数据选择方法要么优化重建准确率（忽略不确定性），要么采用事后校准（在量化后调整分数），后者往往无法修复决策翻转，或者使模型偏离其全精度（FP）行为。作者将校准数据选择定义为一个目标依赖的不确定性保留问题，并认为不同的部署目标（例如：广泛的多项选择问答 vs. 可回答性边界检测）需要不同的校准策略。

2. 方法论：怀疑保留量化 (Doubt-Preserving Quantization, DPQ)

作者提出了怀疑保留量化 (DPQ)，这是一个轻量级的预量化框架，它根据特定部署需求所需保留的不确定性行为来选择校准数据。

理论基础：

保留风险（Preservation Risks）： 本文定义了两种风险：
- 分布风险 ( $R_{dist}$ )：衡量量化模型与全精度模型选项分布之间的差异（对于广泛的多项选择问答至关重要）。
- 边界风险 ( $R_{bdry}$ )：衡量决策翻转的频率，特别是针对低间隔情况（对于可回答性和弃权任务至关重要）。
混合失配论点（Mixture-Mismatch Argument）： 作者形式化地指出，没有任何单一的校准混合物可以最优地保留所有目标。他们认为，如果目标分布需要高比例的边界样本 ( $\theta$ )，而校准集具有不同的比例 ( $r$ )，则会产生与 $|\theta - r|$ 成正比的失配。

DPQ 算法：
DPQ 是一个“配方家族”，通过修改输入到标准量化器（如 GPTQ）中的校准字符串来运行，而无需更改量化器内核或推理路径。

候选池： 使用全精度模型对示例进行评分，以获得选项概率。
怀疑评分（Doubt Scoring）： 计算“怀疑分数” $b(x) = 1 - (p_{(1)} - p_{(2)})$ ，其中 $p_{(1)}$ 和 $p_{(2)}$ 是前两个选项的概率。高分表示低间隔（脆弱）的示例。
混合构建： 校准集 $D$ $D$ 构建为一个混合体：
- 边界示例： 具有最高怀疑分数（或针对 SQUAD2 的特定可回答性边界）的前 $\lfloor sr \rfloor$ 个候选样本。
- 通用锚点： 剩余的 $s - \lfloor sr \rfloor$ 个示例从通用来源（如 WikiText、RandomQA）中抽取，以确保稳定性。
- 比例 ( $r$ )： 混合比例 $r \in [0, 1]$ 是可调的，取决于目标。高 $r$ （如 0.75）针对边界保留；较低的 $r$ 则针对广泛的分布保留。
量化： 标准量化器（如 GPTQ）在构建的集合 $D$ 上运行。

3. 核心贡献

问题形式化： 本文将量化过程中的校准数据选择形式化为保留全精度不确定性行为的问题，并区分了分布保留风险和边界保留风险。
理论洞察： 提供了一个“混合失配”论点，证明了固定的校准配方无法同时优化具有不同边界/通用样本比例的目标。
方法 (DPQ)： 引入了一个目标感知的配方家族，该方法利用全精度预测来选择高怀疑度或接近边界的示例，并将其与通用锚点混合，且不改变量化器本身。
实证证据： 通过对 8 个语言模型、9 个 NLP 基准测试和 22 种比较方法的全面评估，证明了最优配方完全取决于保留目标。

4. 实验结果

评估涵盖了 8 个语言模型（Qwen2.5, Llama-3.1/3.2, Mistral-7B），并将 DPQ 变体与包括使用 WikiText、C4、RandomQA 的 GPTQ、BNB-NF4 以及事后校准方法在内的基线进行了对比。

主要发现：

目标依赖性：
- SQUAD2（可回答性边界）： DPQ-r75 配方（75% 边界示例，25% 锚点）显著优于所有基线。与标准 GPTQ-WikiText 相比，它降低了边界准确率偏差和 JSD。纯边界集合 ( $r=1$ ) 或通用集合 ( $r=0$ ) 的表现较差，证实了混合策略的必要性。
- 广泛的 MCQA（可回答性任务）： 对于像 ARC-Challenge 和 TruthfulQA 这样旨在保留广泛选项分布的任务，较温和的配方表现更好。诸如 DPQ-r50、**仅置信度（confidence-only）和仅熵（entropy-only）**等变体优于高边界的 DPQ-r75。
与基线的比较：
- 标准校准数据（WikiText, C4）即使在保持准确率的情况下，也经常导致置信度和间隔的显著漂移。
- 事后校准（如自适应温度）可以改善标签校准，但通常会增加分布漂移并降低与全精度模型原始行为的一致性。
- 负对照实验（例如，选择高 NLL 示例）表明，“困难”示例并不等同于“怀疑”示例；选择高 NLL 无法有效保留可回答性边界。
可迁移性： 虽然目标感知原则可以迁移到其他量化器（如 AWQ），但具体的最佳比例和指标具有量化器特异性。

5. 意义与主张

本文声称，校准数据不应被视为一个固定的量化细节，而应根据部署所需的全精度得分行为进行专门选择。

实际意义： 在部署时，校馏配方的选择必须与下游任务对齐。如果系统依赖于可回答性检测或弃权机制，那么边界密集的混合策略（如 DPQ-r75）是必不可少的。如果系统依赖于广泛的多项选择评分，则更温和或单信号的配方更为优越。
局限性： 作者承认，他们对不确定性的操作化仅限于选项评分和可回答性。将这些保留原则扩展到口头表达的置信度（verbalized confidence）和长文本生成仍是未来的工作。他们还指出，其候选池是目标导向的，未来的工作应当测试这些原则向领域偏移（domain-shifted）候选池迁移的可能性。

总之，本文认为，对于许多现实应用而言，保留模型的不确定性与保留其准确率同样重要，而这需要从通用校准转向目标感知校准数据选择。