💻 computer science

Quantile Adaptive Temperature Scaling for Confidence Calibration

本文引入了分位数自适应温度缩放（Quantile Adaptive Temperature Scaling, QaTS），这是一种后验校准方法，通过根据预测置信度分位数动态调整温度，以有效解决异质性失校准问题，并在多种场景下超越现有的最先进技术。

原作者： Omprakash Chakraborty, Leo Fillioux, Ismail Ben Ayed, Jose Dolz

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Omprakash Chakraborty, Leo Fillioux, Ismail Ben Ayed, Jose Dolz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：过度自信的学生

想象一下，深度学习模型（即人工智能）就像一个正在参加考试的聪明学生。这个学生很擅长拿到正确答案，但他们有一个坏习惯：他们总是过度自信。

即使在瞎猜的时候，他们也会说：“我有 99% 的把握这是正确答案！”但实际上，他们经常出错。在现实世界中（例如医疗保健或自动驾驶汽车），这是非常危险的。如果医生的 AI 说：“我有 99% 的把握这是一个肿瘤，”但实际上它只是一个无害的痣，那么患者可能会接受不必要的切除手术。

我们需要一种方法来教导 AI：当它在瞎猜时，要学会说“我只有 60% 的把握”；而当它确实很有信心时，要说“我有 95% 的把握”。这个过程被称为校准（Calibration）。

旧的解决方案：“一刀切”的恒温器

长期以来，修复这种过度自信的标准方法叫做温度缩放（Temperature Scaling, TS）。

我们可以把 AI 的置信度分数想象成房间里的温度。

如果房间太热（AI 太过自信），你就调低恒温器。
如果房间太冷，你就调高它。

旧的方法使用了一个单一的、全局的恒温器。它观察整个房子并得出结论：“好吧，大家现在都太热了，所以我会对每一个房间都降低同样程度的温度。”

缺陷在于： 这种方法效果并不好，因为“房间”（AI 的预测结果）是各不相同的。

有些预测错得离谱且过度自信（这些是“热”的房间）。
有些预测其实相当准确，只需要微调一下。
有些则处于中间状态。

通过对所有人应用相同的修正方案，旧方法往往解决了容易的问题，却留下了那些最困难、最危险的错误未被纠正。这就像试图用同样分量的冰水同时去冷却一个着火的厨房和一个温和的客厅一样。

新的解决方案：QaTS（“智能、定制化”的恒温器）

作者引入了一种名为**分位数自适应温度缩放（Quantile-Adaptive Temperature Scaling, QaTS）**的新方法。

QaTS 不再仅仅看原始的置信度分数（例如“99%”），而是观察该分数在所有其他预测中的排名位置。这被称为分位数（Quantile）。

类比：赛跑
想象 AI 正在进行一场与自己的比赛。

旧的方法： 它观察跑步者的速度（置信度分数），然后告诉所有人减速 5 英里/小时。
QaTS 的方法： 它观察跑步者的比赛位置。
- “你在最后 10% 的选手中（那些最困惑且过度自信的人）。你需要大幅度减速。”
- “你在前 10% 的选手中（那些通常表现很稳的人）。你只需要进行微小的调整。”
- “你在中间？那你得到一个中等的调整。”

QaTS 为每一个预测创建了一个定制的温度。它意识到，最大的错误通常发生在置信度谱系中的特定“区域”，并专门针对这些区域进行处理。

为什么这很重要

论文表明，这种“基于排名”的方法比旧的“基于分数”的方法聪明得多，原因有三点：

它直击痛点： 最大的错误通常发生在特定的群体中（比如当 AI 在处理稀有项目时感到困惑）。QaTS 能找到这些群体并修复它们，而旧方法则会错过它们。
它能应对“混乱”（分布偏移）： 假设 AI 是在晴天训练的，但必须在雨天工作。由于天气变化，原始数字（置信度分数）可能会发生剧烈变化。然而，排名通常保持不变（AI 仍然会对同样的事情最有信心，只是数值变了）。因为 QaTS 依赖于排名（谁是第一、第二、第三）而非原始数字，所以即使环境发生变化，它也能完美运行。
它不会破坏 AI： 其他一些方法试图通过改变 AI 的实际答案来修复置信度（这可能会降低其准确性）。QaTS 更像是一个“后处理”过滤器。它修复的是置信度数字，而不改变答案。AI 仍然选择正确的答案，只是它承认：“对于这个，我不再是 100% 确定了。”

实验结果

作者在许多不同的任务上测试了该方法：

标准图像： 识别猫和狗。
长尾数据： 识别稀有动物（在这种情况下 AI 通常会非常困惑）。
医学图像： 分析 X 光片。
文本： 理解新闻文章。
受损数据： 带有噪声、模糊或雾气的图像。

在几乎每一个测试中，QaTS 都使 AI 的置信度估计比之前的最佳方法更加可靠。它显著降低了“期望校准误差”（衡量置信度偏差程度的指标），尤其是在其他方法失效的困难情况下。

总结

论文指出，我们不应该把所有的 AI 预测都一视同一。就像老师不会给一个挣扎中的学生和一位天才学生布置同样的作业一样，我们也不应该对每一个 AI 预测应用相同的置信度修正。

QaTS 是一个简单、高效的工具，它观察一个预测相对于其他预测的排名，并对其应用定制化的“置信度修正”。这使得 AI 系统更加安全、更值得信赖，尤其是在面对困难或异常情况时。

技术摘要：分位数自适应温度缩放（Quantile-Adaptive Temperature Scaling）用于置信度校准

1. 问题定义与动机

深度神经网络经常产生校准性能较差的置信度估计，即使在预测错误时也往往表现出过度自信。虽然温度缩放（Temperature Scaling, TS）由于其简单性仍是标准的后验校准方法，但它依赖于对逻辑值（logits）进行全局、统一的重缩放。作者认为，这种方法无法解决在置信度谱系中观察到的高度异质性的误校准结构。

通过分位数分析，本文证明了正确性与置信度之间的最大差异并非均匀分布。相反，误校准的位置和形状会根据不同的情景发生显著变化：

标准设置： 误差集中在最低置信度的分位数区间。
长尾设置： 由于中频类别的普遍存在，误差会向中等置信度分位数偏移。
分布偏移： 全局重缩放方法难以应对，因为协变量扰动改变了置信度的绝对尺度，但保留了它们的相对排序。

现有的方法，包括组校准（Group Calibration, GC）或输入依赖型温度等高级变体，都隐含地假设了一种平滑且全局一致的变换。这种结构的僵化性使其无法有效地针对误校准最严重的特定区域，从而在类别不平衡和领域偏移等挑战性场景下导致次优的表现。

2. 方法论：分位数自适应温度缩放 (QaTS)

为了解决这些局限性，作者提出了分位数自适应温度缩放（Quantile-Adaptive Temperature Scaling, QaTS），这是一种根据预测的经验置信度分位数而非原始置信度量级来调整温度参数的后验校准方法。

核心机制

分位数重参数化：
该方法利用校准集的经验累积分布函数（CDF），将原始置信度 $p$ 映射到均匀分位数空间 $\tau \in [0, 1]$ 。这通过将期望校准误差（ECE）目标转化为在均匀分位数轴上的积分，防止了密集的置信度区域主导误差指标，并使误校准的异质结构变得显式。
样本级温度函数：
QaTS 不再使用单一标量 $T$ ，而是将样本相关的温度 $T(x)$ 定义为经验分位数 $q(x)$ 的单调线性函数：
$T(x) = a \cdot (1 - q(x)) + b$
其中 $a$ 和 $b$ 是可学习的正参数。
- 低分位数预测（通常是过度自信且易错的）会获得更高的温度，从而软化置信度。
- 高分位数预测 获得的调整较小，以保留准确性并避免不必要的失真。
优化：
参数 $a$ 和 $b$ 通过在校准集上最小化负对数似然（NLL，一种严格适定的评分规则）来进行优化。这种代理优化使校准后的概率与经验正确频率保持一致，从而有效地最小化了重参数化后的 ECE。
推理：
对于测试样本 $x$ ，在应用 softmax 之前，其逻辑值先由计算出的 $T(x)$ 进行缩放。由于 $T(x)$ 取决于置信度的秩（分位数）而非其绝对值，因此该方法继承了分位数的基于秩的稳定性。这使得 QaTS 对与协变量偏移相关的全局逻辑值缩放效应具有鲁棒性，前提是置信度的相对排序基本得以保留。

3. 主要贡献

本文概述了三个主要贡献：

分位数分析： 一项详细的分析，揭示了校准误差在置信度谱系中具有高度异质性，并且在不同情景（标准 vs. 长尾）下变化显著。该分析暴露了现有基于 TS 的方法的结构性局限，即无法针对误差集中的特定区域进行处理。
QaTS 算法： 引入了一种直接在分位数空间内运行的简单高效策略。它形式化了 ECE 的分位数重参数化，并引入了一个随每个预测的相对秩而变化的单调温度函数。
全面的实证验证： 在 162 种设置下进行了广泛实验，包括标准计算机视觉、医学成像、文本分类和语义分割，涵盖了各种条件（长尾分布、分布漂移）。

4. 实验结果

作者将 QaTS 与最先进的后验基准方法进行了对比，包括未校准模型、TS、保序回归（Isotonic Regression, IR）、AdaTS、组校达（Group Calibration, GC）以及 FeatClip。

标准基准测试： 在 CIFAR-10、CIFAR-100 和 ImageNet 上，QaTS 始终实现最低的 ECE，在 CNN 和 Vision Transformer 骨干网络中均优于所有竞争方法。
长尾分布： 在存在严重类别不平衡的情景下（例如 CIFAR-100-LT, ImageNet-LT），标准方法往往失效或性能下降。QaTS 展示了显著的鲁棒性，在某些情况下相比于 AdaTS 和 GC 等基准方法，将 ECE 降低了 80–90%。
分布偏移： 在不同严重程度的合成损坏（CIFAR-100-C）下，QaTS 显著优于保持准确性的方法，实现了 2–3 倍的 ECE 降低。值得注意的是，它优于专门为分布漂移设计的 HFE 方法，因为 HFE 需要针对每个目标域访问分布外（OOD）样本，而 QaTS 在不需要任何目标域数据的情况下即可实现此效果。
泛化能力： 该方法在医学图像分类（HAM10000, MedMNIST2D）、语义分割（Pascal VOC）和文本分类（20 Newsgroups）中表现出卓越的性能。
准确性保持： 与以牺牲显著准确性（高达 4–6%）为代价来提高校准性能的 FeatClip 不同，QaTS 保留了预测类别的排名，在提高校准性的同时维持了判别性能。
兼容性： QaTS 作为一个互补的后验层，可以在应用于经过校准感知目标（如 Brier loss, Focal Loss, Label Smoothing）训练的模型之上，进一步降低 ECE。

5. 重要性与主张

论文声称 QaTS 提供了一个简单、高效且鲁棒的基础用于后验校准。其重要性在于：

解决异质性： 通过从原始置信度分数转向分位数空间，QaTS 明确针对了误校准最严重的区域，克服了全局温度缩放“一刀切”的局限性。
对偏移的鲁棒性： 基于秩的公式确保了在绝对置信度量级发生变化但相对顺序保持不变的分布偏移下的稳定性。
实用性： 它不需要重新训练，不需要访问模型权重或梯度，也不需要辅助网络，这使其能够扩展到大型预训练模型和冻结的骨干网络。
普适性： 该方法在多种任务、架构及具有挑战性的现实场景中展示了持续的有效性，将其定位为一种能够提升可靠性且不损害预测准确性的通用校准策略。