📊 statistics

Audited Conformal Prediction for Classification under Unknown Distribution Shift

本文介绍了审计符合预测（Audited Conformal Prediction, ACP），这是一种利用少量有标签的目标数据集来训练辅助审计模型的创新框架，旨在增强预训练分类器在未知分布偏移下的条件覆盖率，并为其不确定性量化提供严格的理论保证。

原作者： Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个经验极其丰富、老派的侦探（这个被称为**“遗产模型”/Legacy Model**）。他凭借历史数据解决过数千起案件，通常表现出色。但世界正在发生变化：出现了新型犯罪，或者犯罪分子的行为方式发生了转变（这就是论文中所说的**“分布偏移”/Distribution Shift**）。

问题在于，虽然这位侦探有时仍能猜对答案，但他往往意识不到自己是在盲目猜测。他可能会说：“我百分之百确定这是一只猫”，但实际上那是一只狗，仅仅是因为光线不同。在机器学习中，我们称之为缺乏**“不确定性量化”/Uncertainty Quantification**。我们需要一种方法来表达：“我不确定，”或者“我只有60%的把握”，这样我们才不会犯下危险的错误。

旧方法：“只相信平均值”

标准方法（被称为**“符合预测”/Conformal Prediction**）试图解决这个问题，即设定一个目标：“我们需要平均而言有90%的概率是正确的”。为此，它们会观察侦探过去的错误，并绘制一张安全网。

缺陷在于： 这张安全网就像一床覆盖所有人的毯子，平等地覆盖每一个人。如果侦探擅长识别猫，但在新环境下识别狗的能力很差，那么这张毯子对于狗来说可能太松了（让它们溜走了），而对于猫来说又太紧了（浪费时间）。它保证了你的整体正确率，但并不能保证你在特定、棘手案例中的正确率。

新方案：“审计符合预测”（ACP）

作者提出了一种新系统，称为**“审计符合预测”（Audited Conformal Prediction, ACP）。他们不再仅仅信任那位旧侦探，而是聘请了一位新的、专门的管理人员**（即**“审计模型”/Audit Model**）。

以下是这个类比的运作方式：

遗产侦探： 原始的AI模型，负责做出预测。他很快，也知道很多知识，但他可能已经脱离了新世界的现状。
审计经理： 一个更小、更简单的AI，利用极少量的、带有标签的新数据进行训练。他的唯一职责不是去破案，而是观察侦探的工作，并判断：“嘿，我觉得侦探这次可能会搞砸，”或者“这个看起来很安全。”
- 把审计经理想象成一个可靠性雷达。他不需要知道答案，他只需要知道侦探何时可能出错。
流程：
- 侦探做出一个猜测。
- 审计经理检查这个猜测。如果经理说：“这看起来有风险，”系统会自动扩大安全网（预测集），以包含更多可能性，从而确保安全。
- 如果经理说：“这看起来很安全，”系统就会保持安全网紧凑且高效。

为什么这种方法更好？

论文声称这种方法实现了其他方法难以实现的两个目标：

“公平性”保证： 它确保系统在整体上是90%正确的（边际覆盖率/Marginal Coverage）。
“智能”保证： 它实际上在处理困难案例时表现得更好（条件覆盖率/Conditional Coverage）。

雨伞的类比：
想象正在下雨。

标准方法： 给每个人一把巨大的、沉重的雨伞。它能让平均意义上的每个人都不被淋湿，但对于只是站在树下的人（简单案例）来说，这把伞既笨重又累赘；而对于处于暴风雨中的人（困难案例）来说，它可能仍然太小。
ACP方法： 审计经理观察天空。如果是毛毛细雨，他会给你一把小巧轻便的雨伞。如果是雷阵雨，他会立即递给你一把巨大的、加固过的雨器。你在各种天气下都能保持干燥，但你不会在不需要的时候被沉重的雨伞压垮。

“秘密武器”：两种策略

论文描述了使用这位审计经理的两种方式：

“智能调节器”（ACP-MC）： 这个版本会调整侦探的置信度分数。如果审计经理认为侦探过于自信，他就会降低置信度。这能保持安全网较小，同时使针对棘手案例的预测更加准确。
“群体保护者”（ACP-ACC）： 这个版本根据审计经理认为的“风险程度”对案例进行分组。它保证对于“高风险”组，系统的正确率达到90%；对于“低风险”组，正确率同样达到90%。这就像是为风暴区域制定了特定的安全协议，而为晴朗区域制定了另一套协议。

实验结果显示

作者在以下场景进行了测试：

合成数据： 在这些数据中，研究人员明确知道哪些是“棘手”案例。
真实数据：
- 医学图像： 检测来自不同医院（设备和患者情况不同）的医院扫描图像中的肿瘤。
- 汽车照片： 识别图像中受到雨、雾或模糊干扰的汽车。

结果是：
在所有这些测试中，ACP方法能够：

将整体错误率保持在较低水平（达到了90%的保证）。
与仅仅重新训练模型或使用标准方法相比，它在“困难”或“不可靠”样本上的准确率有了显著提升。
避免了让预测变得过于模糊（“雨伞”不会变得无谓地巨大）。

核心结论

该论文认为，当一个AI模型部署在不断变化的世界中时，你并不总是需要抛弃旧模型并从头开始重新训练（这既昂贵又缓慢）。相反，你可以添加一个微小的、智能的“审计”层，它知道旧模型何时可能失效。这使得系统能够在处理困难任务时更安全，同时在处理简单任务时不会变得笨拙。

作者明确指出，即使你只有少量的、带标签的新数据（这是现实世界中常见的问题），这种方法依然有效。他们还指出，该方法的成功取决于“审计经理”识别风险的能力有多强。

技术摘要：针对未知分布偏移下分类任务的审计符合预测（Audited Conformal Prediction）

问题陈述

本文探讨了在面临未知分布偏移的环境中，为预训练（“遗留”）分类模型进行不确定性量化的挑战。虽然标准的符合预测（Conformal Prediction）保证了边际覆盖率（即在总体上，真实标签以 $1-\alpha$ 的概率包含在预测集中），但这种保证往往掩盖了严重的条件性失效问题。具体而言，当训练分布与目标分布不同时，标准方法可能会对某些输入产生过于保守的预测集，同时对另一些输入（例如遗留模型极易出错的样本）出现系统性的覆盖不足。

现有的缓解方法要么需要重新训练模型（这非常耗费资源，且在标注数据有限时往往并非最优），要么依赖于对分布偏移性质的假设。作者指出，虽然重新训练是直观的，但在相对于历史数据集而言新标注数据稀缺时，这种方法效率较低。此外，标准的符合预测方法无法本质地区分偏移下的“简单”样本与“困难”样本，从而导致在最需要可靠性的地方产生无意义的预测集。

方法论：审计符合预测 (ACP)

提出的解决方案——审计符合预测 (Audited Conformal Prediction, ACP)——引入了一个辅助审计模型 (Audit Model)，用于识别遗留模型可能出错的输入，而无需重新训练遗留模型或对偏移结构做任何假设。

核心组件

审计模型 ( $\hat{r}$ ): 一个在小型标记目标数据集上训练的二分类器。其任务是预测给定输入 $X$ 时遗留模型点预测（ $f_0$ ）的正确性。
- 训练: 审计模型通过从输入 $X_i$ 衍生的特征以及来自遗留模型的信号（如 Softmax 概率、熵、嵌入距离）来预测二元标签 $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ 。
- Oracle（先验）概念: 从理论上讲，该方法依赖于一个先验审计模型 $r^*(x) = P(f_0(X)=Y | X=x)$ ，它代表了遗留模型的真实条件可靠性。
集成策略: 本文提出了两种互补的策略，将审计模型集成到符合预测框架中：
- 策略 1：具有边际覆盖率的 ACP (ACP-MC)
  - 机制: 审计模型 $\hat{r}$ 被用于细化遗留模型估计的条件标签分布。对于二分类，如果 $f_0(x)=1$ ，则估计概率为 $(\hat{r}(x), 1-\hat{r}(x))$ ；否则，为 $(1-\hat{r}(x), \hat{r}(x))$ 。
  - 目标: 该细化后的分布被用于计算非符合性得分（Nonconformity Scores）。该方法保证了标准的边际覆盖率 ( $1-\alpha$ )，同时通过根据估计的输入可靠性调整预测集大小，在经验上改善了条件覆盖率。
- 策略 2：具有审计条件覆盖率的 ACP (ACP-ACC/AEC)
  - 机制: 该方法明确针对组条件 (Group-conditional) 覆盖率。特征空间基于审计模型的输出进行划分（例如，将 $\hat{r}(x)$ 分箱为高置信度和低置信度组）。
  - 目标: 它在基于审计定义的这些组上强制执行覆盖率保证。本文建立了一个有限样本定理，证明如果审计模型能一致地估计先验模型，则该方法能实现对真实可靠性组的覆盖保证，其误差由估计组与真实组之间的差异界定。
自适应 ACP (AACP): 一种数据驱动的过程，能够自适应地在 ACP 和重新训练的基准模型之间进行选择。它通过划分校准数据来评估哪种方法在“不可靠”组（由审计模型识别）上能产生更高的条件覆盖率，并选择优胜者。

主要贡献

新颖框架: 引入了 ACP，它利用小规模标记的目标数据集来训练一个预测遗留模型失效的审计模型，而不是重新训练遗留模型本身。
理论保证:
- 证明了 ACP-MC 保持了边际覆盖率保证。
- 推导了 ACP-ACC 的有限样本界限，表明随着审计模型的估计误差消失，条件覆盖率趋向于先验保证。
实际效率: 该方法避免了全量模型重训的计算成本以及微调复杂模型所需的大量数据需求，使其适用于标注数据有限的场景。
实证验证: 通过合成数据（涵盖概念偏移、协变量偏移和标签噪声）以及真实世界数据集（Camelyon17 和 CIFAR-10/CIFAR-10-C）的广泛实验证明，与标准符合预测、AdaTS（自适应温度缩放）和重训基准相比，ACP 变体在困难样本上的条件覆盖率显著提高，且不会膨胀平均预测集的大小。

结果

合成数据: 在存在内在标签不确定性（概念偏移）或困难样本比例增加（协变量偏移）的场景下，标准方法和重训方法通常无法区分简单与困难样本，导致在困难分箱（Hard Bins）处出现覆盖不足。ACP 变体成功地为困难样本分配较大的预测集，为简单样本分配较小的预测集，在保持紧凑平均集大小的同时，实现了近乎完美的困难分箱条件覆盖。
真实数据: 在 Camelyon17（组织病理学）和 CIFAR-10-C（受损图像）上，ACP 在可靠性分箱中的条件覆盖率始终优于基准模型。虽然重训方法往往产生过于保守的集合，无法区分可靠性水平，但 ACP 保持了具有信息量的集合大小。
权衡: 实验强调了严格的条件保证与集合大小之间的权衡。ACP-ACC（强制执行多个重叠组的覆盖）最为保守，但提供了最强的条件保证；而 ACP-MC 则在较小的集合大小与性能之间取得了平衡。

意义与主张

本文声称 ACP 提供了一种实用且具有统计原则的方法，用于处理任意分布偏移下的不确定性感知分类。其主要意义在于能够提高条件覆盖率——即在最需要可靠性的地方确保可靠性——而无需承担重新训练复杂模型所带来的高昂数据需求。

作者强调，其贡献不在于设计一种新的审计模型学习程序（审计模型可以是任何标准分类器），而在于将审计预测集成到符合预测框架中。这使得可以直接获得可靠性度量，且不需要访问原始训练数据或对偏移机制做任何假设。

论文最后进行了谦逊的总结，承认该方法的有效性取决于审计模型的质量，而在极低数据量的情况下这可能具有挑战性。作者建议未来的工作方向包括更高效的数据利用扩展（例如通过交叉验证符合方法）以及在在线或流式环境下的适配。