🤖 machine learning

Benchmarking non-conformity score functions in conformal prediction

本文概述了共形预测中非一致性评分函数的修改，并提出了一种新颖的评估方法，以基准测试其在生成预测集方面的有效性，特别是在类别不平衡条件下。

原作者： Sol Erika Boman

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Sol Erika Boman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

宏观视角：从“猜一个答案”到“列出一份安全清单”

想象你在玩“猜动物”的游戏。标准的机器学习模型就像一个自信满满的朋友，指着图片说：“那肯定是一只猫。”有时他们是对的，但有时也会错，而且他们从不承认自己不确定。

共形预测（Conformal Prediction） 则是一种不同的方法。模型不再只猜一个动物，而是给你一份可能性清单。它可能会说：“这很可能是一只猫，但也可能是狗或狐狸。”

这种方法的神奇之处在于它提供了一个安全网。如果你告诉模型：“我希望有 95% 的把握，我的答案在清单里”，模型就会调整清单的大小，以确保从长远来看，真实的动物确实出现在该清单中的概率达到 95%。

问题：清单应该有多大？

这篇论文提出了一个关键问题：我们该如何决定清单里包含什么？

如果清单太小（例如只有“猫”），你可能会错过真实的答案。如果清单太大（例如“猫、狗、狐狸、仓鼠、金鱼”），虽然安全，但清单毫无用处，因为它包含了所有东西。

模型用来决定清单内容的工具被称为非一致性分数（Non-conformity Score）。你可以把这个分数想象成一个**“怪异度计”**。

低分：该数据点对于该类别来说非常正常（例如，一张毛茸茸的图片看起来非常像一只猫）。
高分：该数据点对于该类别来说看起来很奇怪或“不合规”（例如，如果你试图把一块岩石称为猫，这张岩石图片看起来就非常怪异）。

这篇论文的目标是测试不同类型的“怪异度计”，看看哪一种能生成最有用的清单（即既小又安全的清单）。

测试过的“怪异度计”

作者测试了多种测量“怪异度”的方法，涵盖了不同类型的数据（如动物图片）。以下是他们比较的主要方法，并辅以类比：

标签距离（“靶心射击”计）：
- 工作原理：它测量模型的猜测与“完美”答案之间的距离。想象向靶心投掷飞镖。如果飞镖靠近靶心，分数就很低（不怪异）。如果飞镖远离靶心，分数就很高。
- 论文发现：这种方法效果非常好，尤其是当使用一种称为“余弦距离”（Cosine Distance）的特定距离测量方式时（它关注猜测的方向，而不仅仅是原始距离）。
边界距离（“边境巡逻”计）：
- 工作原理：它不测量到完美答案的距离，而是测量猜测值与两个答案之间的边界有多近。如果你正好站在“猫”和“狗”的分界线上，你就非常困惑（高怪异度）。如果你深陷“猫”的领地，你就很自信（低怪异度）。
- 论文发现：这是一个超级明星表现者，通常能生成最小、最高效的清单，特别是在查看转换为百分比之前的原始数值时。
平均距离（“群体拥抱”计）：
- 工作原理：它将新图片与该类别下它之前见过的所有图片的“平均值”进行比较。如果一张新的猫图片看起来像平均猫，那就是很好的匹配。如果它看起来像狗，那就很怪异。
- 论文发现：这是处理具有许多类别的复杂数据集（如 CIFAR100）的最佳方法。
APS/RAPS/SAPS（“排名”计）：
- 工作原理：这些是更复杂的方法，它们查看答案的排名。它们会说：“让我们先加上排名第一的猜测，然后是第二，然后是第三……"直到我们感到足够安全为止。它们加入了一些数学技巧（正则化）以防止清单变得过大。
- 论文发现：这些方法效果不错，但通常生成的清单比“距离”计稍大。有趣的是，论文发现，通常为了公平性而添加到这些方法中的随机“噪声”实际上对于安全保证并非必要；一个简单的固定数字同样有效。
梯度/特征距离（“深度挖掘”计）：
- 工作原理：这些方法试图在计算机的“大脑”深处（特征层）测量怪异度，而不仅仅是在最终输出端。
- 论文发现：这些方法计算量很大（速度慢），而且并不总是比更简单的方法表现更好。

“不公平”的测试：类别不平衡

作者还测试了当数据不公平时会发生什么。想象一个数据集，其中 90% 的图片是猫，只有 1% 是老虎。

挑战：模型非常擅长识别猫，但非常不擅长识别老虎。
结果：当模型被迫要有 95% 的把握时，它通常会在几乎每一张图片的清单中都包含“老虎”，即使图片明显是一只猫。
为什么？ 模型对老虎如此不确定，以至于它采取了保守策略。这就像一名保安因为太害怕漏掉老虎，而拦住了所有进入大楼的人。论文指出，虽然这让预测变得“诚实”（它承认自己不知道），但这使得清单变得巨大，对于常见物品来说实用性降低。

主要结论

没有唯一的赢家：没有一种“最佳”的怪异度计适用于所有情况。
- 对于简单任务，标签距离或边界距离效果最好。
- 对于具有许多类别的复杂任务，平均距离是冠军。
方向很重要：使用余弦距离（测量数据的角度/方向）通常比标准距离更好，特别是在高维空间（如深度学习模型）中。
简单即胜利：最复杂的方法（如深度特征梯度）并不一定给出更好的结果，而且速度慢得多。
架构很重要：所使用的计算机模型类型（例如 ResNet 与 EfficientNet）会改变哪种“怪异度计”效果最好，这表明怪异度计的选择取决于你正在使用的具体模型。

简而言之，这篇论文提供了一份构建更安全 AI 清单的“菜单”。它表明，通过为你的特定问题选择合适的“怪异度计”，你可以在不牺牲安全性的情况下，保持预测清单的小巧和实用。

技术摘要：共形预测中非一致性评分函数的基准测试

问题陈述

共形预测（CP）通过生成预测集而非单一类别预测，为机器学习分类中的模型校准提供了一种严谨的替代方案。虽然共形预测能保证真实类别包含在预测集中的概率至少为 $1 - \alpha$ （其中 $\alpha$ 为预先设定的错误率），但这些集合的实际效用很大程度上取决于其大小。过大的预测集缺乏信息量。

这些集合的大小和有用性取决于非一致性评分函数的选择。尽管文献中存在众多评分函数，但缺乏系统性的研究来考察它们的特性、有效性，以及它们与模型架构和类别不平衡之间的相互作用。本文旨在填补这一认知空白，探讨不同的评分函数在各种共形域（概率空间、logit 空间和特征空间）以及不同条件（包括不平衡数据集）下的表现。

方法论

评估指标

作者引入了一种新颖的评估指标 $I_1$ ，用于独立于任意选择的错误率 $\alpha$ 来评估评分函数。传统指标报告固定 $\alpha$ 下的平均预测集大小，如果 $\alpha$ 与模型准确率不匹配，这可能会产生误导。
该指标定义为：
$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$
其中 $A_k$ 是 top- $k$ 模型准确率（具体为 $A_1$ 即 top-1 准确率）， $\bar{|P|}(\alpha)$ 是错误率为 $\alpha$ 时的平均预测集大小。该积分将评估限制在“有趣”的错误率范围内（从 0 到模型的固有错误率），提供一个单一的、客观的数值，数值越低表示性能越好（即预测集更小）。

实验设置

数据集：ImageNet（1000 类）、CIFAR-100（100 类）和 CIFAR-10（10 类）。
模型：ResNet50（主要模型）、ResNet18 和 EfficientNet-B0。
共形域：本研究在三个不同的空间中评估评分函数：
1. 概率空间：Softmax 函数的输出（ $\Delta_{n-1}$ ）。
2. Logit 空间：Softmax 之前的原始输出向量（ $\mathbb{R}^n$ ）。
3. 特征空间：线性输出层之前的最终特征向量。
基准测试的评分函数：
- 标签距离：预测值与独热编码标签之间的距离。
- 边界距离：真实类别与最可能的错误类别之间的决策边界距离。
- 均值距离：到属于同一类别的校准样本均值的距离。
- 最近邻：到最近同类样本与不同类样本的距离之比。
- APS/RAPS/SAPS：自适应预测集及其正则化变体（基于秩的方法）。
- 梯度/快速梯度：基于特征的方法，用于近似特征空间中到决策边界的距离。
不平衡性测试：测试了类别条件设置，其中少数类被减少至 10% 的流行率，以评估不同评分函数处理类别不平衡的能力。

关键结果

评分函数的性能

由 $I_1$ 指标总结的基准测试结果揭示了明显的性能模式：

基于距离与基于秩：基于距离的评分函数在预测集大小方面通常优于基于秩的方法（APS、RAPS、SAPS），特别是在使用余弦距离时。
最佳域与指标：
- 在 Logit 空间 中使用 余弦距离 的 边界距离 在 ResNet 模型上为 ImageNet 实现了最低的 $I_1$ 值。
- 均值距离 在 CIFAR-100 上表现异常出色，特别是在 特征空间 中使用 余弦距离 时。
- 概率空间中使用余弦距离的 标签距离 也极具竞争力。
欧氏距离与余弦距离：研究发现欧氏距离不太适合高维空间（如 ResNet50 中的特征向量），而余弦距离表现稳健，这表明这些模型将类别组织成了近似正交的簇。
APS/RAPS 中的随机化：研究发现，在已校准的设置中，APS 和 RAPS 中的随机项（ $u$ ）对于覆盖率保证并非严格必要。将 $u$ 设置为一个小常数（作为平局打破器）通常比标准的随机化方法产生更好的性能。
梯度方法：梯度法和快速梯度法计算成本高昂，且在测试数据集上，快速梯度法的表现显著差于其他方法。

模型架构的影响

虽然 ResNet50 和 ResNet18 显示出相似的评分函数性能相对排序，但 EfficientNet-B0 表现出不同的排名。这表明 模型架构（例如 ReLU 与 Swish 等激活函数）会影响共形域的几何特性，从而影响评分函数的最佳选择，其影响程度可能超过模型的原始准确率。

类别不平衡

在不平衡设置中，少数类被包含在预测集中的频率往往远高于其真实流行率（例如，真实流行率为 0.1% 的类别，其包含率高达 27%）。作者指出，虽然这降低了预测器的精确度，但它是对模型关于稀有类别的不确定性的一种“诚实”反映。特征空间中的均值距离再次显示出在保持覆盖率的同时最小化这种过度包含的最佳能力。

意义与主张

本文声称填补了关于非一致性评分函数特性和有效性的知识空白。其主要贡献包括：

系统性基准测试：提供了跨多个数据集、模型和共形域的多样化评分函数的全面比较。
评估指标：引入 $I_1$ 作为一个稳健的单一数值指标，它考虑了模型准确率并避免了任意错误率的选择。
域与指标洞察：证明了 余弦距离 在高维共形域中优于欧氏距离，且 logit 空间 通常优于概率单纯形。
实践指导：为从业者提供了一个起点，使其能够根据特定的模型架构和数据集特征选择评分函数，而不是依赖单一的“最佳”通用方法。

作者得出结论：没有单一的评分函数是普遍优越的；相反，最佳选择取决于模型和数据的具体背景。然而，该基准测试为做出这些选择提供了清晰的、数据驱动的坚实基础。