🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

本文介绍了一种用于序数分类的模型无关共形预测方法，该方法利用秩概率分数作为非符合性度量，以生成连续且以中位数为中心的预测集，从而在各种数据集上有效地平衡集合宽度与序数失覆盖的严重程度。

原作者： Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：带有安全网的预测

想象你是一名医生，试图猜测患者的年龄；或者是一名金融分析师，试图猜测一家公司的风险等级。在这些情况下，答案不仅仅是像“红色”、“蓝色”或“绿色”那样随机的类别。它们有着自然的顺序：例如“婴儿”、“儿童”、“青少年”、“成年人”、“老年人”。这被称为序数分类（Ordinal Classification）。

问题在于，即使是最优秀的 AI 模型也会犯错。有时它猜的是“青少年”，但实际上那个人是“老年人”。在医疗或金融等高风险领域，这种错误的程度至关重要。猜“成年人”而不是“老年人”是一个小错误；但猜“婴儿”而不是“老年人”就是一个巨大的、危险的错误。

这篇论文介绍了一种为这些 AI 预测构建“安全网”的新方法。AI 不仅仅给出一个单一的猜测，而是给出一个可能答案的范围（预测集）。目标是确保真实答案包含在这个范围内，同时也要确保这个范围不会过宽，并且不会跳过中间重要的步骤。

旧方法的缺陷：“贪婪”法

以前，大多数方法试图通过从 AI 的“最佳猜测”（最可能的答案）开始，并向外扩张来构建这些安全网，就像一个贪婪的食客抓取身边的最大块食物一样。

缺陷在于： 假设 AI 在观察一名患者，它认为有 40% 的概率是“青少年”，35% 的概率是“老年人”，还有极小的概率是“儿童”。

旧方法： 它从“青少年”开始，并抓取“儿童”，因为它是下一个概率最大的块。它暂时忽略了“老年人”。
结果： 安全网可能会变成 {青少年, 儿童}。如果患者实际上是“老年人”，那么安全网就完全失效了，而且误差极大（从青少年直接跳到了老年人）。旧方法更看重网络的大小，而不是错误的距离。

新解决方案：“平衡天平”（秩概率评分）

作者提出了一种使用秩概率评分（Ranked Probability Score, RPS）的新方法。你可以把它想象成一个平衡的天平或一个走钢丝的人。

该方法不再从“最可能”的猜测开始并抓取邻居，而是观察所有可能性的整个分布，并从中心（中位数）向外构建安全网。

它是如何运作的：

寻找中心： 它找到 AI 不确定性的中心点。
均匀扩张： 它在中心点的左侧和右侧添加下一个最可能的选项，试图让两侧的“权重”保持平衡。
结果： 安全网始终是一个连续的块（没有间隙）。如果 AI 不确定，网络会扩张以包含中间地带。

类比：
想象你在尝试猜测温度。

旧方法（以众数为中心）： 你猜“70°F”（最可能的）。你加上“69°F”和“71°F”，因为它们很接近。但如果实际温度其实是“50°F”（寒流），你的网络 {69, 70, 71} 就毫无用处。你完全错过了寒冷的情况。
新方法（以 RPS/中位数为中心）： 你观察全局。如果 AI 在“寒冷”、“温和”和“炎热”之间感到不确定，新方法会构建一个覆盖从“温和”到“炎热”整个范围的网络，以确保不会错过极端情况。它优先考虑最小化错误的距离。如果你错了，你希望错得少一点，而不是错得离谱。

为什么这很重要：“连续性”规则

在序数问题中，你的安全网必须是一个实心的块。你不能有一个安全网说：“它要么是婴儿，要么是老年人，但肯定不是儿童。”这毫无意义。

论文在数学上证明了他们的新方法始终能产生一个实心的、 unbroken 的答案块。它不需要对数据是否呈“钟形”（单峰）做特殊假设。即使 AI 很困惑，认为答案可能是两个截然不同的东西（比如既可能是“婴儿”也可能是“老年人”，中间什么都不是），这种方法也会填补间隙，以确保安全网是连续的。

“速度”优势

通常，寻找完美的安全网需要大量的计算机搜索（比如尝试所有可能的数字组合）。作者展示了他们的方法非常快。这就像是一个捷径，让你只需通过一次计算就能得出完美的网络，而不是在迷宫中搜索。这使得它在现实世界中使用起来非常实用。

结果：更好的平衡

作者在图像（如通过面部估算年龄或检测医学扫描中的疾病严重程度）和数据表（如信用评分）上测试了该方法。

效率： 新方法创建的安全网大小适中（高效）。
安全性： 至关重要的是，当安全网确实失效时（真实答案在网络之外），其误差比旧方法小得多。
- 旧方法： “我猜是青少年，但你是老年人。”（巨大误差）。
- 新方法： “我猜是青少年，但你是成年人。”（小误差）。

总结

这篇论文介绍了一种更聪明的方法，让 AI 可以说：“我不 100% 确定，但我很确定答案在这个范围内。”

它不再盲目地抓取最热门的猜测，而是构建一个平衡且连续的安全网，确保如果 AI 错了，它也只是稍微错了，而不是灾难性的错误。这就像一个走钢丝的人，始终保持在中间的平衡，确保他永远不会在边缘迈出巨大且危险的一步。

技术摘要：基于排序概率得分（Ranked Probability Score）的可靠序数分类共形预测

问题陈述

序数分类（Ordinal Classification, OC）涉及预测具有自然线性顺序的离散标签（例如，疾病严重程度、年龄组、信用评级）。虽然在序数分类的点预测方面已取得了显著进展，但不确定性量化（Uncertainty Quantification, UQ）仍处于欠发达阶段，特别是在医疗和金融等高风险领域。标准的共形预测（Conformal Prediction, CP）提供了无分布假设的预测集并具有边际覆盖保证，但在序数设置中面临特定挑战：

连续性（Contiguity）： 预测集必须是连续的区间（例如，{儿童, 青少年, 成年}）以尊重标签顺序。非连续集合（例如，{儿童, 老年}）在语义上是不合理的。
序数风险（Ordinal Risk）： 当真实标签落在预测集之外时（失覆盖），误差的严重程度取决于序数距离。一种旨在最小化集合大小（效率）的方法可能会产生这样的集合：当其失效时，漏掉的真实标签与预测集的偏差极大，从而导致灾难性的风险估计错误。
分布假设（Distribution Assumptions）： 现有方法通常依赖于贪心搜索程序或强制要求单峰性（即预测分布中只有一个峰值）以确保连续性。这些假设可能并不适用于复杂数据（例如，由专家分歧引起的双峰分布），并且可能导致有偏的不确定性估计。

当前的方法难以在集合效率与最小化序数失覆盖幅度之间取得平衡，同时又不引入对底层预测模型的强结构性偏差。

方法论

作者提出了一种基于**排序概率得分（Ranked Probability Score, RPS）**的模型无关型序数共形预测方法。

核心机制：

非符合性得分（Nonconformity Score）： 该方法并非使用基于众数的中心化得分（如最小歧义集合值分类器或自适应预测集），而是使用 RPS 作为非符合性度量。RPS 是一个定义在累积预测分布上的严格适切评分规则（Strictly Proper Scoring Rule）：
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
其中 $F_X(k)$ 是预测的累积分布函数（CDF）， $K$ 是类别数量。
预测集构建： 对于测试实例 $X_{n+1}$ 和误覆盖率 $\alpha$ ，预测集定义为：
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
其中 $\hat{q}_{1-\alpha}$ 是在校准集上计算出的 RPS 得分的经验 $(1-\alpha)$ -分位数。

理论特性：
论文确立了三个关键特性：

边际覆盖（Marginal Coverage）： 在可交换性假设下，无论底层预测模型如何，该方法都满足标准的边际覆盖保证（ $P(Y \in C(X)) \geq 1-\alpha$ ）。
连续性与中位数中心化（Contiguity and Median-Centering）： 与基于众数的做法不同，基于 RPS 的集合在构造上是连续的。RPS 得分函数在预测分布的中位数周围呈 V 形。因此，生成的预测集是围绕中位数而非众数生成的连续区间。即使在众数与中位数不同的多峰分布情况下，这一特性依然成立。
序数风险最优性（Ordinal Risk Optimality）： 在预设的 Oracle 条件覆盖设置下（即已知真实的条件分布），基于 RPS 的集合能最小化真实标签与预测集之间的期望 $L_1$ 距离（序数风险）。该方法优化的是序数风险的降低，而非仅仅是集合的基数。

计算效率：
该方法具有很高的计算效率。虽然朴素地计算所有 $K$ 个标签的 RPS 需要 $O(K^2)$ 的复杂度，但作者证明了一个递推关系，允许以线性时间 $O(K)$ 计算出所有得分。整体复杂度随校准点数量和标签数量呈线性缩放。

核心贡献

新型非符合性度量： 引入了排序概率得分（RPS）作为一种专门用于序数共形预测的模型无关型、适切的非符合性度量。
理论保证： 证明了基于 RPS 的集合满足边际覆盖、关于 $\alpha$ 的嵌套性，并且在无需单峰性假设的情况下，本质上是连续且以中位数为中心的。
风险优化： 论证了基于 RPS 的集合在 Oracle 条件覆盖下直接优化序数风险（基于集合的 $L_1$ 误差），这与优先考虑集合效率的基于众数的法形成了对比。
高效性： 提供了一种线性时间实现的算法，避免了现有序数 CP 方法所需的贪心搜索或二分搜索程序。
实证验证： 在序数图像数据集（BACH, RetinaMNIST, FGNet）和表格数据集上进行了全面的评估，并与 min-CPS、COPOC (LAC/APS) 以及 OCDF 等基准方法进行了对比。

实验结果

作者使用捕捉效率和序数风险的指标对多种数据集进行了评估：

失覆盖幅度（Miscoverage Magnitude）： 通过平均绝对失覆盖幅度（MAMM）和最差情况绝对失覆盖幅度（WAMM）进行衡量。RPS 集合在 MAMM 和 WAMM 上始终优于基于众数的法（min-CPS, COPOCL, COPOCA），这表明当发生误差时，真实标签距离预测集更近。
效率与风险的权衡： 通过平均区间得分损失（AISL）进行衡量，该指标会对较宽的区间和较大的失覆盖距离进行惩罚。RPS 集合实现了良好的平衡，通常在 AISL 指标上优于基准方法。
连续性： 所有基于 RPS 的集合都是连续的（CV = 0），而传统的非序数基准方法（LAC, APS）经常违反连续性原则。
鲁棒性： 在存在多峰预测分布（例如双峰专家意见）的情况下，RPS 保持了稳健的表现，而基于众数的法由于过度关注单一最高概率峰值，往往会低估序数风险。

意义与主张

论文声称，基于 RPS 的共形预测提供了一个稳健且通用的序数不确定性量化解决方案。其主要意义在于：

忠实的确定性表示： 通过设计上的中位数中心化和连续性，它能够准确反映完整的序数结构及其相关风险，特别是在基于众数的法失效的偏斜或多峰分布场景中。
高风险领域的适用性： 它最小化了失覆盖的严重程度，这是医疗诊断和金融风险评估等领域的关键要求，因为在这些领域，误差的代价与其序数距离成正比。
实用性： 它提供了一个计算高效、模型无关的框架，不依赖于特定的架构约束（如单峰性）或昂贵的搜索程序，使其适用于任何底层的概率预测器。

作者总结道，虽然基于 RPS 的集合可能不会总是产生最小的预测集（即不一定最大化效率），但它们在区间宽度和序数失覆盖幅度之间取得了更优的平衡，使其成为现实世界序数预测任务中的可靠选择。未来的工作建议包括在该框架内将不确定性分解为认知不确定性和偶然不确定性。