🤖 machine learning

Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark

本文提出了一个全面的多领域基准测试，证明了将类条件（Mondrian）符合性预测与成本控制型弃权相结合，能有效解决稀有少数类严重的覆盖不足问题，并在高风险、不平衡的决策支持系统中最小化预期决策成本。

原作者： Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在密集的、雾气缭绕的小行星带中航行的飞船舰长。你的飞船计算机非常擅长发现成千上万个无害的漂浮岩石（即“多数”类），但它却总是漏掉那些可能摧毁飞船的罕见且危险的小行星（即“少数”类）。在人工智能领域，这是一个常见的问题，被称为“不平衡数据”。当计算机从一个其中一种结果出现99次而另一种仅出现1次的数据集中学习时，它会变得偷懒，每次都通过猜测常见的结果来让自己看起来很聪明。这在涉及高风险的工作中是非常危险的，比如检测信用卡欺诈、诊断罕见疾病或预测工厂机器故障，因为错过罕见事件可能会造成巨额损失甚至生命代价。

为了解决这个问题，科学家们使用了一种名为“符合预测”（Conformal Prediction）的安全网。你可以把它想象成一个智能护栏，它不仅仅给出一个单一的“是”或“否”的答案，而是说：“我有90%的把握答案就在这个组里。”如果计算机很有信心，这个组就只有一个项目；如果它感到困惑，这个组可能会有两个项目，或者甚至是空的，从而发出信号：“我不知道，请询问人类！”目前研究人员一直在追问的大问题是：这个安全网是否对那些罕见的、危险的小行星同样有效，还是它仅仅保护了那些乏味的、常见的岩石？

这篇题为《成本敏感型符合预测与人类参与循环中的弃权机制，用于不平衡高风险决策支持》（Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support）的论文，深入探讨了正是这样一个问题。作者 Manpreet Singh、Akshatha Srikantha 和 Shyamal Lakhanpal 在 15 个不同的真实世界数据集上进行了大规模实验，测试了 7 种不同类型的 AI 模型。他们发现，这种安全网的标准版本（称为“边际符合预测”，Marginal Conformal Prediction）实际上在处理罕见情况时表现得极其糟糕。在他们的测试中，虽然系统承诺整体安全性为 90%，但在最坏的情况下，它捕捉罕见危险事件的概率竟然不到 1%。这就像是一个既能保护人行道却让悬崖边缘完全敞开的护栏。

该论文的核心发现是，一种被称为“蒙德里安符合预测”（Mondrian Conformal Prediction）的特定升级版修复了这个损坏的护栏。蒙德里安 CP 不再为所有事物使用一个巨大的安全网，而是为常见的岩石和罕见的小行星分别构建了定制的、独立的网。结果是戏剧性的：这种方法将罕见事件的安全覆盖率恢复到了平均 92.2%，比标准方法提升了 61.7 个百分点。

但论文并不仅止于捕捉罕见事件；它还研究了何时值得付钱请人类介入。作者引入了一个“成本控制弃权”规则。想象一下 AI 是一名正在参加考试的学生。如果学生不确定，他们可以选择“弃权”（留白），让老师来评分，但老师会收取服务费。论文计算出了确切的“盈亏平衡点”：如果老师的费用足够低，那么让 AI 跳过难题并交给人类处理，在数学上比冒着出错并导致巨额损失的风险要更划算。他们证明了，通过将改进后的蒙德里安方法与这种智能的“跳过并询问”规则相结合，决策的总成本比标准方法显著下降。

简而言之，这篇论文认为，对于涉及罕见事件的高风险决策，旧有的“一刀切”式安全网是危险的。相反，我们需要针对罕见情况的定制化网络，以及一个能够准确知道何时说“我不知道，让人类来处理这个”以节省成本并防止灾难的智能系统。作者在数千个场景中测试了这种方法，并发现这种方法不仅是一个好主意，而且是一种统计学上证明的必要手段，用以控制罕见且代价高昂的错误。

技术摘要：面向不平衡高风险决策支持的成本敏感型符合预测与人机回环弃权机制

问题陈述
在高风险决策系统领域（如信用评分、欺诈检测、医疗保健和工业安全），系统运行于严重的类别不平衡和非对称错误成本之下。在这些场景中，漏报（例如，错过一笔欺诈交易或一种严重疾病）的成本往往远高于误报的成本。虽然标准的分类模型可以提供点预测或置信度分数，但它们经常无法量化真实的预测不确定性，从而导致高风险的自动化决策。

符合预测（Conformal Prediction, CP）提供了一种分布无关的框架来进行不确定性量化，它保证了真实标签落在预测集内的概率至少为 $1-\alpha$ 。然而，标准的**边际符合预测（marginal conformal prediction）**仅在整个数据分布上实现平均有效性。在不平衡数据集上，这会导致一个关键的失效模式：预测器通过过度覆盖多数类来满足全局覆盖目标，却严重牺牲了稀有的、高成本的少数类的覆盖率。本研究中的经验证据表明，在极端不平衡比例下，边际 CP 可能导致少数类的覆盖率降至 1% 以下，使稀有但关键的案例处于无保护状态。

方法论
作者提出了一个整合了类别条件（Mondesian）符合预测与成本控制弃权机制的综合框架。

Mondrian 符合预测： 为了解决少数类覆盖不足的问题，该方法将校准集拆分为特定类别的子集（ $D^{(0)}_{cal}$ 和 $D^{(1)}_{cal}$ ）。针对每个类别分别计算独立的非符合分位数（ $q_0$ 和 $q_1$ ）。这确保了对于每一个类别，覆盖保证 $P(Y \in \hat{C}(X) \mid Y=y) \geq 1-\alpha$ 均成立，而不仅仅是边际成立。
成本控制弃权机制： 系统根据非对称成本矩阵（ $C_{FN}, C_{FP}$ $C_{F N}, C_{F P}$ ）和人工审查成本（ $C_{rev}$ $C_{r e v}$ ）将预测集输出映射为动作。
- 如果预测集是单元素集合（例如， $\{0\}$ 或 $\{1\}$ ），系统执行自动化决策。
- 如果预测集具有歧义（多标签 $\{0, 1\}$ ）或为空（ $\emptyset$ ），系统则选择弃权并将实例转交给人类专家进行审查。
- 该框架对转交的预期成本进行建模，同时考虑了人工审查的操作成本和潜在的人为错误率（ $\epsilon_{hum}$ ）。
盈亏平衡分析： 作者推导出了一个闭式阈值（ $C^*_{rev}$ ），代表了人工审查的最大成本。在该阈值下，将歧义实例转交给人类进行处理，比使用标准点预测器或贝叶斯最优阈值调整能产生更低的决策总预期成本。

实验基准
研究通过以下内容进行了严格的实证评估：

15 个真实世界数据集： 来源于 OpenML，涵盖金融、医疗、工业安全和环境监测，不平衡比例从 2.3:1 到 580:1 不等。
7 种基础分类器： 包括 HistGradientBoosting、逻辑回归、随机森林、Extra Trees、梯度提升、AdaBoost 和高斯朴素贝叶斯。
3 种校准技术： 未校准、Platt 缩放和保序回归（Isotonic Regression）。
规模： 总计 3,150 次实验运行（每种配置 10 个随机种子）。

核心结果

恢复少数类覆盖率： 标准边际 CP 实现的平均少数类覆盖率仅为 30.5%，在极端数据集（如 aps_failure）上经常跌破 1%。相比之下，Mondrian CP 系统性地恢复了有效的覆盖率，实现了 92.2% 的平均少数类覆盖率。这比边际 CP 平均提高了 61.7 个百分点（ $p < 10^{-80}$ ）。
降低成本： 将 Mondian CP 与成本控制弃权相结合，显著降低了单实例决策的预期成本。在适中的人工审查成本（ $C_{rev} = 0.5$ ）下，该方法实现的平均成本为 0.313，相比默认的点分类法降低了 54.1%，相比贝叶斯成本调优阈值降低了 38.6%。
盈亏平衡阈值： 研究量化了针对人工审查的数据集特定盈亏平衡阈值。研究表明，即使存在噪声人工审查（ $\epsilon_{hum} > 0$ ），只要在标准操作参数下人为错误率保持在约 18% 以下，转交决策在经济上仍然是有利的。
鲁棒性： 覆盖率的恢复和成本效益在所有七种基础分类器和三种校准方法中均保持一致，证实了该方法的模型无关性。

意义与主张
本文声称为在知识型决策支持系统中部署分布无关、成本最优的不确定性量化提供了可操作的原则。其主要贡献包括：

实证量化： 证明了由于严重的少数类覆盖不足，边际 CP 在高风险不平衡任务中从根本上是不足够的。
系统性解决方案： 证明了 Mondian CP 可以在不需要复杂模型重训练的情况下恢复稀有类的有效性。
经济框架： 在符合性集合输出与金融/临床决策成本之间建立了正式联系，并推导出了在何种情况下，引入人工回环的弃权机制在经济上优于自动化调优。
部署指南： 提供了一个四层系统架构，用于将这些方法集成到企业环境中，包括对人类处理能力限制（排队论）和分布偏移的考虑。

作者总结道，尽管该方法依赖于表格数据并假设数据具有可交换性，但它为在稀有错误具有不成比例后果的关键决策场景中管理不确定性和成本，提供了一种稳健且具有理论依据的方法。未来的工作方向包括在线自适应推理、LLM 辅助路由、公平性感知扩展以及多类别泛化。

技术摘要：面向不平衡高风险决策支持的成本敏感型符合预测与人机回环弃权机制

类似论文