📊 statistics

Online Selective Conformal Prediction with Asymmetric Rules: A Permutation Test Approach

本文提出了一种名为 PEMI 的通用置换检验框架，通过识别保持选择事件不变的置换集合，解决了在线选择预测中由于选择机制具有不对称性而导致的覆盖率失效问题，实现了在任意不对称选择规则下的精确选择条件覆盖。

原作者： Mingyi Zheng, Ying Jin

发布于 2026-02-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyi Zheng, Ying Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 PEMI 的新技术，它解决的是人工智能（AI）在“挑食”时的不确定性问题。

为了让你轻松理解，我们先来设定一个生活场景。

1. 背景：AI 的“挑食”问题

想象你是一个超级美食评论家（AI 模型），你的任务是给各种新菜品打分。

通常情况下，如果你对所有菜品都给出一个“信心范围”（比如：这道菜的味道在 70 到 90 分之间），这叫标准预测。

但现实中，你并不是对所有菜都评论。你很“挑食”：只有当你觉得这道菜看起来特别高级、或者特别有挑战性时，你才会开口评论。 这种“只评论感兴趣的菜”的行为，在学术上叫**“选择性预测” (Selective Prediction)**。

问题来了：
因为你只评论“好菜”或“特别的菜”，你的评论标准其实已经悄悄变了。如果你还用对待普通菜的标准来衡量这些“高级菜”，你的信心范围就会失效——你会显得过于自信，导致预测结果经常“翻车”（实际分数超出了你给出的范围）。

2. 核心挑战：顺序带来的“偏见”

以前的研究试图解决这个问题，但它们有一个假设：菜品的顺序不重要。

但在现实的“在线”场景中（比如数据像流水一样一个接一个进来），顺序极其重要。
比如：

如果前 10 道菜都很平庸，你可能会变得很挑剔，只选第 11 道特别惊艳的菜。
如果前 10 道菜都很惊艳，你可能会变得很佛系，甚至连第 11 道也选了。

这种**“因为看到了前面的菜，所以改变了对当前这道菜的选择标准”**的现象，让数学家们非常头疼。以前的方法在面对这种“看人下菜碟”的动态规则时，往往会失效。

3. PEMI 的妙招：一场“平行时空的剧本杀”

这篇文章提出的 PEMI 方法，就像是为 AI 准备了一场**“平行时空的剧本杀”**。

它的逻辑是这样的：

当你决定要评论第 $t$ 道菜时，PEMI 不仅仅看这一道菜，它会在脑海里进行一场大规模的**“时空模拟”**：

洗牌（Permutation）： 它把已经看过的所有菜品（包括当前这道菜）进行成千上万次的“洗牌”，重新排列组合。
寻找“平行时空”： 在这些乱序的排列中，它会寻找那些**“结果和你现在一模一样”**的剧本。也就是说，它只关注那些在乱序后，依然会导致你做出“我要评论这道菜”这个决定的排列组合。
建立“公平基准”： 它把这些“平行时空”里的表现作为一个公平的参照物。它会问：“在所有那些同样让你决定要评论的剧本里，这道菜的表现算不算异常？”

比喻：
这就像是一个面试官。他只面试那些“看起来很优秀”的候选人。为了保证评价公平，他不会拿所有人的平均分来比，而是会在脑海里模拟：“如果把这些候选人换个顺序面试，或者把他们重新组合，在所有同样能让我产生‘想面试他’冲动的组合里，这个人的表现到底处于什么水平？”

通过这种方式，PEMI 成功地抵消了“挑食”带来的偏见，确保了即使是在动态、变幻莫测的选择规则下，给出的“信心范围”依然是极其可靠的。

4. 这项技术有什么用？

论文中提到了一个非常硬核的应用场景：药物研发。

在寻找新药的过程中，科学家并不是对成千上万的化学分子进行昂贵的实验，而是先用 AI 筛选。科学家通常会设定规则：“只有当 AI 预测这个分子的活性非常高时，我们才投入资金去实验室验证。”

这就是典型的“选择性预测”。如果 AI 在这种“挑食”的情况下给出的预测范围不准，科学家就会浪费大量的金钱和时间在错误的药物上。PEMI 能够确保：只要 AI 决定去研究某个分子，它给出的“不确定性范围”就是真实可靠的。

总结

问题： AI 在“挑食”（选择性预测）时，由于受到数据顺序的影响，给出的信心范围会失效。
方案 (PEMI)： 通过“平行时空模拟”（排列组合测试），只在那些能导致相同选择结果的“剧本”中寻找参照物。
结果： 无论 AI 的选择规则多么复杂、多么随时间变化，它给出的预测范围都能保持高度的准确性和可靠性。

这是一篇关于**在线选择性符合预测（Online Selective Conformal Prediction）**的前沿研究论文。以下是对该论文的详细技术总结：

1. 问题背景与定义 (Problem Statement)

核心挑战：选择性偏差 (Selection Bias)
在传统的符合预测（Conformal Prediction）中，假设测试样本与校准数据是可交换的（Exchangeable），从而保证预测集的覆盖率。然而，在实际应用中，我们往往只对“感兴趣”的样本进行预测。例如：

药物研发：仅对预测活性高的候选药物进行实验验证。
临床诊断：仅在多个模型意见不一致时才寻求不确定性量化。

这种“选择性发布”机制会导致选择性偏差，使得标准符合预测的覆盖率失效。

在线环境下的不对称性 (Asymmetry in Online Setting)
现有的“离线”选择性符合预测方法（如 JOMI）要求选择机制对标签数据具有置换不变性（Permutation Invariance）。但在在线（Online）场景下，数据是按顺序到达的，当前的决策（是否选择第 $t$ 个样本）往往依赖于之前的决策轨迹。这种时间顺序性导致选择机制具有不对称性，打破了置换不变性，使得现有方法无法直接应用或过于保守。

目标：构造一个预测集 $\hat{C}_{\alpha,t}$ ，使其满足选择条件覆盖率 (Selection-Conditional Coverage, SCC)：
$P(Y_t \in \hat{C}_{\alpha,t} \mid S_t = 1) \geq 1 - \alpha$
即：在样本被选中的条件下，预测集包含真实标签的概率至少为 $1-\alpha$ 。

2. 核心方法：PEMI 框架 (Methodology)

论文提出了 PEMI (PErmutation-based Mondrian Conformal Inference)，这是一个基于置换检验（Permutation Test）的通用框架。

A. 基本思想：基于置换的选择性推断

PEMI 不再仅仅通过“交换（Swapping）”单个数据点来寻找参考集，而是在置换空间（Permutation Space）中进行推断。

识别参考集 (Reference Set)：对于观测到的数据序列，考虑其所有可能的置换 $\Pi$ 。PEMI 寻找所有能够导致相同选择决策（即 $S_t(\pi) = 1$ ）的置换集合 $\hat{R}_t$ 。
校准预测集：在这些“保持选择事件不变”的置换集合上计算符合性得分（Conformity Scores），并利用这些得分来构造预测集。

B. 数学实现

对于给定的假设标签 $y$ ，计算其在保持选择决策不变的置换下的 $p$ -值：
$p_t(y; \Pi^\star_t) = \frac{|\{\pi \in \hat{R}_t(y; \Pi^\star_t) : V_t(y, \pi_0) \leq V_t(\pi)\}|}{|\hat{R}_t(y; \Pi^\star_t)|}$
其中 $V_t$ 是符合性得分函数。通过反转该 $p$ -值，得到预测集。

C. 计算效率优化 (Efficient Instantiations)

由于遍历所有置换在计算上是不可行的，论文针对三类常见的不对称选择规则提出了高效算法：

基于协变量的规则 (Covariate-based)：决策仅取决于特征 $X$ 。此类规则下，参考集与假设标签 $y$ 无关，可简化为分位数计算。
符合性选择 (Conformal Selection)：基于 $p$ -值或 $e$ -值进行决策（如在线多重假设检验）。论文通过对 $y$ 的取值范围进行分段（Regime-specific）处理，实现了高效计算。
基于早期结果的选择 (Selection based on earlier outcomes)：决策取决于之前样本的真实标签。通过对历史得分进行排序并划分区间，实现了快速推断。

3. 主要贡献 (Key Contributions)

理论突破：证明了 PEMI 在任意不对称选择规则下，都能实现有限样本下的精确选择条件覆盖率 (Exact SCC)。这打破了以往方法对对称性或特定决策驱动规则的严格限制。
通用框架：PEMI 是一个高度泛化的框架，可以无缝扩展到：
- 引入离线标签数据。
- 处理多个测试样本的离线选择场景。
- 实现错误覆盖率 (FCR) 的控制。
算法实用性：不仅提供了理论，还为实际应用中常见的在线决策逻辑（如权重分位数、在线多重检验等）提供了计算复杂度可控的实现方案。

4. 实验结果与意义 (Results & Significance)

实验表现

论文在**药物发现（Drug Discovery）**真实数据集和多种模拟实验中进行了验证：

覆盖率准确性：在各种不对称规则下，PEMI 的覆盖率始终紧贴目标水平 $1-\alpha$ ，而传统方法（Vanilla CP）严重欠覆盖，现有在线方法（如 EXPRESS）则因过于保守导致预测集过大或出现无穷大集合。
预测集效率：PEMI 生成的预测集在保证覆盖率的同时，长度（Size）相对较小，且有效减少了“无效（无穷大）预测集”出现的频率。
鲁棒性：在模型质量较差、噪声水平高或数据分布存在异方差性时，PEMI 表现出极强的稳健性。

研究意义

该研究解决了在线机器学习中一个极其重要且困难的问题：如何在“只看感兴趣数据”的情况下，给出可靠的不确定性量化。这对于高风险决策领域（如医疗、生物制药、自动驾驶）具有重要的工程应用价值，为构建更安全、更智能的在线决策系统提供了坚实的统计学基础。