📊 statistics

Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

本文提出了一种有限样本且分布无关的框架，该框架为共形推断中所有可能的拒绝阈值确立了同时性的高概率错误发现比例上界，从而在提供比现有方法更紧的保证的同时实现了灵活的事后选择。

原作者： Ziang Song, Ying Jin, Emmanuel J. Candès

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziang Song, Ying Jin, Emmanuel J. Candès

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图在一个巨大的仓库中寻找几件稀有且特殊的物品。你拥有一台“探测器”（一个机器学习模型），它会为每件物品打分“可疑度”。分数越低，该物品是“赝品”或“异常值”（如假钞或次品零件）的可能性就越大。

为了揪出赝品，你设定了一个阈值。如果某件物品的分数低于这条线，你就将其标记为待检。

问题所在：如果将这条线设得太低，你会漏掉赝品；如果设得太高，你就会浪费时间去检查那些并非赝品的真实物品。
旧方法：传统上，统计学家会说：“平均而言，如果你运行一千次这个测试，你犯错的概率只有 5%。”
- 缺陷：这就像说：“平均而言，你的车不会抛锚。”但如果你此刻正在开车，这个平均值对你毫无帮助。你需要知道的是："这辆车此刻安全吗？”此外，如果你查看结果后，因为没找到足够的赝品而决定调整阈值，那么旧的数学方法就会完全失效。

本文介绍了一种全新的、超级可靠的安全网，它无处不在且同时生效。

核心理念：“全知”安全网

作者们创造了一种方法，为你的结果画出了一条“天花板”。想象你正穿行在一片迷雾森林（你的数据）中。你想知道这片区域里有多少危险动物（误报）。

与其猜测危险动物的平均数量，本文的方法构建了一道透明的、高概率的围栏，它始终位于你穿越森林时任何可能路径上实际危险动物数量的上方。

同时有效性：这道围栏不仅仅适用于某一条特定路径（即某一个特定阈值）。它适用于你可能选择的每一条路径，即使你在观察森林后改变主意并选择了新路径，它依然有效。
保证：本文证明，以 90%（或 95%）的置信度，你实际犯错的次数将始终低于这道围栏。

围栏是如何构建的（“魔法技巧”）

秘诀在于他们如何计算这道围栏。

“零假设”宇宙：他们意识到，如果你标记的物品实际上是“正常”的（非赝品），那么它们的可疑度分数会遵循一种非常具体且可预测的模式，就像一副完美洗过的扑克牌。
模拟：与其试图用复杂的数学公式去猜测这种模式（这通常会导致一道非常宽松且保守的围栏），他们直接模拟了数百万种“如果……会怎样”的情景。他们反复洗牌（针对“正常”卡片），以观察误报数量最高可能跳升到什么程度。
可变形的围栏：旧方法使用笔直平坦的天花板（一条直线）。但本文发现，数据中的“噪声”并非平坦的，而是起伏波动的。在边缘处（极低或极高的阈值），噪声的表现方式截然不同。
- 他们的新围栏是灵活的。在数据稳定的地方，它向内收缩；在数据狂野的地方，它向外膨胀。这使得围栏比旧方法中那些笨拙的直线更加紧密且实用。

文中的现实世界案例

作者在两个具体场景中测试了这种方法：

1. 异常值侦探（欺诈检测）

场景：你有一堆信用卡交易记录。大多数是正常的，少数是欺诈。你想要标记出欺诈行为。
胜利：新方法告诉你：“无论你选择什么阈值来标记欺诈，我们保证在至少 90% 的情况下，你错误指控无辜者的比例将低于这条线。”这一点至关重要，因为错误指控无辜者既昂贵又令人压力巨大。

2. 药物猎人（药物发现）

场景：一家制药公司拥有数千种化学化合物的库。他们想要找出那些可能治愈疾病的少数几种。他们使用计算机模型对它们进行排名。
胜利：研究人员希望挑选出“顶尖”候选者进行实验室测试（这很昂贵）。新方法允许他们说：“如果我们根据这个分数挑选前 100 种药物，我们有 90% 的把握其中至少有 X% 是真正有希望的。”
“事后”魔法：过去，如果研究人员查看数据，发现只找到了 2 种药物，于是决定“放宽规则”以找到 10 种，旧的数学方法就会欺骗他们。而新方法会说：“无论你是在查看数据之后才改变规则，这道安全围栏依然有效。”

为何这很重要

不再依赖“平均而言”：它为你手中持有的特定数据集提供保证，而不仅仅是一个理论上的平均值。
探索的自由：科学家可以查看数据，调整标准，并探索不同的阈值，而无需担心破坏统计规则。
更紧密的界限：由于围栏能适应数据的形状，它不像以前的方法那样过度谨慎（保守），从而使研究人员能够在不增加犯错风险的情况下发现更多真正的成果。

简而言之，本文提供了一种通用的、灵活的、且经数学证明的安全网，确保无论你如何查看数据，都不会意外标记过多的无辜物品。

技术摘要：共形推断中假发现比例的处处有效界

问题陈述
共形推断的现代应用，如异常值检测和药物发现中的候选者筛选，通常涉及根据共形 $p$ 值是否低于特定阈值来选择测试样本。这些选择的可信度通过假发现比例（FDP）来量化，其定义为所有被选中单元中错误选择所占的比例。

现有方法，如 Benjamini–Hochberg (BH) 过程，主要控制假发现率（FDR），即 FDP 在重复数据实现下的期望值。本文指出了当前技术水平的两个关键局限性：

缺乏实现保证：控制期望 FDP 并不能保证特定数据集上的 FDP 较小。实现的 FDP 可能大幅超过期望值，无法为从业者提供实例层面的保护。
对事后选择缺乏灵活性：现有保证要求显著性水平 $\alpha$ 必须预先固定。如果从业者检查数据并调整阈值（例如，以增加发现数量），FDR 控制将失效。

作者旨在建立有限样本、分布自由的 FDP 上界，这些上界在所有可能的拒绝阈值 $t \in [0, 1]$ 上同时成立。这使得可以在保持严格统计保证的同时，任意进行事后阈值选择。

方法论
所提出框架的核心依赖于由交换性假设诱导的“零假设”共形 $p$ 值的可处理联合分布。

共形均匀变量：作者将共形均匀变量 $u_j$ 定义为测试分数相对于校准集的归一化秩。在交换性假设下，这些变量的向量具有已知的联合分布 $P_{n,m}$ ，该分布独立于底层数据生成机制。
通过采样构建包络：作者提出从联合分布 $P_{n,m}$ $P_{n, m}$ 中采样，以构建零假设 $p$ $p$ 值经验累积分布函数（CDF）的高概率包络，而不是依赖产生保守线性界限的集中不等式（如 Dvoretzky–Kiefer–Wolfowitz）。
- 他们定义了一个应用于经验 CDF 的汇总统计量 $T(F)$ （例如，Kolmogorov–Smirnov、Higher-Criticism 或 Berk-Jones 统计量）。
- 通过从 $P_{n,m}$ 生成 $B$ 个蒙特卡洛样本，他们计算该统计量的 $(1-\delta)$ -分位数以确定截断值 $\hat{T}$ 。
- 该截断值被反转以生成包络函数 $G(t)$ ，使得 $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$ 。
异常值检测的细化策略：对于异常值检测（其中真实零假设的数量即“正常值”数量未知），作者整合了两种收紧技术：
- 自细化：借鉴 [HSG19] 中的技术，利用选择集的单调性，迭代改进对错误发现数量的界限。
- 零假设比例收紧：估计真实零假设数量（ $m_0$ ）的上界，并基于分布 $P_{n,m_0}$ 而非 $P_{n,m}$ 构建包络，从而显著降低保守性。
共形选择的应用：对于共形选择（例如药物发现），作者利用“神谕”共形 $p$ 值（依赖于未知的真实结果）来界定错误发现的数量。他们证明，在特定的单调评分函数（例如截断分数）下，错误发现的数量受这些神谕变量的经验 CDF 界定，从而允许直接应用同时包络方法。

主要贡献

经验 CDF 的新型上界：本文建立了共形均匀变量经验 CDF 的新型高概率上界。经验表明，该界限比基于 DKW 型不等式的现有界限更紧，特别是通过适应经验 CDF 的异方差性（随 $t$ 变化）。
异常值检测的同时 FDP 界：作者开发了一种方法，对所有阈值同时界定异常值检测的 FDP。这结合了改进的 CDF 界限与自细化和零假设比例收紧技术。
共形选择的首个有限样本 FDP 界：本文提供了首个对所有拒绝阈值一致成立的共形选择问题的有限样本 FDP 界。
通用框架：该工作引入了一个通用框架，用于通过从零假设 $p$ 值的联合分布中采样来推导随机函数的高概率界限，该方法在保持有限样本有效性的同时，提供了比基于集中不等式的方法更精确的界限。

结果
作者通过合成数据和真实数据实验验证了其框架：

合成异常值检测：高斯混合模型上的实验表明，所提出的 FDP 界限（特别是使用截断 Higher-Criticism 统计量）在 100 次重复中保持了有效的覆盖率（超过目标 90% 置信度）。界限显示比基线线性界限保守性显著降低，特别是在较小的拒绝阈值下。自细化与零假设比例收紧的结合产生了最精确的界限。
现实世界的药物发现：利用 DAVIS 数据集进行药物 - 靶标相互作用预测，该方法被用于筛选有前景的药物候选者。结果显示，在所有独立运行的 92% 中，同时上界在所有选择阈值下始终位于真实 FDP 之上。
事后适应性：本文证明，从业者可以自适应地改变选择阈值（例如，增加 $\alpha$ 以发现更多候选者），而所提出的界限仍然有效。相比之下，对 BH 水平进行标准的事后调整无法对实现的 FDP 进行上界界定。

意义与主张
本文声称解决了“实现 FDP"问题，为从业者提供实例层面的保证，而不仅仅是平均情况保证。通过支持任意的事后阈值选择，该框架支持灵活的数据驱动探索，同时不牺牲统计严谨性。作者强调，与现有方法相比，他们的方法产生的界限“保守性显著降低”，使共形推断在科学发现和医学筛查等高利害应用中更加实用，因为这些领域的后续成本很高。该工作被呈现为一种统一策略，适用于任何可以模拟零假设 $p$ 值联合分布的问题，其适用范围超越了异常值检测和共形选择的具体示例。

核心理念：“全知”安全网

围栏是如何构建的（“魔法技巧”）

文中的现实世界案例

为何这很重要

技术摘要：共形推断中假发现比例的处处有效界

类似论文