技术摘要：统一的全数据效率共形化多重检验

1. 问题陈述

共形化多重检验为在识别具有未观测感兴趣标签的测试样本（例如异常检测、样本选择）时控制错误发现率（FDR）提供了一个无模型框架。标准流程包括构建非共形分数，利用一组零假设（负类）样本对其进行校准以生成共形 p 值，并应用多重检验规则（例如 Benjamini-Hochberg）。

现有方法在数据利用方面面临两个主要局限：

1. 部分数据利用：许多方法将可用的零假设数据（$D_0$）划分为训练集和校准集，从而丢弃了有价值的信息。其他方法在构建分数时未能利用可用的非零假设（正类）标注数据（$D_1$）或未标注的测试数据（$D_u$）。
2. 碎片化的框架：不同的方法（例如分裂共形、集成共形、局部共形）是在特定的设置和数据利用方案下开发的。目前缺乏一个统一的理论框架来涵盖这些方法，或提供一个系统性的原则来设计能够充分利用所有可用数据（$D_0, D_1, D_u$）同时严格控制 FDR 的新方法。

核心挑战在于开发一种统一的方法，通过在分数构建和校准中利用所有可用数据来最大化统计功效，同时不违反有限样本 FDR 控制所需的交换性假设。

2. 方法论：ECOT 框架

作者提出了增强型共形检验（Enhanced COnformal Testing, ECOT），这是一个基于全排列策略的统一框架。其核心见解是通过排列检验的视角来审视共形化多重检验，其中测试样本 $j$ 的 p 值是通过将其分数与数据所有可能排列所得到的分数进行比较来计算的。

2.1 核心组件

ECOT 流程包含三个步骤：

1. 分数构建：对于每个测试样本 $j \in U$，利用所有可用数据（$D_0, D_1, D_u$）构建个性化的分数函数 $S^{(j)}$。较高的分数表示反对零假设的证据更强。
2. p 值计算：通过全排列计算共形 p 值：
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   其中，$\Omega_j$ 是校准集 $C \subseteq L_0$ 和测试样本 $j$ 的排列集合，同时固定该集合之外的索引。$S^{(j)}_\sigma$ 表示在排列后的数据集上构建的分数函数。
3. 检验流程：为了处理由数据重用和个性化分数引起的 p 值之间的依赖性，ECOT 采用条件校准步骤（受 Fithian 和 Lei, 2022 启发）。这涉及使用分数的排列不变摘要（例如中位数）定义修正的 p 值 $\tilde{p}^{(j)}_\ell$，随后执行拒绝程序以确保有限样本 FDR 控制。

2.2 计算简化

全排列计算量巨大（$O((|C|+1)!)$）。该框架识别出两种对称条件，在此条件下流程可显著简化：

• 校准对称分数：如果 $S^{(j)}$ 在校准集和 $j$ 的排列下保持不变，则 p 值简化为在 $C \cup \{j\}$ 上的简单基于秩的计算，无需重复模型重新训练。
• 联合对称分数：如果对所有样本使用单个分数函数 $S$，且该函数对所有零假设和测试样本具有对称性，则条件校准步骤变得不必要，对简化后的 p 值应用标准的 Benjamini-Hochberg (BH) 程序即已足够。

2.3 增强方法

利用统一框架，作者提出了两种具体的增强方法：

• ECOT-bi（二分类）：联合利用 $D_0, D_1$ 和 $D_u$ 训练一个二分类器。该分类器区分非零假设样本（$D_1$）与合并的零假设/未标注样本（$D_0 \cup D_u$）。这在不分割 $D_0$ 的情况下近似了最优密度比。
• ECOT-oc（单类分类）：专为二分类器效率低下（例如方差差异）的场景设计。它在 $D_0 \cup D_u$（针对零假设）和 $D_1$（针对备择假设）上训练单类分类器，并将它们整合以形成分数。

2.4 自适应选择

该框架支持自适应方法选择（ECOT-as）。算法不是固定单一方法，而是评估多个候选方法（例如 ECOT-bi, ECOT-oc, FullND），并为每个样本选择产生最高功效（拒绝数量）的方法。关键在于，选择步骤通过全排列策略嵌入到分数构建中。这将选择视为分数生成的一部分，保留了交换性，并避免了通常在事后推断中导致 FDR 膨胀的“双重 dipping"问题。

3. 主要贡献

1. 统一框架：本文介绍了 ECOT，这是一个通用框架，在特定的对称结构下将现有的共形化多重检验方法（例如分裂共形、集成、局部）作为特例涵盖其中。
2. 全数据效率：该框架提供了一种原则性的设计策略，利用所有可用数据（$D_0, D_1, D_u$）进行分数构建，同时保留整个零假设集用于校准。研究表明，这通过提高分数质量和最大化校准集大小来提升统计功效。
3. 具有 FDR 控制的自适应选择：作者开发了一种数据驱动策略，自动从候选集中选择最佳共形检验方法。通过将选择整合到基于排列的分数构建中，他们在无需额外数据分割的情况下实现了有限样本 FDR 控制。
4. 理论保证：本文证明，在标准数据交换性假设下，无论使用的分数函数复杂度如何，ECOT 流程都能在有限样本中将 FDR 控制在期望水平 $\alpha$。

4. 实验结果

在合成数据和现实世界的异常检测数据集（Credit Card, Satellite, Shuttle, CovType, Mammography）上进行了广泛的数值实验。

• 功效提升：在二分类最优的场景中，ECOT-bi 和 ECOT-as 始终优于现有基线（例如 AdaDetect, CP-bi, Integ），在保持 FDR 控制的同时实现了更高的功效。这归因于对 $D_1$ 的充分利用以及避免了数据分割。
• 对场景的鲁棒性：在单类分类更优越的设置中（例如方差偏移），ECOT-oc 通过在分数构建中利用 $D_u$，显著优于集成方法。
• 自适应选择：ECOT-as 成功地在多样化的场景中追踪了表现最佳的方法，在许多情况下实现了接近理论最优的功效。
• 真实数据表现：在真实数据集上，ECOT 方法（特别是 ECOT-bi 和 ECOT-as）表现出优于基线的功效，而基线方法通常因标注数据有限或不恰当的分数构建而功效低下。
• 计算成本：虽然全排列方法比分裂方法计算量更大，但调整后的自适应选择（算法 3）和对称性简化将运行时间保持在实用范围内（中等样本量下约 1 分钟），显著快于 OptCS 等竞争框架的全共形实现。

5. 意义与主张

本文声称，ECOT 通过统一共形化多重检验的碎片化格局，代表了重大进步。其主要意义在于：

• 系统设计：为设计能够最大化数据效率的新共形流程提供了清晰、原则性的路径。
• 自动适应：解决了在不损害 FDR 控制的情况下选择最佳检验策略的问题，这是事后推断中的一个常见陷阱。
• 实际效率：证明了全数据利用在多样化的现实世界和合成场景中能带来可量化的功效提升，使共形检验在异常检测和样本选择等应用中更加有效。

作者承认，该框架依赖于数据交换性，且全排列可能计算量巨大，建议未来的工作在于放宽假设（例如非交换数据）并加速基于排列的推断。