📊 statistics

Collective Outlier Detection and Enumeration with Conformalized Closed Testing

本文提出了一种灵活且无需分布假设的框架，用于检测和枚举集体异常值，该框架通过整合共形推断、多重检验与自适应秩检验，并配备一种原则性机制以自动为给定数据集选择最优机器学习分类器与双样本检验程序。

原作者： Chiara G. Magnani, Matteo Sesia, Aldo Solari

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Chiara G. Magnani, Matteo Sesia, Aldo Solari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图从成千上万个好苹果组成的巨大果箱中找出几个坏苹果。通常，你会逐个检查每个苹果，查看是否有瘀伤或腐烂。如果一个苹果看起来完好无损，你就放过它。但如果这些“坏”苹果外表并不腐烂呢？如果它们看起来和好苹果一模一样，但当你把整组坏苹果放在一起观察时，它们的行为却显得异常？也许它们都稍微有点太绿，或者重量都比平均值轻了一点点，但单独来看，这些差异太小了，难以察觉。

这就是 ACODE（自动共形异常检测与枚举）所要解决的问题。

以下是用日常类比对该论文内容的简要拆解：

1. 问题：隐藏在堆里的“大海捞针”

过去，统计方法试图通过逐个检查来寻找“异常值”（即坏苹果）。

缺陷：如果坏苹果非常罕见或非常微妙，逐个检查往往行不通。你可能会说：“这个苹果看起来没问题”，从而错过了它。
新想法：ACODE 不再逐个查看苹果，而是观察整个可疑苹果群体，看它们作为一个整体是否表现出不同的行为。它会问：“即使我们无法确切指出哪些是坏苹果，这里是否隐藏着一组坏苹果？”

2. 解决方案：一位聪明且适应性强的侦探

这篇论文介绍了一种名为 ACODE 的方法。把 ACODE 想象成一位超级聪明的侦探，他不仅使用一种工具，而是拥有一整套工具箱，并且知道针对每项工作该挑选哪种工具。

“黑盒”分类器：首先，该方法利用强大的计算机程序（机器学习）为每个苹果赋予一个“可疑度评分”。高分意味着苹果看起来有点奇怪；低分意味着它看起来正常。
测试的“工具箱”：一旦苹果有了评分，侦探就需要决定：“这组高分苹果真的是一组坏苹果吗？”
- 有时，坏苹果很罕见但非常明显（比如一堆绿苹果中的红苹果）。
- 有时，坏苹果很常见但非常微妙（比如稍微小一点的苹果）。
- 不同的数学测试最适合不同的情况。
魔法技巧（自动选择）：ACODE 的精妙之处在于，它不会猜测该使用哪种数学测试。它会在数据上尝试几种不同的测试，并自动选择针对该特定数据集效果最好的那一个。这就像一位厨师尝了汤的味道，立刻知道该加盐、胡椒还是柠檬汁才能使其完美。

3. 安全网：禁止作弊

你可能会想：“如果侦探尝试了十种不同的工具并挑选了最好的那个，他们难道不是在作弊吗？他们可能只是运气好。”

这篇论文使用了一种巧妙的统计技巧，称为闭式检验（Closed Testing），以防止这种情况。

类比：想象一个游戏，你需要猜一个数字。如果你尝试了一百万次猜测并选中了正确的那个，那就是作弊。但如果你有一条规则规定：“在看见数字之前，你必须写下你的策略”，那么你就无法作弊。
ACODE 的做法：ACODE 将数据分成不同的组（就像把一副牌分开）。它使用其中一组来决定使用哪种工具，而使用另一组来实际运行测试。这确保了最终结果在统计上是有效的，而不仅仅是运气好。它保证，如果他们说“至少有 50 个坏苹果”，那么有 90% 的把握是正确的。

4. 它能计数吗？（枚举）

大多数方法只会说：“是的，有坏苹果！”或者“不，没有。”
ACODE 更进一步。它给出了一个下界。

类比：想象你在数罐子里的硬币。你无法看清所有的硬币，但你有 90% 的把握罐子里至少有 50 枚硬币。你可能不知道是 50 枚还是 100 枚，但你确切地知道绝不是 10 枚。
ACODE 告诉你：“我们有 90% 的把握，这组数据中至少有 X 个坏苹果。”这被称为枚举。

5. 论文中的现实世界示例

作者在两种主要类型的数据上测试了这种方法：

合成数据：他们创建了假数据，确切知道隐藏了多少个“坏”项目。即使单独检测失败，ACODE 也成功找到了这些坏项目的群体。
粒子物理（LHCO 数据）：他们使用了大型强子对撞机（LHC）的数据，科学家在那里将粒子相互撞击以寻找新粒子。
- 挑战：新粒子就像隐藏在数十亿次正常碰撞海洋中的“坏苹果”。它们如此罕见且微弱，以至于一次一次地查看碰撞通常会错过它们。
- 结果：ACODE 成功识别出可能包含新粒子的碰撞群体，并给出了隐藏在数据中的“有趣”事件数量的可靠估计。

总结

ACODE 是一种发现数据中隐藏模式的新方法。它不再试图找出每一个单独的坏苹果，而是寻找坏苹果的群体。它自动选择最佳的数学方法来发现它们，使用严格的安全规则确保没有作弊，并为你提供隐藏在堆中有多少坏苹果的可靠估计。

当“坏”事物单独看太微弱而无法察觉，但在一起行动时又足够明显时，它效果最佳。

技术摘要：基于共形闭检验的集体异常检测与枚举

1. 问题陈述

本文解决了在个体异常点因稀疏性、信号微弱或难以捉摸而难以识别的场景下，集体异常检测与枚举的挑战。尽管传统的共形推断侧重于个体层面的异常点识别（控制特定数据点的错误发现率），但当异常点在孤立状态下未表现出显著偏差时，这种方法往往缺乏效力。

作者针对测试集 $Z_{m+1}, \dots, Z_{m+n}$ 相对于参考正常值集合 $Z_1, \dots, Z_m$ 定义了两大主要任务：

异常检测：检验全局零假设，即测试数据的某个子集中不包含任何异常点。
异常枚举：通过提供同时下置信界来估计子集中异常点的数量，而不必确切指出每个异常点的具体身份。

核心难点在于，标准的个体层面检验（例如应用于共形 p 值的 Benjamini-Hochberg 方法）在信号微弱或稀疏时，可能无法拒绝全局零假设或提供有信息量的界限。此外，先验地选择最佳机器学习分类器和统计检验程序十分困难，而基于数据的“ cherry-picking”（挑拣）会导致选择偏差和无效推断。

2. 方法论：ACODE

作者提出了 ACODE（自动共形异常检测与枚举），这是一个灵活的、分布无关的框架，整合了共形推断、闭检验和自适应秩检验。

2.1 共形评分与拆分

该方法首先利用训练有素的机器学习分类器生成共形评分，以区分异常点与正常点。

分类器：框架支持单类分类器（仅在正常点上训练）和二元分类器（通过正 - 未标记学习训练）。
评分生成：函数 $\hat{s}$ 将数据点映射为标量评分。为确保有效性，该方法采用样本拆分。一个调优集用于选择最佳分类器和检验程序，而另一个独立的校准集则用于为测试集生成共形 p 值。这种分离保留了在选定程序条件下正常点评分的可交换性，从而防止了选择偏差。

2.2 局部检验程序

ACODE 聚合共形评分以检验局部假设 $H_S$ （即子集 $S$ 中不包含异常点）。本文评估了一个局部检验的“工具箱”，每种检验适用于不同的信号结构：

Simes 检验：适用于罕见且强烈的信号。
Fisher 组合：适用于密集且微弱的信号。
Wilcoxon-Mann-Whitney (WMW)：一种秩检验，在特定的 Lehmann 备择假设下（即异常点遵循两个正常点最大值的分布）被证明是局部最有力秩检验（LMPR）。
Shiraishi 的 LMPR 检验：WMW 的推广，适用于任意异常点分布。
自适应秩检验：Shiraishi 检验的数据驱动扩展，通过非参数方式估计未知的异常点密度 $g$ 。理论结果（定理 2）表明，该自适应检验达到了与已知 $g$ 的 oracle 检验相同的局部渐近效力。

2.3 用于枚举的闭检验

为了从局部检验过渡到全局枚举，ACODE 采用了闭检验原理（Marcus 等人，1976）。

机制：该方法检验所有可能的交集假设 $H_J$ （针对子集 $J \subseteq [n]$ ）。对于任何子集 $S$ 中异常点数量的下置信界 $d(S)$ ，是通过寻找在多重性调整后无法拒绝零假设的最大子集 $K \subseteq S$ 推导得出的。
有效性：命题 1 保证，如果局部检验有效，则生成的下界满足同时覆盖： $P(d(S) \le |I_1 \cap S| \text{ 对所有 } S) \ge 1-\alpha$ 。
计算效率：虽然闭检验通常是指数级的，但本文利用了针对 Simes、WMW 和 Fisher 检验的多项式时间捷径（Goeman 等人，2019；Tian 等人，2023），使该方法能够扩展到大型数据集。

2.4 数据驱动的适应性

一项关键创新是算法 3，它自动化了分类器和局部检验的选择。

过程：该算法在调优集上评估多种分类器与检验的组合，以最大化下界（用于枚举）或最小化 p 值（用于检测）。
偏差控制：通过使用独立的调优集，然后在完整的校准/测试拆分上重新评估所选组合，该方法避免了与朴素“挑拣”相关的膨胀 I 类错误率。

3. 主要贡献

本文做出了三项主要的方法论贡献：

ACODE 框架：引入了一种原则性的、数据驱动的方法，用于异常点枚举，能够自动选择最佳机器学习分类器和双样本检验程序。它将闭检验与共形推断相结合，提供了关于异常点数量的严格同时下界。
理论扩展：在可交换（而非严格独立同分布）共形评分下，为 Shiraishi 的局部最有力秩检验及其自适应版本的零分布提供了渐近近似。这一扩展对于拆分共形设置下的有效性至关重要。
自适应秩检验：证明了通过非参数方式估计异常点分布的自适应秩检验，达到了与完全知晓异常点分布的 oracle 检验相同的局部渐近效力（定理 2）。

4. 实证结果

该方法在合成数据和真实世界的高能物理数据（LHCO 2020）上进行了评估。

合成数据：
- 在检测全局零假设的效力以及提供有信息量的下界方面，ACODE 始终优于个体层面的识别方法（如应用于共形 p 值的 Benjamini-Hochberg）。
- 自适应选择机制成功地为特定数据机制识别了最佳分类器（单类与二元）和检验（WMW 与 Fisher 与 Simes），近似了知晓最佳组合的 oracle 的性能。
- 在具有“对抗性”异常点（个体评分欠分散且难以检测）的场景中，Shiraishi 检验的数据驱动近似显著优于标准方法。
LHCO 高能物理数据：
- 应用于 110 万个粒子碰撞事件，ACODE 成功检测并枚举了相对于模拟事件背景的“信号”事件（异常点）。
- 该方法提供了关于异常点数量的紧密 90% 下置信界，在信息量方面显著优于 BH 程序。
- 至关重要的是，ACODE 的自适应版本在不承担选择偏差的情况下实现了近 oracle 性能，而朴素的“挑拣”方法则导致了 I 类错误的膨胀。

5. 意义与主张

本文主张 ACODE 为集体异常检测（其中个体检测失败）提供了稳健的解决方案。其意义在于：

弥合差距：它将共形推断与经典多重检验和秩检验理论联系起来，以处理微弱和稀疏的信号。
原则性适应性：它解决了选择机器学习模型和统计检验时固有的“选择偏差”问题，即使最佳程序是基于数据选择的，也能提供有效的推断。
信息量：与仅识别特定异常点的方法不同，ACODE 提供了关于异常点数量的统计保证下界，提供了对数据异常结构更全面的视角。

作者指出，虽然该方法功能强大，但它依赖于可用的干净正常点参考集，并假设可交换性。未来的工作可以探索交叉验证框架、处理受污染的校准数据，以及为自适应 Shiraishi 检验开发更快的计算捷径。