🤖 machine learning

Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

本文证明了在异常检测中，当留出的异常类与正常数据在表示空间中存在重叠时，数据集内的类划分评估可能会变得病态，并产生不稳定或反转的分数，据此提出了一种名为“邻域类泄漏”的免训练诊断方法，用于预测各种数据集和特征空间中的此类失效。

原作者： Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：“测试测试本身”

想象你是一位老师，正试图测试一名学生分辨“假”苹果的能力。你有一个装有 10 种真实苹果（红富士、青苹果、嘎啦果等）的篮子。

标准测试（类别拆分法）：
为了进行测试，你决定将 9 种苹果定为“正常”类型，而将第 10 种定为“异常”（即那个假的）。你只用这 9 种正常类型的苹果来训练学生。然后，你给学生展示由这 9 种正常类型和第 10 种类型混合而成的苹果，要求他们指出哪些是假的。

论文指出，在许多情况下，这种测试是失效的。有时，“假”苹果（第 10 种类型）看起来与真实的苹果如此相似，以至于学生会感到困惑。更糟糕的是，取决于你选择哪种苹果作为“假”苹果，学生可能会开始把真实的苹果误认为假货，或者他们可能只是在随机猜测。

核心问题：“重叠的人群”

作者发现，在许多图像数据集（如 CIFAR-10 或 Imagenette）中，在计算机的认知里，“异常”类其实并不远离“正常”类。

比喻： 想象一个拥挤的派对。
- 正常组： 穿着红、蓝、绿衣服的人。
- 异常组： 穿着黄衣服的人。
- 问题所在： 在这个特定的派对上，穿黄衣服的人正好站在蓝衣和绿衣人的中间。他们混杂得非常紧密，以至于你无法仅仅通过观察谁站在谁身边来区分他们。

当计算机试图寻找“异类”时，它会感到困惑。

崩溃（The Collapse）： 计算机对于“这有多奇怪”的评分会降至随机猜测水平（50/50 的概率）。
反转（The Inversion）： 有时，计算机会搞反。它会认为“奇怪”的黄衬衫实际上是“正常”的，而“正常”的蓝衬衫反而是奇怪的。

“方向”的混乱

这个问题中最危险的部分是方向不稳定性（Direction Instability）。

场景 A： 如果你选择“黄色”作为异常，计算机学到的是：“高分 = 奇怪”。
场景 B： 如果你选择“紫色”作为异常，计算机学到的是：“低分 = 奇怪”。

如果你事先不知道哪个类别是异常（这在现实生活中很常见），计算机就没有一个一致的规则。这就像一个指南针，当你身在纽约时指向北，当你身在伦敦时却指向南。你无法依靠它来引导你前往任何地方。

新工具：“邻域泄漏”（Neighborhood Leakage）

作者发明了一种简单且免费的方法，可以在运行异常检测器之前检查测试是否失效。他们称之为邻域泄漏。

比喻： 想象你正在人群中观察一个人。你观察他最亲近的 10 个邻居。
- 低泄漏： 这 10 个邻居都穿着和那个人一样的颜色。群体是清晰且分离的。测试很可能是有效的。
- 高泄漏： 那个人穿着红衬衫，但他的 10 个亲近邻居中有 8 个穿着蓝、绿或黄色的衣服。群体是混杂在一起的。

论文表明，如果你拥有高泄漏，你的测试结果将会是不稳定的、反转的或随机的。这是一个“红旗”信号，提醒你：“停下！这些数据的几何结构太混乱了，不适合进行这项特定的测试。”

他们的发现

他们在三个著名的图像数据集上进行了测试：

Fashion-MNIST（简单）： 衣物特征鲜明。泄漏度低。测试效果尚可。
CIFAR-10 & Imagenette（复杂）： 这些包含汽车、动物和鸟类。其中的“异常”类经常与“正常”类发生严重重叠。
- 结果： 高泄漏。
- 后果： 测试显示出巨大的不稳定性。有时，“异常”类会被排名为房间里最正常的事物。

总结

论文得出结论：我们不应该盲目信任“类别拆分”测试（即将隐藏一个类别作为异常）来证明一个 AI 擅长寻找异常。

旧观点： “如果 AI 得到了高分，说明它擅长寻找异常。”
新观点： “如果 AI 得到了高分，它可能只是擅长利用该特定测试中的某个特性。我们需要先检查‘泄漏’。如果群体是混杂的，那么这项测试是对数据形状的‘压力测试’，而不是对 AI 技能的证明。”

简而言之： 在你相信一个声称“这个 AI 能找到异类”的测试之前，先检查一下那个“异类”是否正隐匿在众人之中。如果是，那么测试结果是毫无意义的。

技术摘要：测试测试集：类别划分异常检测中的得分方向不稳定性

1. 问题陈述

在异常检测（AD）领域，数据集内的类别划分评估是一种标准协议，即指定特定的语义类别为“正常”，而将其他类别指定为“异常”，以模拟分布外（OOD）检测。虽然这种方法因无需外部数据源而具有吸引力，但本文认为，当选定的“异常”类别在表示空间中与“正常”混合分布显著重叠时，该协议在精确的操作层面上会变得病态（ill-posed）。

本文识别出的核心失效模式是类别依赖的得分方向不稳定性（class-dependent score-direction instability）。当留出的异常类位于正常混合分布的高密度区域内或附近时，异常得分可能会坍缩至随机水平（AUROC $\approx$ 0.5），或者更严重地发生反转（AUROC < 0.5）。在这种情况下，“异常性”的方向（即高得分还是低得分代表异常）取决于特定的、未知的异常类别。因此，基准测试的结论是脆弱的，可能会奖励那些利用数据集特定特征而非展示鲁棒、无条件 OOD 检测能力的算法。

2. 方法论

作者提出了一个框架，用于在不需要额外训练的情况下诊断和量化这种不稳定性。

诊断工具：邻域类别泄漏（Neighborhood Class Leakage）
论文引入了一个简单的、无需训练的指标——邻域类别泄漏（ $L_k$ ），用于量化固定表示空间 $r(x)$ 中类别条件流形之间的重叠程度。

定义： 对于样本 $x_i$ ，其泄漏率 $\ell_k(i)$ 是其 $k$ -最近邻（在表示空间中）属于不同语义类别的比例。
聚合： 数据集层级的指标 $L_k$ 是所有样本泄漏率的平均值。
原理： 高泄漏率表明局部几何结构与语义类别结构不一致。如果异常类占据了正常样本密集的区域，标准的 AD 得分（基于到正常性的距离或局部密度）将无法一致地分离它们。

不稳定性指标
为了表征基准测试的可靠性，作者基于“K-1 对 1”协议（通过迭代每个类别作为留出的异常类）定义了若干统计量：

AUROC 离散度（AUROC Dispersion）： 不同留出类别之间 AUROC 得分的方差。
近随机率（Near-Random Rate, $\rho_{rnd}$ ）： AUROC 得分落在 0.5 附近的频率。
反转率（Inversion Rate, $\rho_{inv}$ ）： AUROC 得分低于 0.5 的频率。
方向不稳定性率（Direction Instability Rate, $\rho_{dir}$ ）： 衡量偏好的得分方向（相对于随机水平的正向或负向偏差）随异常类别的变化频率。

实验设置
研究评估了三个复杂度递增的数据集：

Fashion-MNIST： 作为负对照（低重叠）。
CIFAR-10： 中等复杂度。
Imagenette： 高复杂度。

这些数据集在两种表示空间中进行测试：

像素空间（Pixel Space）： 向量化的原始输入。
VAE 潜空间（VAE Latent Space）： 仅在正常池上训练的变分自编码器（VAE）所编码的特征。

应用了三种标准的无条件 AD 评分器：k-最近邻（kNN）、孤立森林（Isolation Forest）和局部离群因子（LOF）。

3. 关键结果

实证结果表明，高邻域泄漏与基准测试不稳定性之间存在强相关性：

Fashion-MNIST： 表现出低泄漏（ $L_k \approx 0.24$ ）和稳定的行为，具有较低的反转率和方向不稳定性率。
CIFAR-10 和 Imagenette： 在像素空间和潜空间中均表现出高泄漏（ $L_k > 0.76$ ）。这些数据集显示出显著的反转率（高达 50%）和方向不稳定性率（高达 63%）。
一致性： 这种不稳定性在不同的评分族（kNN、孤立森林、LOF）和表示空间中持续存在，表明这种失效是数据几何重叠的固有属性，而非特定检测器的缺陷。
逐类方差： 在 CIFAR-10 像素空间中，特定的异常类产生的 AUROC 得分显著低于随机水平，而其他类别的得分则远高于随机水平，尽管它们使用了相同的评分约定。

4. 贡献

本文做出了三个主要贡献：

形式化了一种失效模式： 它识别并形式化了类别依赖的得分方向不稳定性，这是由正常-异常重叠驱动的类别划分评估的实际失效模式。
无需训练的诊断工具： 它提出了邻域泄漏指数（ $L_k$ ）作为一种简单的预评估检查，用于预测类别划分基准是否可能产生不可靠或反转的排名。
实证验证： 它通过受控的矩阵（涵盖不同数据集、表示空间和评分器）验证了这一现象，证明了高泄漏会预测不稳定性，且无论使用何种 AD 方法均如此。

5. 意义与主张

本文认为，类别划分基准不应被视为无条件异常检测能力的证据。相反，它们应被视为依赖于几何结构的压力测试。

拒绝“重新反转”（Re-inversion）： 作者反驳了“更好的”AD 方法可以通过简单的“重新反转”排名来修复低 AUROC 的观点。如果异常性的方向取决于未知的异常类型，那么一个在特定拆分上实现高 AUROC 的方法，实际上是在利用类别标签与几何结构之间特有的相关性，而非学习到类无关的异常概念。
对基准测试的解读： 泄漏指数充当了前提检查。低泄漏支持将 AUROC 解释为与正常混合分布的分离度。高泄漏结合高反转率或方向不稳定性率，则表明该基准测试探测的是重叠的几何结构，而非一致的语义异常。
建议： 作者建议，未来的类别划分基准在将其结果用于声称无条件 OOD 检测能力之前，应当报告泄漏和方向不稳定性诊断结果。