技术摘要：Medix —— 通过鲁棒梯度统计实现无标签野外数据的分布外检测

问题陈述

在现实世界环境中部署机器学习模型，会使其暴露在分布外（Out-of-Distribution, OOD）输入之下——即模型在训练过程中未曾识别的未知类别数据。虽然神经网络本质上容易受到此类输入的攻击，但在推理阶段检测它们具有挑战性，因为模型在训练期间并未接触过这些未知分布。

近期的研究尝试利用“野外”（in-the-wild）无标签数据来改进 OOD 检测。然而，一个显著的障碍仍然存在：野外数据是分布内（In-Distribution, InD）样本与 OOD 样本的复杂混合体。不同于那些假设可以获取纯净辅助 OOD 数据集的方法（例如离群值暴露法 Outlier Exposure），现实世界的野外数据缺乏明确的标签。由于缺乏纯净的 OOD 样本集，这使得训练最优 OOD 分类器变得复杂，因为模型必须在没有显式监督的情况下，从一个受污染的分布中区分 InD 样本和 OOD 样本。

方法论：Medix 框架

作者提出了 Medix，这是一个旨在利用逐元素中位数（element-wise median, EWM）鲁棒梯度统计从无标签野外数据中识别潜在离群值的创新框架。该框架主要分为两个阶段运行：

1. 离群值提取（过滤）

Medix 的核心创新在于其能够在无需预知标签的情况下，从混合的野外数据集（$S_{wild}$）中过滤出候选 OOD 样本。

• 参考梯度估计： 首先，仅在有标签的 InD 数据（$S_{in}$）上训练一个 InD 分类器（$f_\phi$）。计算损失函数相对于模型参数的平均梯度（$\bar{\nabla}_{in}$）。该梯度作为参考梯度。
• 基于 EWM 的鲁棒过滤： 该方法假设，野外数据中 OOD 样本的存在会导致其梯度的中心趋势与 InD 平均梯度之间产生偏差。为了鲁棒地识别这种中心趋势，Medix 采用了梯度的逐元素中位数而非平均值。选择中位数是因为其对噪声和离群值具有稳定性。
• 迭代贪婪移除： 该框架将一个优化问题形式化为：寻找一个子集，使该子集的 EWM 与参考梯度 $\bar{\nabla}_{in}$ 之间的距离最小化。由于精确求解该问题在计算上是难以实现的，Medix 使用了一种贪婪的、迭代的“留一法”（Algorithm 1）：
  1. 计算当前野外集合的 EWM。
  2. 识别出移除后能使新的 EWM 与 $\bar{\nabla}_{in}$ 之间的 L2 距离下降最大的样本。
  3. 将前 $k$ 个此类样本作为候选离群值移除。
  4. 重复此过程，直到距离的下降幅度低于阈值 $\epsilon$。
• 结果： 这一过程分离出了一组候选离群值（$\hat{S}_{out}$），并保留了一组更纯净的类 InD 样本。

2. 检测器训练

一旦提取出候选离群值，框架便会训练一个二元 OOD 检测器（$g_\theta$）。

• 该检测器使用原始的有标签 InD 数据（$S_{in}$）作为正样本，以及提取出的候选离群值（$\hat{S}_{out}$）作为负样本进行训练。
• 其目标是最大化这两组数据之间的可分性，从而强制建立一个决策边界：使 InD 样本产生正向输出，而离群值产生负向输出。

理论分析

论文在 Huber 污染模型下为过滤阶段提供了正式的理论保证，在该模型中，野外数据被视为 InD 分布与 OOD 分布以污染比例 $\pi$ 进行混合的结果。

• 内点误分类界限（Inlier Misclassification Bound）： 作者推导了将真实的 InD 样本错误地丢弃为离群值的比例的上界。该界限取决于污染比例和 InD 梯度的集中度（假设为亚高斯分布）。
• 外点误分类界限（Outlier Misclassification Bound）： 相反，他们也限制了将真实的 OOD 样本错误地保留为 InD 的比例。该界限依赖于平均 OOD 梯度与参考 InD 梯度之间的分离度，以及 OOD 梯度的亚高斯特性。
• 核心洞察： 分析表明，即使 OOD 样本在混合物中占据显著比例（高达 50%），只要分布足够分离，基于中位数的过滤仍能实现鲁棒的分离。

实验结果

Medix 在 11 对 InD-OOD 数据集对上进行了评估，主要使用 CIFAR-10 和 CIFAR-100 作为 InD 数据集，并使用各种数据集（SVHN, PLACES365, LSUN, TEXTURES）作为 OOD 源。该方法与 20 种具有竞争力的基准方法进行了对比，包括：

• 仅限 InD 的方法： MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+。
• 野外数据方法： Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL。

主要发现：

• 卓越性能： Medix 在所有基准测试中均表现优异。在 CIFAR-100 上，与强基准 KNN+ 相比，它将 95% 真阳性率下的平均假阳性率（FPR95）降低了 40.98%；与之前的最先进野外数据方法 WOODS 相比，降低了 1.32%。
• 对污染的鲁棒性： 即使野外数据包含 50% 的 OOD 混合物，该方法仍能保持高性能。
• 可扩展性： 在更大规模架构（ResNet-50）和大规模数据集（ImageNet-1k）上的实验证实，基于 L2 的过滤信号在高维梯度空间中依然保持鲁棒。
• 消融实验： 作者证明，性能的提升专门源于中位数过滤的精确性，而非仅仅是两阶段流水线本身。若将中位数过滤器替换为朴素的最大 Softmax 概率（MSP）过滤器，性能会出现显著崩塌。

意义与主张

论文声称 Medix 解决了 OOD 检测中的一个关键空白：即利用无标签、混合的“野外”数据，而无需干净的辅助 OOD 数据集或强分布假设的能力。

• 新颖机制： 通过利用逐元素中位数的鲁棒性，Medix 提供了一种有理论依据的机制，用于从混合数据中过滤离群值，而此前由于缺乏明确的 OOD 标签，这项任务一直被认为非常困难。
• 理论基础： 该工作为内点和外点误分类建立了可证明的误差界限，为“野外”场景提供了正式的理论基础，而此前该领域缺乏此类理论基础。
• 实际影响： 该方法为模型在动态环境（数据分布未知）中运行提供了更大的灵活性。实验结果表明，Medix 可以通过有效地利用现有的无标签数据，显著增强机器学习系统的安全性和可靠性。

作者总结道，Medix 代表了开放世界学习迈出的重要一步，证明了鲁棒的梯度统计可以有效地将无标签的野外数据转化为用于 OOD 检测的有用监督信号。