技术摘要：LOTTERY

问题陈述

本文研究了在样本量严重不对称条件下的数据自适应双样本检验挑战。在许多现实世界的监控场景中（例如数据集偏移检测、对抗检测、模型监控），从业者拥有大量的历史参考数据集（$X \sim P$），但只能接收到极少量的查询样本（$Y \sim Q$）来进行对比测试。

现有的基于学习的双样本检验通常依赖于训练-测试拆分范式，通过将表示学习与假设检验解耦来确保有效的第一类错误控制。然而，在查询集 $|Y|$ 极其微小的少样本（few-shot）设置下，拆分查询数据是有害的：

1. 学习不稳定性： 使用极小的 $Y$ 子集进行训练会导致特征提取器具有高方差和不稳定性。
2. 测试噪声： 将剩余的少量点分配用于测试会导致校准过程充满噪声且统计功效较低。
3. 瓶颈： 仅仅增加参考样本量并不能缓解查询点本质上的匮乏问题。

核心问题在于：如何在保留基于学习的检验的自适应性的同时，避免从稀缺的查询数据中进行学习？

方法论：LOTTERY

作者提出了 LOTTERY（基于仅限参考样本的样本不对称双样本检验学习），该框架将范式从“学习 $X$ 与 $Y$ 之间的差异”转变为“从 $X$ 中学习一组兼容性信号，并利用这些信号对 $Y$ 进行测试”。

1. 仅限参考的学习 (RDR)

LOTTERY 不对 $Y$ 进行拆分，而是仅从丰富的参考数据 $X$ 中学习参考依赖型表示（Reference-Dependent Representations, RDRs）。RDR 是一个在 $X$ 上训练的函数 $f: \mathcal{X} \to \mathbb{R}$，使得较大的 $f(y)$ 值表示与参考分布 $P$ 的兼容性较低。
该框架采用了一系列互补的 RDR 来捕捉 $P$ 的多样化结构特征：

• ME-RDR（均值嵌入）： 利用特征核（characteristic kernels）和测试位置来捕捉局部相似性模式。理论上保证对于任何 $P \neq Q$ 的备择假设都是一致的。
• Mahalanobis-RDR： 捕捉全局结构（均值和协方差偏移）。
• kNN-RDR： 通过最近邻距离捕捉局部尺度和支撑集几何结构。
• LOF-RDR： 捕捉局部相对密度异常。

2. 不确定性引导的聚合

由于没有任何单一的 RDR 在所有备择假设下都具有统一的效力，LOTTERY 聚合了来自整个家族的证据。为了在不使用查询数据的情况下优化这种聚合，作者引入了一种不确定性引导的权重方案：

• 稳定性： 通过对参考校准集进行重采样时 RDR 批次均值的方差来量化。不稳定的 RDR（高方差）会被降低权重。
• 敏感性： 通过 RDR 对参考数据微小且受控的扰动的响应来量化。
• 权重分配： RDR $f$ 的最终权重为 $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$，倾向于选择在零假设下既稳定又对偏差敏感的表示。
• 检验统计量： 最终统计量是平方标准化均值偏移的加权和：$T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$。

3. 池化置换检验 (Pooled Permutation Testing)

为了在不拆分查询数据的情况下确保有效的 Type I 错误控制，LOTTERY 使用了池化置换检验。

• 将持留的参考集 $X_{hold}$ 与查询批次 $Y$ 合并形成一个池化样本 $U$。
• 在零假设（$P=Q$）下，所有属于 $U$ 的点都是可交换的。
• 计算观测到的 $Y$ 的检验统计量，并将其与从 $U$ 中随机抽取的规模为 $|Y|$ 的子集所生成的分布进行比较。
• 这实现了在显著性水平 $\alpha$ 下的精确有限样本第一类错误控制。

核心贡献

1. 仅限参考的框架： 引入了一种处理少样本、规模不对称情形下双样本检验的新颖范式，消除了在稀缺查询数据上进行表示学习的需求。
2. 不确定性引导的聚合： 提出了一种机制，能够根据仅由参考数据导出的稳定性和敏感性，自适应地为多个参考依赖型表示分配权重。
3. 理论保证：
   • 第一类错误控制： 证明了池化置换程序在有限样本下能将第一类错误控制在水平 $\alpha$ 之内。
   • 一致性： 表明只要表示族中包含至少一个一致的表示（如 ME-RDR），检验功效就会随着样本量增加而趋向于 1。
4. 实验性能： 在合成数据和真实世界基准测试中展示了强大的性能，特别是在极端少样本设置下，优于基于核的方法和基于拆分的学习方法。

实验结果

作者在合成数据（BLOB）和真实数据集（Higgs Boson, CIFAR-10 对抗检测）上评估了 LOTTERY。

• 变化的参考规模 ($N$)： 在固定较小的查询规模下，与基准方法相比，LOTTERY 随着 $N$ 的增加表现出显著更快的功效增长。当 $N$ 足够大时（例如在 BLOB 上 $N \ge 300$），它优于所有方法。
• 变化的查询规模 ($M$)： 在极端少样本情形下（例如 $M=2$ 到 $M=10$），LOTTERY 取得了比基于核（MMD-FUSE, MMDAgg）和基于拆分的学习基准（MMD-Deep, RL-TST）高得多的功效，后者往往表现接近随机水平。
• 消融实验：
  • 去除不确定性引导的选择机制会导致功效持续下降，证实了降低不稳定 RDR 权重的价值。
  • 聚合多个 RDR 家族比单一 RDR 效果更好，证实了它们在不同类型分布偏移（全局均值、方差、局部密度）下的互补性。
• 第一类错误： 经验检查确认，在所有配置下，该检验都能将第一类错误维持在显著性水平 $\alpha = 0.05$ 附近。

重要性与主张

本文声称 LOTTERY 提供了一种原则性且有效的方法，用于处理极端类别不平衡下的双样本检验。其重要性在于：

• 解决少样本瓶颈： 它规避了拆分小规模查询批次带来的不稳定性，这是现有数据自适应检验的一个局限。
• 桥接单类分类与双样本检验： 它将单类分类（从单一分布中学习）的成功经验转化为一种严谨的双样本检验框架，并具有正式的 Type I 错误保证，这使其区别于通常缺乏 $\alpha$ 水平保证的标准异常检测。
• 实际应用价值： 它为对抗检测和模型监控等高风险应用提供了一种诊断工具，在查询数据稀缺但参考数据充足的情况下，能够实现更可靠的分布偏移和隐性失效检测。

作者强调，该方法在本质上是统计性质的，旨在作为更广泛流程中的一个诊断组件，而非针对个体的独立决策规则。