Finite-sample nonparametric mean tests: Leave-one-out duality and asymptotic optimality

技术摘要：有限样本非参数均值检验：留一法对偶性与渐近最优性

问题陈述
本文研究了针对非负随机变量均值的有限样本有效假设检验问题。具体而言，给定来自未知分布（定义在 $\mathbb{R}_+$ 上）的 i.i.d. 观测值 $X_1, \dots, X_n$，目标是检验单侧假设：
$$H_0: \mu \le 1 \quad \text{versus} \quad H_1: \mu > 1.$$
由于 Bahadur 和 Savage [1956] 指出，对于所有具有有限均值的分布类，任何一致水平为 $\alpha$ 的检验在任何备择假设下的功效最多仅为 $\alpha$，因此针对均值的标准非参数推断在没有分布限制的情况下通常是无法实现的。这种不可行性源于均值的非稳健性：在不利方向上的微小概率质量可以剧烈改变均值，但对有限样本统计量的影响却微乎其微。

作者将问题限制在非负随机变量（$X_i \ge 0$）的情形下。虽然这允许构建有效的检验，但现有工具仍然有限。标准的置换检验和秩检验无法直接应用。正态近似和 Bootstrap 方法仅提供渐近有效性。基于集中不等式的统计方法（如 Hoeffding、Bernstein）通常需要已知的有界支撑集、方差控制或更强的矩假设，而这些在具有重尾或高度偏态的非负数据（例如保险损失、每客户收入）的场景中往往难以获得。

方法论：留一法对偶证书框架
其核心方法论贡献是一个“留一法对偶证书”（leave-one-out dual certificate）框架。作者定义了一个留一法虚无类 $\mathcal{P}^n_{loo}$，该类包含满足条件均值满足 $E_P[X_i | X_{-i}] \le 1$ 几乎处处成立的分布。这个类比标准的 i.i.d. 虚无类更广，但允许进行严谨的对偶论证。

为了证明统计量 $T: \mathbb{R}^n_+ \to [0, 1]$ 是一个有效的 p 值（即对于所有 $P \in \mathcal{P}^n_{loo}$，满足 $P(T(X) \le \alpha) \le \alpha$），作者针对可行分布类提出了一个优化问题。他们利用了该问题的拉格朗日对偶。通过引入非负拉格朗日乘子 $\lambda^{(i)}_\alpha$，他们导出了一个逐点不等式条件（记作 cert）：
$$\alpha + \sum_{i=1}^n \lambda^{(i)}_\alpha(x_{-i})(x_i - 1) \ge \mathbb{1}\{T(x) \le \alpha\} \quad \forall x \in \mathbb{R}^n_+.$$
如果存在这样的非负函数 $\lambda^{(i)}_\alpha$，弱对偶性保证了 $T$ 是一个有效的 p 值。这种方法将对分布的无限维优化简化为寻找满足逐点不等式的函数。

该框架的一个关键扩展是“对偶切换”（dual switching）原理（定理 5.1）。如果两个 p 值 $S$ 和 $T$ 具有特定的单调性和排序属性的对偶证书，那么它们的逐点最小值 $\min\{S, T\}$ 也是一个有效的 p 值。这使得结合不同的检验策略以在不牺牲有效性的前提下提高功效成为可能。

主要贡献与结果

1. 验证非参数似然比检验 ($T_{nplr}$):
   本文为 Wang 和 Zhao [2003] 提出的统计量 $T_{nplr}$ 的有限样本有效性提供了严谨证明。该统计量通过非参数似然比定义：
   $$T_{nplr}(x) = \min_{t \in [0,1]} \prod_{i=1}^n (1 - t + t x_i)^{-1}.$$
   虽然 Wang 和 Zhao 对其有效性提出了猜想，且 Ming 等人 [2026] 通过另一种表示法验证了它，但本文利用对偶证书框架在留一法虚无类下确立了其有效性。

2. 广义二项分布 P 值 ($T_{bin+}$):
   作者引入了一种新的统计量 $T_{bin+}$，它将 Clopper-Pearson 精确二项检验扩展到了一般的非负随机变量。它是通过考虑观测值取值为 $\{0, x_{max}\}$ 的“最坏情况”场景来构建的。该统计量定义为：
   $$T_{bin+}(x) = \frac{\int_{-1/(x_{max}-1)}^0 \prod_{i \ne j} (1 + s(x_i - 1)) ds}{\int_{-1/(x_{max}-1)}^1 \prod_{i \ne j} (1 + s(x_i - 1)) ds},$$
   其中 $j$ 是使得 $x_j = x_{max}$ 的索引。论文证明了 $T_{bin+}$ 是 $\mathcal{P}^n_{loo}$ 下有效的 p 值，并提供了一个涉及乘积函数积分的高效表示形式。

3. 组合统计量:
   利用对偶切换原理，作者表明逐点最小值 $\min\{T_{nplr}, T_{bin+}\}$ 是一个有效的 p 值。这种组合统计量比其单一组成部分更具功效，因为 $T_{nplr}$ 对分布在多个观测值中的证据更为敏感，而 $T_{bin+}$ 则对集中在少数大离群值中的证据更为敏感。

4. 渐近最优性:
   论文在两种 i.i.d. 虚无类 $\mathcal{P}^n_{iid}$ 的情形下建立了尖锐的最优性结果：

   • 零-一可检测性（Zero-One Detectability）： 在没有任何矩假设的完全非参数情形下，平方 Hellinger 距离 $H^2(Q_n, \mathcal{P}_0)$ 决定了可检测性。如果 $n H^2 \to \infty$，检验 $T_{nplr}$、$T_{bin+}$ 及其最小值均实现渐近功效 1。如果 $n H^2 \to 0$，则没有任何检验能实现大于 $\alpha$ 的功效。
   • 局部渐近功效： 在以 $n^{-1/2}$ 速率趋向于虚无类的正则局部备择假设下，最优非参数功效与高斯均值偏移实验的功效一致。论文证明了 $T_{bin+}$ 和 $\min\{T_{nplr}, T_{bin+}\}$ 达到了这一最优功效。相比之下，$T_{nplr}$ 被证明是严格保守的，未能达到最优的局部渐近功效。

意义与主张
本文声称解决了在广泛的留一法虚无类下，非参数似然比统计量 $T_{nplr}$ 的有限样本有效性的开放性问题。它引入了一种新的统计量 $T_{bin+}$，通过将精确二项方法扩展到无界支撑集，填补了非负数据非参数检验领域的空白。

这项工作的意义在于：

• 理论严谨性： 提供了一个统一的对偶框架，无需依赖于通常在浓度不等式中常见、但在实际中往往不切实际的有界支撑集或方差假设，即可证明有效性。
• 最优性： 证明了虽然 $T_{nplr}$ 是有效的，但在局部渐近情形下是次优的，而 $T_{bin+}$ 达到了非参数功效下界。
• 实际效用： 这些统计量的结合产生了一种既具有有限样本有效性又具有渐近最优性的方法，在数值实验中展现出比现有方法（如 CDF 带方法、基于投注的方法以及经验 Bernstein 界）更高的功效增益。

作者强调，其结果是针对非负随机变量和留一法虚无类结构的，这将其与处理更广泛序列虚无类的顺序投注方法（如 Waudby-Smith 和 Ramdas [2024]）区分开来，后者在 i.i.d. 假设下可能无法提供相同的有限样本功效特性。