Nonparametric methods controlling the median of the false discovery proportion

这是一份关于 Jesse Hemerik 所著论文《控制错误发现比例中位数的非参数方法》（Nonparametric methods controlling the median of the false discovery proportion）的详细技术总结。

1. 研究背景与问题 (Problem)

在多重假设检验中，传统的场景通常假设大多数零假设（Null Hypotheses）为真。然而，在许多实际应用中（如食品安全评估、生物等效性试验、非劣效性检验），研究者先验地预期大多数参数位于特定的方向或区间内（即大多数备择假设为真）。

• 核心挑战：在这些场景下，研究者的目标是利用数据来证实“大多数假设为假”这一预期。传统的多重检验方法（如控制错误发现率 FDR 或家族错误率 FWER）在这种“信号强、假设为假比例高”的场景下，往往过于保守，导致统计功效（Power）不足。
• 现有方法的局限：
  • FDR 控制：控制的是错误发现比例（FDP）的均值。当 FDP 分布右偏时，均值可能较大，而中位数较小。
  • FDX 控制：控制 $P(FDP \le \gamma) \ge 1-\alpha$。当 $\alpha$ 较小（如 0.05）时，功效较低。
  • 现有 mFDP 方法：虽然已有控制 FDP 中位数（mFDP，即 $P(FDP \le \gamma) \ge 0.5$）的方法（如基于闭检验 Closed Testing 或置换检验的方法），但在处理大量假设为假的情况时，计算复杂度高或功效不如预期。

2. 方法论 (Methodology)

本文提出了一种基于检验统计量对称性的非参数（或半参数）多重检验框架。

2.1 核心假设：对称性 (Symmetry Assumption)

方法依赖于检验统计量 $T_j$ 的联合分布具有对称性。

• 假设 2：对于所有真实的零假设集合 $N$，向量 $(T_j - \mu_j : j \in N)$ 是非退化的，且满足 $(T_j - \mu_j) \stackrel{d}{=} (-(T_j - \mu_j))$。
• 这意味着在零假设下，统计量关于其均值对称。该假设在正态分布下成立，也适用于许多有限样本的非参数置换检验（如符号翻转、置换）。

2.2 中位数无偏的 FDP 估计 (Median Unbiased FDP Estimation)

论文首先提出了针对单侧检验（Section 4.1）和等价性检验（Section 4.2）的 FDP 估计量。

• 估计量定义：
  设 $R(t)$ 为在阈值 $t$ 下被拒绝的假设集合（即 $T_j > \delta_j + t$ 或 $|T_j| < \delta_j - t$）。
  定义“反向”集合 $R^-(t)$ 为统计量落在相反方向的集合（即 $T_j < \delta_j - t$ 或 $|T_j| > \delta_j + t$）。
  错误发现数 $V(t)$ 的估计量为：
  $$\tilde{V}(t) = R(t) \wedge R^-(t)$$
  其中 $\wedge$ 表示取最小值。
• 性质：在假设 2 下，$\tilde{V}(t)$ 是 $V(t)$ 的中位数无偏估计量，即 $P(V(t) \le \tilde{V}(t)) \ge 0.5$。这意味着 $\tilde{FDP}(t) = \tilde{V}(t) / (R(t) \vee 1)$ 是 FDP 的 50% 置信上界。
• 与 SAM 的关系：该方法在概念上类似于 Significance Analysis of Microarrays (SAM)，但 SAM 通常使用大量置换来估计，而本文方法利用对称性直接计算，计算效率更高（线性时间复杂度）。

2.3 控制 mFDP 的算法 (mFDP Control Procedure)

基于上述估计量，论文提出了控制 mFDP 的算法（Section 5.1）：

1. 目标：找到一个拒绝阈值 $s^+$，使得 $P(FDP(s^+) \le \gamma) \ge 0.5$。
2. 步骤：
   • 定义 $\tilde{FDP}(t)$ 为阈值 $t$ 的函数。
   • 找到最大的 $s$，使得 $\tilde{FDP}(s) > \gamma$。
   • 取 $s^+$ 为 $s$ 右侧的下一个断点（即满足 $\tilde{FDP}(s^+) \le \gamma$ 的最小阈值）。
   • 拒绝所有统计量满足 $T_j > \delta_j + s^+$（单侧）或 $|T_j| < \delta_j - s^+$（等价）的假设。
3. 理论保证：
   • 定理 5.1：在所有假设均为真，或真实假设与虚假假设的统计量相互独立的情况下，该方法严格保证 $P(\forall t \ge s^+, FDP(t) \le \gamma) \ge 0.5$。
   • 定理 5.2：在渐近条件下（样本量 $n \to \infty$），即使不满足独立性假设，该方法也能渐近地控制 mFDP。

2.4 灵活性方法 (Flexible Control)

论文还讨论了基于 Hemerik et al. (2024) 的另一种方法（Section 5.2），允许在观察数据后选择 $\gamma$，但代价是统计功效略低于上述新方法。

3. 主要贡献 (Key Contributions)

1. 针对特定场景的优化：专门针对“大多数假设为假”（如非劣效性、等价性检验）的场景，提出了比现有 FDR 和 FDX 方法功效更高的 mFDP 控制方法。
2. 非参数与计算效率：
   • 方法不依赖参数分布假设，仅利用统计量的对称性。
   • 计算复杂度：排序后为 $O(m)$ 线性时间，远快于基于闭检验（Closed Testing）的 SAM+CT 方法（通常是指数级 $O(2^m)$ 或高次多项式），使得处理大规模数据（如 $m > 100$）成为可能。
3. 理论创新：
   • 证明了基于对称性的估计量 $\tilde{V}$ 是可容许的（Admissible），即无法被其他中位数无偏估计量一致地改进。
   • 建立了新的证明技术，不依赖传统的闭检验框架，而是直接利用对称性推导 mFDP 控制的有效性。
4. 软件实现：提供了 R 包 mFDP，实现了上述所有方法。

4. 实验结果 (Results)

论文通过模拟研究和真实数据分析验证了方法的有效性：

• 模拟研究 (Section 6.1 & 6.2)：

  • FDP 估计：在大多数假设为假（$\pi_0$ 较小，如 0.1）且存在相关性时，本文提出的估计量 $\tilde{FDP}$ 平均估计值显著低于 SAM 和 SAM+CT，意味着更少的保守性。
  • 统计功效：在控制 mFDP 水平 $\gamma=0.1$ 时，本文方法（Method 1）的统计功效（Power）普遍高于：
    • Benjamini-Hochberg (BH) 方法（控制均值 FDR）。
    • Romano-Wolf 步降法（控制 FDX）。
    • Hemerik et al. (2024) 的灵活控制方法。
  • 特别是在效应量较大且假设为假比例高的情况下，优势最为明显。

• 真实数据分析 (Section 6.3)：

  • 数据集：美国爱荷华州 Ames 市的房产销售数据（2006-2010）。
  • 任务：检验房价回归模型中 31 个定量变量的系数是否大于 -0.1（即非负向强影响）。
  • 结果：
    • 在完整样本（$n=2930$）下，本文方法拒绝了 30/31 个假设，而 BH 方法拒绝了 29/31。
    • 在小样本（$n=100$）下，本文方法拒绝了 27/31 个假设，而 BH 方法仅拒绝了 16/31 个，Bonferroni 仅拒绝了 7/31 个。
  • 结论：本文方法在样本量较小或信号较弱时，能更有效地识别出显著的非零系数，同时保持对 FDP 中位数的控制。

5. 意义与影响 (Significance)

• 填补了方法论空白：为“大多数假设为假”的多重检验场景提供了一种强有力的非参数解决方案。传统的 FDR 控制在此类场景下往往过于保守，而本文提出的 mFDP 控制利用了对称性，实现了更高的发现能力。
• 实际应用的广泛性：不仅适用于食品安全（如转基因作物评估）、生物等效性试验，还适用于任何涉及大量参数且预期参数落在特定区间或方向的领域（如基因组学、经济学回归分析）。
• 平衡了严谨性与功效：通过控制 FDP 的中位数而非均值，该方法在保持统计严谨性（50% 置信度保证）的同时，显著提升了在强信号场景下的检出率。
• 计算可行性：将复杂的非参数多重检验从计算不可行（针对大规模 $m$）转变为高效可行，促进了其在大数据环境下的应用。

总结：该论文提出了一种利用统计量对称性来估计和控制错误发现比例中位数的创新非参数方法。该方法在大多数假设为假的场景下，相比现有的 FDR 和 FDX 控制方法，具有显著更高的统计功效和计算效率，为食品安全、生物统计等领域的多重假设检验提供了更优的工具。