论文技术总结：任意依赖下多重检验程序的可预测功效分析

论文标题：Predictive Power Analysis of Multiple Test Procedures Under Arbitrary Dependence
作者：George Karabatsos (芝加哥大学)
日期：2026 年 3 月 10 日

1. 研究背景与问题 (Problem)

在自然科学、社会科学及生物统计学领域，多重假设检验（Multiple Hypothesis Testing）问题日益普遍。传统的多重检验程序（MTPs），如控制族系错误率（FWER）的 Bonferroni 和 Holm 方法，以及控制错误发现率（FDR）的 Benjamini & Yekutieli (BY) 方法，通常假设 p 值之间存在未知的任意依赖关系，而无需显式建模这些相关性。

然而，现有的多重检验功效分析（Power Analysis）方法存在以下主要局限性：

1. 条件性假设（Conditional Nature）：传统方法通常假设效应量（Effect Sizes）和检验统计量的相关矩阵（Correlation Matrix）是固定且已知的。这忽略了参数的不确定性，且在实际应用中，当检验数量 $m$ 很大时，很难准确指定这些固定参数。
2. 与 MTP 的不兼容性：许多 MTP（特别是控制任意依赖下 FWER/FDR 的方法）本质上考虑了所有可能的相关矩阵结构。传统的条件功效分析仅基于单一固定相关矩阵，无法与这类 MTP 的“先天性”（Congeniality）相匹配。
3. 缺乏预测性：现有方法难以直接用于规划未来的研究（如复制研究或中期分析），因为它们未对效应量和相关性进行先验分布建模以平均化不确定性。

核心问题：如何开发一种**预测性（Predictive）**的多重检验功效分析方法，能够在不假设 p 值独立、且无需预先指定固定效应量和相关矩阵的情况下，评估任意依赖结构下 MTP 的功效，并用于样本量确定和偏差评估？

2. 方法论 (Methodology)

作者提出了一种基于贝叶斯预测性分析的新方法，该方法通过模拟（Simulation-based）来评估 MTP 的功效。

2.1 核心统计模型

该方法基于一个联合先验分布，定义了检验统计量在备择假设下的分布：

• 检验统计量分布：采用 $m$ 维非中心 t 分布（Upper Non-central t-distribution），记为 $NT_m(\mu, \Sigma, \nu)$。这是一种正态均值 - 方差混合分布，能够处理非对称性和自由度参数。
• 联合先验分布：
  1. 位置向量 $\mu$（效应量比率）：假设 $\mu$ 服从 $m$ 维正态分布 $N_m(\hat{\theta}/\hat{\sigma}_{\hat{\theta}}, I_m)$。其中均值向量基于先验研究的估计效应量或专家判断，协方差矩阵为单位矩阵（允许在缺乏具体协方差信息时进行灵活建模）。
  2. 相关矩阵 $P$：假设 $m \times m$ 的相关矩阵 $P$ 服从 LKJ 分布（Lewandowski, Kurowicka, and Joe），参数 $\eta=1$。这是一个均匀先验，支持所有可能的正定相关矩阵，从而完全捕捉了相关结构的不确定性。
  3. 自由度 $\nu$：根据样本量设定。

2.2 算法流程 (Algorithm 1)

作者设计了一个模拟算法来计算预测边际功效（Predictive Marginal Powers）：

1. 输入：$m$ 个假设检验、效应量估计及其标准误、自由度、总 I 类错误率 $\alpha$、选用的 MTP 类型（Bonferroni, Holm, BY, 或 DP-MTP）。
2. 迭代 $S$ 次：
   • 从先验分布中抽取位置向量 $\mu^{(s)}$。
   • 从 LKJ 均匀先验中抽取相关矩阵 $P^{(s)}$（使用 Pourahmadi & Wang 算法高效采样）。
   • 基于 $\mu^{(s)}, P^{(s)}, \nu$ 生成 $m$ 维非中心 t 分布的随机向量 $t^{(s)}$。
   • 将 $t^{(s)}$ 转换为 p 值 $p^{(s)}$。
   • 应用选定的 MTP（如 Bonferroni, Holm, BY 或基于 Dirichlet 过程的 DP-MTP）判断哪些假设被拒绝。
3. 输出：
   • 预测边际功效：每个检验被拒绝的频率。
   • 平均/析取/合取功效：整体 MTP 的性能指标。
   • p 值权重：基于预测功效优化的权重，用于最小化显著性追逐偏差。
   • 显著性追逐偏差指数：使用 Hellinger 距离比较观测结果与预测分布，评估偏差。

2.3 涉及的 MTP 类型

该方法适用于以下控制任意依赖的 MTP：

• Bonferroni (B-MTP) 和 Holm (H-MTP)：控制 FWER。
• Benjamini & Yekutieli (BY-MTP)：控制 FDR。
• Dirichlet Process MTP (DP-MTP)：基于 Dirichlet 过程先验，支持整个 MTP 空间，能够量化选择 MTP 本身的不确定性。

3. 主要贡献 (Key Contributions)

1. 首创预测性 MTP 功效分析：这是第一篇提出针对任意依赖 p 值的多重检验程序进行预测性功效分析的文献。它不再假设效应量和相关矩阵是固定的，而是通过先验分布对其不确定性进行建模。
2. 解决任意依赖下的先天性问题：通过引入相关矩阵的均匀先验（LKJ $\eta=1$），该方法与那些旨在控制任意依赖下 FWER/FDR 的 MTP 在逻辑上是“先天性”（Congenial）的，避免了传统方法因假设固定相关矩阵而产生的偏差。
3. 偏差评估与权重优化：
   • 提出了基于预测功效的 p 值权重计算方法，可优化 MTP 功效并降低显著性追逐偏差（如发表偏倚、p-hacking）的影响。
   • 引入了基于 Hellinger 距离的“显著性追逐偏差指数”，用于量化单个 p 值结果的异常程度。
4. 高效算法实现：开发了基于随机模拟的高效算法，利用 R 语言包 bnpMTP 和 randcorr 实现，能够处理大规模模拟（如 5000 次迭代）。
5. 理论保证：证明了估计量的强收敛性（Strong Law of Large Numbers）及蒙特卡洛方差的上界，确保计算结果的可靠性。

4. 实证结果 (Results)

作者使用著名的 Needleman et al. (1979) 关于儿童铅暴露神经心理影响的研究数据进行了案例研究。该研究包含 41 个假设检验（11 个行为量表和 30 个 ANCOVA t 检验）。

• 数据设置：基于 41 个检验统计量作为效应量先验均值，设定 $\alpha=0.05$，进行 $S=5000$ 次模拟迭代。
• 功效比较：
  • 平均功效：DP-MTP (0.25), BY-MTP (0.26), Holm (0.22), Bonferroni (0.21)。DP-MTP 和 BY-MTP 表现出略高的平均功效。
  • 边际功效：DP-MTP 的边际功效与其他三种 MTP 非常接近（见图 1）。
  • 发现概率：DP-MTP 提供了每个 p 值的发现概率（PrSig），能够量化不确定性，而传统 MTP 仅给出二元（是/否）结论。
• 偏差评估：
  • DP-MTP 计算出的“显著性追逐偏差指数”（Hellinger Distance）普遍低于其他三种 MTP。这表明 DP-MTP 在考虑所有可能 MTP 空间的不确定性时，对偏差的评估更为稳健。
  • 某些高显著性的 p 值（如反应时间测试）在传统 MTP 中被标记为显著，但在 DP-MTP 的偏差评估中显示出较低的偏差指数，说明其结果更可信。
• 收敛性：在 5000 次迭代下，蒙特卡洛方差的上界仅为 0.00005，表明算法收敛速度极快。

5. 意义与结论 (Significance & Conclusion)

• 方法论革新：该研究将贝叶斯预测性分析引入多重检验领域，解决了传统条件功效分析在处理复杂依赖结构和参数不确定性时的不足。
• 实际应用价值：
  • 样本量规划：为未来的复制研究或中期分析提供了更可靠的样本量计算依据，不再依赖可能过时的固定效应量假设。
  • 偏差检测：提供了一种新的工具来识别和量化多重检验中的“显著性追逐”行为（如 p-hacking），有助于提高科学研究的透明度。
  • 权重优化：生成的 p 值权重可用于改进后续的多重检验分析，平衡功效与错误控制。
• 软件支持：相关方法已封装在 R 包 bnpMTP 中，便于研究人员直接使用。

总结：George Karabatsos 提出的这种方法通过引入联合先验分布（特别是相关矩阵的均匀先验），成功构建了一个能够处理任意依赖结构、量化参数不确定性并评估偏差的预测性多重检验功效分析框架。这不仅弥补了现有文献的空白，也为未来复杂数据环境下的统计推断提供了更稳健的工具。