Directional replicability: when can the factor of two be omitted

技术摘要：方向性可重复性：何时可以省略系数 2

问题陈述
本文探讨了在 $n$ 个独立研究中评估**方向性可重复性（directional replicability）*的统计挑战。与仅要求效应在至少 $r$ 个研究中存在的标准可重复性不同，方向性可重复性要求至少有 $r$ 个研究表现出相同*符号的效应（全部为正或全部为负）。

形式上，令 $\theta = (\theta_1, \dots, \theta_n)$ 为真实效应量向量。作者定义 $n_+$ 为正效应的数量，$n_-$ 为负效应的数量。目标是检验零假设 $H_{r/n}: n_+ < r \land n_- < r$。拒绝该假设可以让我们得出结论：存在至少 $r$ 个具有相同符号的效应（即 $n_+ \ge r \lor n_- \ge r$）。

遵循 Owen (2009) 的标准方法，将 $H_{r/n}$ 视为两个单侧假设的交集：$H^+_{r/n}: n_+ < r$ 和 $H^-_{r/n}: n_- < r$。为了控制族错误率（family-wise error rate），标准程序会结合这两个单侧检验的 $p$ 值，并将其中较小的一个乘以 2（即 $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$），以解释方向性的多重检验问题。本研究的核心问题在于，这种乘法修正系数 2 是否始终是必要的。

方法论
作者假设效应量为独立的正态估计量 $T_i \sim N(\theta_i, 1)$。他们利用 **Bonferroni 部分结合（Bonferroni partial conjunction）**方法来构建单侧假设的 $p$ 值。

• 对于正方向（$H^+_{r/n}$），$p$ 值为 $p^+_{r/n} = (n-r+1)p_{(r)}$，其中 $p_{(r)}$ 是单个研究中第 $r$ 小的 $p$ 值。
• 对于负方向（$H^-_{r/n}$），$p$ 值为 $p^-_{r/n} = (n-r+1)q_{(r)}$，其中 $q_{(r)}$ 对应于负方向的第 $r$ 小的 $p$ 值。

本文研究了在特定条件下，使用未修正统计量 $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ 作为 $H_{r/n}$ 的有效 $p$ 值的有效性。

主要贡献与结果

1. 省略系数 2 的充分条件（定理 1）：
   其主要的理论贡献是定理 1，该定理确定了当 $r$ 相对于 $n$ 足够大时，系数 2 是不必要的。具体而言，如果 $(n+1)/2 < r \le n$，则 $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ 是 $H_{r/n}$ 在显著性水平 $\alpha$ 下的有效 $p$ 值。

   • 机制： 证明表明，在 $r > (n+1)/2$ 的条件下，导致正向和负向 Type I 错误的事件是互斥（disjoint）的。因此，在最坏情况的参数配置下，拒绝零假设的概率不会超过 $\alpha$，而无需进行倍增修正。

2. 小 $r$ 值时修正的必要性（第 3 节）：
   作者通过一个反例表明，对于较小的 $r$ 值（具体为 $2 \le r \le (n+1)/2$），未修正的统计量会导致 Type I 错误率超过 $\alpha$。

   • 在这种情形下，可能存在一种“不一致”的参数配置，即同时存在 $r-1$ 个强正效应和 $r-1$ 个强负效应。在这种情况下，导致两个方向拒绝的原假设的事件并非互斥，如果省略系数 2，则 Type I 错误的概率会超过标称水平。
   • 数值模拟（图 1）说明，对于 $n=20$ 且 $\alpha=0.1$，当 $r \in \{2, \dots, 7\}$ 时，Type I 错误超过 $\alpha$，但即使未满足定理 1 中的严格条件 $r > (n+1)/2$（即 $r > 10.5$），当 $r \in \{8, 9, 10\}$ 时，错误率仍得到控制。这表明定理 1 中的条件是充分而非必要的。

3. $r$ 的数据自适应选择：
   论文概述了一种针对 $r$ 未预先指定的场景的顺序检验程序。通过从 $k = \lceil(n+2)/2\rceil$ 开始测试嵌套假设 $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$，可以推导出具有相同符号的最大效应数量的 $(1-\alpha)$ 置信下界。

4. 对其他结合函数的扩展：
   作者指出，虽然证明依赖于 Bonferroni 方法，但该结果很可能推广到其他假设独立性的结合函数，如 Šidák 修正、Simes 方法和 Fisher 结合函数，尽管这需要未来的验证。

意义与主张
本文声称其精炼了方向性可重复性分析的最前沿方法论。通过确定条件 $(n+1)/2 < r \le n$，作者证明了在所要求的重复效应数量（$r$）占总研究数（$n$）多数的情况下，研究人员可以安全地省略保守的“系数 2”修正。这种省略在不增加 Type I 错误率的前提下提高了统计功效。

本研究还解决了 Type III 错误（推断出错误的符号）问题。作者断言，定理 1 中的程序控制了 Type III 错误，允许进行有效的事后符号推断（如果 $p^+_{r/n} < p^-_{r/n}$ 则为正，否则为负）。

最后，论文承认虽然其关注的是单个假设，但许多应用涉及多个特征。作者建议可以将所提逻辑与现有的过滤方法（如 Wang et al., 2022）相结合，但关于在针对多个特征的多重检验背景下是否可以移除系数 2 的问题，仍留作未来研究的开放课题。