📊 statistics

The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests

本文通过证明 Benjamini–Hochberg 程序在处理相关的双侧高斯检验时，无法将其错误发现率控制在标称水平上，从而推翻了一个长期存在的猜想，该结果通过区间算术进行了严格证明并由作者进行了验证。

原作者： Edgar Dobriban

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Edgar Dobriban

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图在一间充满诚实人的房间里抓捕一群骗子的侦探。你拥有一本特殊的规则手册（本杰明-霍奇伯格程序，Benjamini–Hochberg procedure），它会告诉你如何在不误伤过多无辜旁观者的情况下大喊“抓到了！”。几十年来，统计学家们一直认为这本规则手册是不可撼动的。他们认为，即使房间里的人在互相窃窃私语（相关数据），规则手册仍能将错误指控的数量严格控制在一定限度之下，比如 1% (0.01)。

但一篇在名为 GPT-5.6 Pro 的超级智能 AI 帮助下完成的新论文，刚刚揭穿了这一信念。

重大发现：规则手册存在漏洞
作者们展示了对于一种特定的棘手情况——即当这些“测试”是双侧高斯数（think of them as measurements that can wiggle up or down from zero，想象成可以上下摆动的测量值）时——规则手册实际上会失效。事实证明，当这些测量值以一种非常特定且狡猾的方式相关联时，规则手册会让错误指控率稍微超过限制。

虽然这个数字很小，但在严谨的数学世界里，它是巨大的裂痕。错误报警率并没有停留在安全的 1%，而是上升到了 0.0104。这只是一个微小的数字，但在严格的数学领域，这相当于在大坝上撕开了一个巨大的缺口。论文并不仅仅是在猜测，它构建了一个严密的“证书”（就像一份数学安全检查员的报告），证明了随着测试数量的增加，该比例必然高于 0.01。

“狡猾因子”模型
他们是如何找到这个漏洞的？他们构建了一个虚构的世界，一个“因子模型”，来测试这本规则手册。想象一个巨大的房间，里面有三组人：

诚实人群 (占房间的 96%)： 他们是真正的零假设（true nulls）。他们应该是清白的。
信号组 A (占房间的 1%)： 他们是“真实”的信号，朝着一个方向移动。
信号组 B (占房间的 3%)： 他们也是“真实”的信号，但朝着另一个方向移动。

这里的转折在于，房间里的每个人都在聆听一位隐形的指挥家（一个被称为 Z 的潜在因子）的指挥。

诚实人群随指挥家的动作而动。
信号组则逆着指挥家的动作而动，但速度不同。

当指挥家挥动手棒的方式特定时，信号会变得更响，使得规则手册频繁地大喊“抓到了！”。但与此同时，“诚实人群”也会变得有些焦躁不安，使得他们的行为边缘（tails）看起来极像那些信号。这造成了一场完美的风暴：规则手册产生了混乱，拒绝了过多的无辜者，导致错误发现率飙升，恰好突破了 1% 的界限。

他们有多确定？
这不仅仅是“也许”或“我们认为”。作者们对此非常有信心。

证明过程： 核心论证是由 AI 生成并由人类作者仔细检查的。他们使用了一种称为“区间算术”（interval arithmetic）的方法，这就像是在做数学时带有一个安全余量，确保即使考虑到舍入误差，答案也绝不会出错。他们证明了，对于足够多的测试，该比例严格大于 0.0104。
模拟实验： 为了支持这一点，他们运行了计算机实验（蒙特卡洛模拟）。当他们测试 200 组数据（总计 20,000 次测试）时，计算机测得的错误发现率为 0.010359。这在统计学上高于 1% 的限制，证实了他们在现实模拟中的理论。

这意味着什么（以及并不意味着什么）
这篇论文明确排除了“本杰明-霍奇伯格程序对所有相关的双侧高斯测试都是安全”的观点。二十年来，专家们一直认为它是安全的；而这篇论文说：“事实上，并非如此。”

然而，论文谨慎地指出，这并不代表规则手册毫无用处。这种违背是非常微小的（0.0104 对比 0.01），并且发生在测试数量庞大的特定构建场景中。作者承认，他们不知道这种情况是否也会发生在较少数量的测试中，也不确定是否存在一个通用的上限。他们也尚未在基因或股票等现实世界的数据上进行测试；他们构建的是一个数学模型来证明这一点。

因此，下次当你听到某种统计方法被“证明”在任何条件下都有效时，请记住这篇论文：有时候，最受信任的工具也有一个微小的、隐藏的裂缝，只有通过一位超级聪明的侦探（以及一点 AI 的帮助）才能将其发现。

技术摘要：Benjamini–Hochberg 程序无法在相关双侧高斯检验中控制错误发现率 (FDR)

问题陈述
本文探讨了多重假设检验中一个长期存在的开放性问题：在双侧高斯检验下，当存在任意相关结构时，Benjamini–Hochberg (BH) 程序是否能在其标称水平 $\alpha$ 下控制错误发现率 (FDR)。虽然 BH 程序已被证明在独立性（Benjmaini and Hochberg, 1995）以及满足正部分回归依赖 (PRDS) 条件（Benjamini and Yekutieli, 2001）的情况下能够控制 FDR，但对于相关双侧检验的情况仍未得到解决。

包括之前的实证研究（Reiner-Benaim, 2007; Kim and van de Wiel, 2008）以及具有影响力的综述（Benjamini, 2010; Sarkar, 2023）在内的文献，广泛推测双侧 $z$ -检验在任何相关结构下均能实现 FDR 控制。本文对这一推测提出了挑战，认为双侧检验中两端尾部的“折叠”（即 $\{P_i \le t\} = \{X_i \ge c_t\} \cup \{X_i \le -c_t\}$ ）破坏了适用于单侧统计量的单调回归和全正性论证，从而可能导致 FDR 膨胀。

方法论与构建
为了反驳该推测，作者构建了一个特定的高斯因子模型，包含 $m_N = 100N$ 个假设，并将其分为三个区块：

真实零假设区块 ( $96N$ )： $X^{(0)}_i = \frac{3}{10}Z + \frac{\sqrt{91}}{10}\epsilon_i$ 。
非零假设区块 1 ( $N$ )： $X^{(1)}_j = \frac{12}{5} - \frac{3}{10}Z + \frac{\sqrt{91}}{10}\eta_j$ 。
非零假设区块 2 ( $3N$ )： $X^{(2)}_k = \frac{22}{5} - \frac{18}{25}Z + \frac{\sqrt{301}}{25}\xi_k$ 。

此处， $Z$ 是一个共同的潜在因子，而 $\epsilon, \eta, \xi$ 是独立的标准正态分布。非零区块的均值经过调整，使其与潜在因子 $Z$ 的变化方向相反，而零假设区块则随 $Z$ 同向变化。这创造了一种场景：在特定的 $Z$ 实现值下，非零信号的增加会精确地提高 BH 阈值，而此时条件零分布的两个尾部恰好变得更厚。

证明过程依赖于对 $p$ 值经验累积分布函数 (CDF) 的渐近分析。作者采用了“阈值夹逼”（threshold bracketing）技术：

他们定义了给定 $Z=z$ 时 $p$ 值的极限条件 CDF $G_z(t)$ 。
他们确定了一个 $z$ 值范围，在该范围内，BH 阈值 $\tau_N$ 被严格限制在两个值 $v$ 和 $w$ 之间（其中 $v < w < \alpha$ ）。
在此范围内，可以证明条件错误发现比例 (FDP) 超过了 $\alpha$ 。

核心贡献与证明机制
本文的主要贡献是提供了一个严谨的反例，证明了在相关的双侧高斯检验中，FDR 控制失效。该证明的卓越之处在于两项创新：

避免极限唯一性问题： 该论证不需要唯一的极限交点或 CDF 在交点处的可微性。相反，它通过使用两个严格的正负号条件来夹逼阈值。
严谨的区间算术： 证明过程利用了一组通过“向外舍入区间算术”（使用 Arb 库）验证的有限不等式集。通过将潜在因子空间和 $p$ 值阈值空间划分为有理矩形，作者证明了特定的不等式严格成立。这消除了浮点误差，为 FDR 超过标称水平提供了数学证明。

该证明由 AI 模型 GPT-5.6 Pro 生成，随后由作者进行验证，作者同时也进行了数值模拟并撰写了手稿。

结果

理论结果： 对于所构建的模型，在 $\alpha = 0.01$ 的水平下，作者证明了对于所有足够大的 $N$ ，均满足 $\text{FDR}_N > 0.0104$ 。这严格违反了 0.01 的标称水平。
数值证明： 区间算术证书对 $Z$ 的 1,000 个分箱（bins）的贡献进行了求和，得出了约 $0.0104168$ 的认证下界。
蒙特卡洛实验： 作者进行了针对 $Z$ $Z$ 进行分层（以处理方差）的分层蒙特卡洛模拟，样本量 $N=50, 100, 200$ $N = 50, 100, 200$ 。
- 在 $N=200$ 时，估计的 FDR 为 $0.010359 $，其 95% 置信区间为$ [0.010155, 0.010563]$，该区间完全高于标称水平。
- 结果与渐近理论发现一致，表明在有限样本中同样存在控制失效的问题。

意义与主张
本文声称反驳了一个被广泛相信了二十年的推测。它表明，在双侧高斯检验中，当相关性导致信号强度与零分布尾部行为之间产生耦合时，BH 程序并非对任意相关结构都具有普遍的稳健性。

作者指出，这种违背是轻微的（相对于标称水平仅膨胀了约 4%），且发生在测试数量极大的模型中。他们明确表示，目前尚不清楚是否存在一个关于可能出现的 FDR 膨胀程度的普遍上界，或者在较小规模的测试中是否仍能保证控制。这项工作强调了 BH 程序在复杂的依赖环境下理论保证的局限性，并凸显了在这种场景下使用经依赖性调整后的替代方案的必要性。

技术摘要：Benjamini–Hochberg 程序无法在相关双侧高斯检验中控制错误发现率 (FDR)

类似论文