📊 statistics

Critical Values Robust to P-hacking

本文提出了一种纳入了 p 值操纵（p-hacking）的假设检验模型，旨在推导出更大的、“稳健的”临界值——该值通过医学科学数据进行校准，使其等效于在五分之一显著性水平下的经典值——从而确保即使在研究人员根据新标准调整其行为时，显著结果仍能以预期的频率出现。

原作者： Adam McCloskey, Pascal Michaillat

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adam McCloskey, Pascal Michaillat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探。在科学的世界里，这种“谜题”通常是一个问题，比如：“这种新药真的有效吗？”或者“这枚硬币是公平的吗？”为了解决它，科学家们使用一种特殊的工具，叫做假设检验。把这个测试想象成一个非常严厉的法官。法官开始时假设嫌疑人是无辜的（这被称为“虚无假设”）。只有当证据极其充分，以至于纯粹靠运气发生这种情况的可能性低于 5% 时，法官才会宣布嫌疑人有罪（拒绝虚无假设）。这 5% 的限制被称为显著性水平，而证据必须超越以被视为“有罪”的具体数值被称为临界值。

但问题在于，现实生活并不总是像法庭那样井然有序。科学家们和任何人一样，都想要赢。他们希望自己的研究成果能被发表，职业生涯能飞黄腾达，或者理论能名扬天下。这产生了一种巨大的诱惑去“作弊”一点点，不是通过撒谎，而是通过一次又一次地尝试，直到得到他们想要的结果。这被称为 p-hacking。这就像是你一遍又一遍地掷骰子，直到终于掷出了一个六，然后你只告诉你的朋友那个六，而隐瞒了所有的 1、2 和 3。如果每个人都这样做，那么“无辜”的嫌疑人就会被定罪得过于频繁，整个科学的司法系统也会随之崩溃。这就是为什么会出现“重复性危机”：许多著名的科学发现最终被证明是错误的，因为最初的科学家们不断地掷骰子，直到他们碰巧走运。

亚当·麦克洛斯基（Adam McCloskey）和帕斯卡尔·米凯拉特（Pascal Michaillat）的这篇论文正面应对了这个作弊问题。他们并没有试图阻止科学家掷骰子；他们知道只要奖励足够高，科学家就会继续尝试。相反，他们建立了一个数学模型，旨在弄清楚如何改变游戏规则，使得即使科学家们继续掷骰子，那些“无辜”的嫌犯依然能受到保护。他们发现，现有的规则太容易被攻破了。为了修复这个问题，他们提出了一个新的、更严格的“临界值”，其作用是作为一个更高的门槛，让证据必须跨越。

以下是他们的解决方案是如何运作的，我们用一个有趣的类比来解释。想象一下，科学家是一名试图通关视频游戏的玩家。“关卡”就是找到一个显著的结果。在旧系统中，游戏的难度设置很低。如果科学家第一次失败了，他们可以像点击“重试”一样，想试多少次就试多少次，直到获胜。因为他们可以不断尝试，所以他们几乎每次都能赢，即使这个游戏原本在概率上应该是无法战胜的。

作者们提出了一个新规则：让游戏变得更难。 但不仅仅是稍微难一点。他们意识到，如果你让游戏变难，科学家就会为了获胜而玩得更多次。因此，你必须把游戏变得如此之难，以至于即使科学家进行了所有的额外尝试，他们也只能在正确次数的情况下获胜（如果目标是 5% 的话）。

为了确定应该把游戏设定得有多难，作者们参考了来自医学研究的真实世界数据。他们发现，大约 20% 的研究在完成之前就停止了，原因是科学家耗尽了资金、时间或精力。这意味着有 80% 的概率科学家可以完成单次实验。利用这个数字，他们计算出，为了阻止作弊，必须大幅提高游戏的“难度”。

他们的主要发现是一个简单而强大的经验法则：要解决 p-hacking 问题，你需要表现得好像你的显著性水平比实际情况小了五倍。

如果一名科学家想要声称一个结果在标准的 5% 水平上是显著的，他们不应该使用通常的临界值（对于双侧检验是 1.96）。相反，他们应该使用对应于 1% 水平的临界值（即 2.58）。

为什么这行得通？作者展示了，当你把门槛提高到 2.58 时，科学家确实会尝试更多次。他们会进行更多的实验，剔除更多的数据点，并修改更多的模型，以拼命尝试跨越那条更高的线。但由于这条线如此之高，即使经过这些额外的努力，他们也只会因为纯粹的运气而在 5% 的情况下成功跨越。虽然“作弊”仍在发生，但它不再破坏系统。

论文明确排除了这样一种观点，即我们可以仅仅通过告诉科学家“不要作弊”或者通过简单统计他们尝试了多少次来解决问题。作者认为，科学家总会根据我们设定的任何规则来调整自己的行为。如果我们设定一个规则说“你只能尝试三次”，科学家就会找到尝试四次的方法。唯一的保证方法是设定一个能够考虑到科学家会不断尝试直到资源耗尽的临界值。

作者对他们的数学推导非常有信心。他们并非凭空猜测；他们利用概率论和“最优停止”（一种关于“何时退出游戏”的高级说法）建立了一个严密的模型。他们用不同的场景测试了他们的想法，比如增加实验成本或让后期的实验更难完成，而他们的解决方案依然成立。他们还将发现与其他研究人员提出的一个流行建议（即简单地将显著性水平降低到 0.5%）进行了比较。作者认为，虽然降低水平是个好主意，但他们的模型展示了究竟应该根据科学家拥有的资源多少来降低到什么程度。

最后，这篇论文为科学提供了一面实用的盾牌。它建议，如果我们想要重新信任我们的科学研究结果，我们需要停止使用那些旧的、容易被攻破的数字。我们需要采用这些“稳健的临界值”。对于标准的双侧检验，这意味着将目标从 1.96 移动到 2.58。这确实是一个更高的门槛，也意味着每天宣布的“突破”会变少。但代价是，我们所宣布的突破将是真的，而那些“无辜”的虚无假设也将不再受纯粹运气带来的随机性影响。

技术摘要：对 P-hacking 具有鲁棒性的临界值

问题陈述
P-hacking（即通过采取各种行为来增加报告统计显著结果可能性的做法）在科学研究中十分普遍，但在经典假设检验理论中并不存在。因此，在经典临界值下，真零假设被拒绝的频率高于名义显著性水平 ( $\alpha$ )。这是因为科学家面临着强烈的动机（发表论文、职业晋升）去寻找显著性，并且拥有足够的灵活性在不违反规范的情况下进行数据收集和分析。针对多重检验的经典修正（如 Bonferroni 修正）无法解决这一问题，因为它们将实验次数视为固定值。实际上，科学家会根据新标准调整其行为；如果某种修正使得获得显著性变得更加困难，科学家就会简单地进行更多实验，直到找到显著结果，从而使修正失效。

方法论
作者开发了一个显式结合了使用最优停止理论（optimal stopping theory）进行 p-hacking 行为的假设检验结构模型。

科学家的环境： 科学家测试一个零假设 ( $H_0$ ) 对抗一个备择假设 ( $H_1$ )。科学家对于显著结果获得高回报 ( $v_s$ )，对于不显著结果获得较低回报 ( $v_i$ )。
资源约束： 进行实验会消耗有限的资源（时间、金钱、精力）。总资源限制 $L$ 服从指数分布。每次实验的成本是随机的。科学家在资源耗尽（索引为 $K$ ）或发现显著结果时停止。
P-hacking 策略： 科学家进行顺序实验 ( $n=1, 2, \dots$ )。如果结果不显著且仍有剩余资源，科学家则进行下一次实验。如果结果显著，科学家停止并报告它。如果资源在达到显著性之前耗尽，科学家则报告迄今为止获得的最佳（最大）统计量，该统计量必然是不显著的。
完成概率 ( $\gamma$ )： 模型将 $\gamma$ 定义为第一次实验在资源耗尽前完成的概率。该参数捕捉了开展研究的难易程度以及资源约束的普遍程度。
推导鲁棒临界值：
- 作者推导了在 $H_0$ 为真时，科学家在临界值 $z$ 下运行的预期实验次数 $E(N(z))$ 。
- 他们计算了实际的第 I 类错误概率 ( $S^*(z)$ )，即报告的统计量超过 $z$ 的概率。这被证明为 $S^*(z) = S(z) \times E(N(z))$ ，其中 $S(z)$ 是经典的生存函数。
- 鲁棒临界值 ( $z^*$ ) 被定义为满足 $S^*(z^*) = \alpha$ 的值。这确保了即使当科学家根据新标准优化其 p-hacking 行为时，错误拒绝的频率仍保持在预期的显著性水平 $\alpha$ 之下。

核心贡献与结果

最优停止行为： 模型表明，科学家的最优策略是持续实验，直到发现显著结果或资源枯竭。这导致了停止时间的几何分布。
鲁棒临界值公式： 论文推导了一种非标准的 Bonferroni 修正。显著性水平 $\alpha$ 下的鲁棒临界值 $z^*$ 等同于降低后的显著性水平 $\alpha^*$ 下的经典临界值，其中：
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
至关重要的是， $E(N(z^*))$ 是在鲁棒临界值下的预期实验次数，而非经典临界值下的次数。作者证明了 $z^*$ 由下式隐式定义：
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
其中 $Z$ 是检验统计量的逆生存函数。
行为响应： 与之前的修正不同，该方法考虑了行为响应：随着临界值变得更加严格，科学家会进行更多的 p-hacking（增加 $E(N)$ ）。鲁棒临界值总是大于经典临界值，以抵消这种增加的实验行为。
泛化性： 在独立实验假设下推导出的鲁棒临界值对于广泛的其他 p-hacking 策略（例如，合并数据、剔除异常值、搜索特定模型设定等）仍然有效，只要这些策略会导致检验统计量之间存在正相关性。

数值说明与校准
作者利用关于研究生命周期的医学科学数据（Dwan et al., 2008）对模型进行了校准。

校准： 他们通过分析从未开始或提前停止的获批研究比例来估计完成概率 $\gamma$ 。估计的完成概率为 $\gamma = 80\%$ 。
经验法则： 当 $\gamma = 0.8$ $γ = 0.8$ 时，维持 5% 第 I 类错误率所需的有效显著性水平大约为 $\alpha/5$ $α /5$ 。
- 对于单侧 z 检验， $\alpha=5\%$ 时，鲁棒临界值为 2.33（对比经典值的 1.64）。
- 对于双侧 z 检验， $\alpha=5\%$ 时，鲁棒临界值为 2.58（对比经典值的 1.96）。
敏感性： 鲁棒临界值对 $\gamma$ 的变化相对不敏感。即使 $\gamma$ 在 70% 到 90% 之间变化，双侧检验的临界值仍保持在 2.42 到 2.79 之间。

意义与主张
论文声称为调整显著性标准以应对 p-hacking 现实情况提供了理论基础。

恢复可信度： 通过使用鲁棒临界值，科学界可以确保即使在存在最优 p-hacking 的情况下，假阳性（第 I 类错误）的发生率也不会超过广告宣传的显著性水平。
与替代方案的比较： 作者将该方法与预分析计划注册制进行了对比。虽然注册制可以防止某些形式的 p-hacking，但它可能会抑制探索性数据分析。鲁棒临界值允许进行探索，同时保持统计有效性。此外，注册制并不能防止科学家重复实验直到发现显著结果；而鲁棒临界值解决了这一特定的局限性。
与提议的理论联系： 该分析为降低显著性水平的提议（例如，如 Benjamin et al., 2018 所建议的从 5% 降至 0.5%）提供了理论支撑。论文表明，所需降低的幅度取决于该领域的完成概率（资源可用性）。10 倍的降低对应于 90% 的完成概率，而 5 倍的降低对应于 80% 的完成概率。

论文总结道，在科学家拥有动机和机会去寻找显著性的环境下，鲁棒临界值是维持假设检验信息量的必要工具。

技术摘要：对 P-hacking 具有鲁棒性的临界值

类似论文