📊 statistics

Statistical Significance Revisited

本文通过剖析这些拟议变革的优势与不足，审视了近期关于改革统计显著性实践（例如弃用标准的 0.05 阈值并超越二元假设检验）的呼吁。

原作者： Reason Machete

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Reason Machete

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图解开一个谜团：数据中是否存在真实的模式，还是仅仅出于巧合？

近一个世纪以来，科学家们一直使用一种名为显著性检验（Significance Test）的特定工具（及其主要产出p 值）来辅助回答这一问题。将 p 值想象成一个“怀疑度计”。如果该读数非常低（通常低于 0.05，即 5%），侦探就会说：“这太不可能只是偶然了；这里一定存在真实的模式！”

然而，最近许多人认为这一工具已经失效。他们指出，它导致了过多的“误报”（发现实际上并不存在的模式），并且 5% 的阈值是武断的。本文由 R. L. Machete 撰写，深入探讨了这些抱怨，并提出：我们应该抛弃这一工具、收紧规则，还是仅仅学会更好地使用它？

以下是利用简单类比对该论文论点的拆解。

1. 两大思想流派：守门人 vs. 赌徒

论文首先解释了这一工具的历史。

费希尔（The Gatekeeper，守门人）： 他发明该检验是为了判断结果是否“令人惊讶”到足以拒绝“什么都没有发生”这一想法（零假设）。他使用了 5% 的阈值，但警告不要将其视为僵化的法律。
奈曼与皮尔逊（The Gamblers，赌徒）： 他们在赌局中增加了另一面。他们问道：“如果确实存在真实效应，我们有多大可能错过它？”他们引入了第一类错误（误报）和第二类错误（漏掉真实信号）的概念。

类比： 想象机场的金属探测器。

费希尔说：“如果它响了，那就可疑。”
奈曼与皮尔逊说：“我们需要平衡报警频率。如果我们让它过于敏感，就会捕捉到每一个皮带扣（第一类错误）；如果我们让它过于迟钝，就会漏掉真正的武器（第二类错误）。”

2. 重大争议：“让我们收紧规则！”

最近，一些科学家（如 Benjamin 等人）认为 5% 的阈值过于宽松。他们希望将其改为0.5%（即 0.005）。

他们的逻辑： 如果我们让金属探测器更难触发，我们就会捕捉到更少的误报。这应该使实验成功复现的次数翻倍。
论文的驳论： 作者指出这是一种权衡。如果你让探测器更难触发，你肯定会漏掉更多真正的武器（第二类错误）。
- 代价： 你可能会停止发现真正的突破，因为门槛设得太高，只有那些“超级明显”的发现才能通过。
- 数学层面： 论文表明，虽然降低阈值确实减少了误报，但它并不能自动解决“可重复性危机”，除非你事先知道真实发现的数量——而这通常是无法得知的。

3. “贝叶斯”绕道：猜测概率

一些批评者认为 p 值具有误导性，因为它们没有考虑到一个理论原本就有多大的可能性。他们建议使用贝叶斯方法，这要求你猜测“先验概率”（即在开始之前你认为假设成立的可能性有多大）。

论文的观点： 作者认为，在现实世界中，我们往往无法知道这些先验概率。你很难轻易猜出所有科学理论中实际上有多少是真的。
隐喻： 试图对每一项研究都使用贝叶斯方法，就像在离开车道之前就试图通过猜测交通密度来开车。这是一个很好的想法，但在实践中，我们往往没有这些数据。论文建议，坚持使用错误概率（即测试出错的频率）更为实用。

4. “彻底抛弃”运动

一些改革者说：“停止使用 p 值和阈值！只需报告数据，让人们自行决定。”

论文的观点： 作者认为这很危险。
- 类比： 想象一位医生说：“别告诉我病人是否发烧。只给我体温，让我来猜。”
- 问题： 人类在没有明确界限的情况下，很难做出二元决策（是/否）。如果你移除了阈值，你并没有移除决策；你只是隐藏了那条线。最终，仍有人必须决定结果是否“足够好”。
- 置信区间： 论文同意我们应该报告置信区间（可能值的范围），但它认为这些不应取代p 值。它们应像地图和指南针一样协同工作。

5. “严重性”检验：审视数据的新视角

论文引入了哲学家 Mayo 提出的严重性（Severity）概念。

核心思想： 仅仅通过测试是不够的。你必须问：“如果该假设是假的，它通过此测试的可能性有多大？”
隐喻： 想象一名嫌疑人通过了测谎仪。
- 标准测试： “他们通过了，所以他们是无辜的。”
- 严重性测试： “如果他们有罪，这台特定的测谎仪会抓住他们吗？如果机器坏了，让所有人都能通过，那么“通过”就证明不了任何东西。但如果机器非常严格，而他们仍然通过了，那就是严重的无罪证据。”
作者建议利用这种“严重性”思维来深入挖掘数据，而不仅仅是看一个单一的数字。

6. 现实案例：非洲大草原的火灾

为了证明这些工具的有效性，作者分析了非洲火灾的数据。

问题： 火灾是否每 5 年发生一次循环？
结果： 数学分析显示了一个强烈的模式（极低的 p 值）。
应用： 作者没有仅仅说“结果显著”。他们利用严重性概念指出：“我们有 95% 的把握认为该循环是真实的，而非偶然。”他们还使用置信区间来确切展示该循环的强度。
教训： 这些工具协同工作，无需改变游戏规则，就给出了清晰、自信的答案。

最终裁决

论文得出结论：我们正处于十字路口。

不要抛弃工具： p 值和显著性检验对于区分真实科学与噪音仍然有用。
不要仅仅收紧螺丝： 将阈值改为 0.005 可能会减少误报，但也会掩盖真正的发现。
明智地使用工具： 科学家应成为工具的主人，而非奴隶。他们应结合使用 p 值、置信区间和严重性检查，以做出明智的决策。
真正的敌人： 问题不在于数学，而在于行为。诸如“数据挖掘”（不断搜索模式直到找到一个）和“随意停止”（一旦得到好结果就停止实验）等行为才是导致不良科学的真正原因。改变 p 值阈值无法纠正不良行为；只有更好的伦理和激励机制才能做到。

简而言之： 论文主张，我们不应惊慌失措并重写统计学规则。相反，我们应该信任现有工具，以更细致的方式使用它们（例如检查“严重性”），并专注于纠正导致不良科学的人类行为。

技术摘要：统计显著性再审视

问题陈述
本文探讨了关于零假设显著性检验（NHST）的持续争议，特别是其对 $p$ -值及标准显著性阈值 $\alpha = 0.05$ 的依赖。近期呼吁改革的提议，包括将阈值降至 0.005、完全放弃显著性检验转而采用置信区间，或连续报告 $p$ -值而不设阈值，引发了关于科学可重复性危机的辩论。作者指出，目前缺乏共识来平衡第一类错误和第二类错误，缺乏共识来验证使用贝叶斯诊断筛查公式来证明阈值变更的合理性，以及缺乏共识来评估用决策理论或成本效益分析取代误差统计方法的可行性。

方法论
本文采用理论与分析相结合的方法评估各种改革提议。方法论包括：

理论推导：作者利用诊断筛查公式（零假设的贝叶斯后验概率）推导了显著性阈值（ $\alpha$ ）、第二类错误率（ $\beta$ ）与假阳性率（FPR）之间的关系。这涉及分析 FPR 关于 $\alpha$ 和 $\beta$ 的偏导数。
权衡分析：本文在数学上证明了频率主义框架中第一类错误与第二类错误之间固有的权衡，并将其与诊断筛查模型中的假设进行对比；后者声称降低第一类错误可同时降低假阳性率而无需增加第二类错误。
可重复性概率建模：利用对数正态近似（基于 Hung 等人，1997）分析备择假设下的 $p$ -值分布，以推导可重复性概率公式。
成本函数分析：构建了一个频率主义成本最小化框架，以确定基于第一类和第二类错误成本的最优临界值，并将其与贝叶斯期望效用理论进行比较。
严重性评估：本文应用 Mayo（2018）的严重性函数来评估主张，展示了严重性如何在不放弃假设检验的情况下补充置信区间。
示例说明：将理论概念应用于撒哈拉以南非洲稀树草原燃烧面积比例自相关性的真实数据集（2001–2020），以演示 $p$ -值、置信限和严重性的计算。

主要贡献

对降低阈值的批判：本文挑战了将显著性阈值从 0.05 降至 0.005 的提议。它表明，虽然降低 $\alpha$ 能减少假阳性率，但不可避免地会增加第二类错误率（ $\beta$ ）。作者认为，净收益在很大程度上取决于当前阈值下的“真阳性率”（或阳性预测值），而这一数值在大多数领域中实际上无法准确估计。
贝叶斯与频率主义的区分：作者澄清，支持降低阈值者（如 Benjamin 等人，2017）所使用的诊断筛查公式本质上是贝叶斯的，依赖于先验概率（ $\phi$ ），而这些概率通常是未知或无法计算的。本文认为，将这种贝叶斯后验概率与频率主义误差概率混合使用会造成混淆。
对设定阈值的辩护：本文认为，完全放弃阈值是不切实际的，因为决策往往需要二分选择。它提出，置信区间和 $p$ -值是互为对偶的，且两者都依赖于潜在的阈值；连续报告 $p$ -值而不设阈值仅仅创造了一个“未公开的阈值”。
成本效益的局限性：成本函数分析表明，最小化期望成本的最优临界值通常与标准显著性水平（如 0.05）不一致，并且在许多现实场景（如全球变暖、药物开发）中，量化具体错误成本是不切实际的。
严重性作为补充：本文主张在显著性检验后使用严重性函数进一步探测参数空间，提供了一种在不抛弃误差统计框架的情况下评估特定主张证据强度的方法。

结果

阈值降低分析：数学分析证实，即使 $\beta$ 增加，降低 $\alpha$ 也会减少假阳性率，但这种减少的幅度对先验几率比高度敏感。本文推导出，只有通过将阈值降低 10 倍，且当 prevailing 真阳性率恰好为 4/9 时，才可能使复制率翻倍。
可重复性概率：本文发现，基于 $p$ -值分布推导出的可重复性概率是理论构造，可能无法反映实证现实，因为 prevailing 情境未必是备择假设。
成本分析：在示例成本函数图中，发现最小化临界值小于 1.5（对应 $\alpha > 0.07$ ），这表明标准阈值并不总是成本最小化的选择，然而成本分析的应用往往受限于无法量化错误成本。
稀树草原火灾示例：在应用于稀树草原火灾时， $p$ -值为 $2.37 \times 10^{-4}$ 导致拒绝零假设。严重性函数确认，主张 $\beta_1 > 0.30529$ 以 0.95 的严重性通过，计算出的可重复性概率为 93.8%。

意义与主张
本文声称，当前呼吁改革的举措往往未能充分考虑第一类错误与第二类错误之间的根本权衡，以及进行贝叶斯诊断筛查所需的先验概率估计在实践中的不可能性。作者认为：

不应放弃显著性检验，而应将其理解为控制误差概率的工具，而非真理的定论证明。
“可重复性危机”不仅仅是统计阈值问题，还涉及更广泛的科学实践（如数据挖掘、可选停止）。
虽然置信区间和严重性评估是宝贵的补充，但它们并不能消除决策中对阈值的需求。
科学界不应成为僵化阈值的“奴隶”，而应将其作为指南，同时拥抱不确定性。作者得出结论，创新在自由中蓬勃发展，尽管 0.05 阈值存在缺陷，但它作为识别虚假发现的忠实工具已发挥作用，且科学最终具有自我修正能力。本文与美国统计协会（ASA）的立场一致，即 $p$ -值不应成为决策的唯一依据，但也不应被废除。