📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

该论文论证了 p-hacking 在误差统计方法中因涉及实际多重检验而会膨胀 I 类错误率，但在形式推断方法中由于不报告交集零假设且仅关注名义错误率，因此不会导致 I 类错误率膨胀。

原作者： Mark Rubin

发布于 2026-03-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Mark Rubin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章探讨了一个统计学界非常热门且充满争议的话题："P 值操纵”（P-hacking）到底是不是在“作弊”？

作者马克·鲁宾（Mark Rubin）提出了一个非常有趣的观点：这取决于你戴的是哪一副“眼镜”来看待统计学。他把统计学分成了两派：

“错误统计派”（Error Statistical Approach）：像侦探一样，关注整个调查过程是否诚实。
“形式推断派”（Formal Inference Approach）：像数学家一样，只关注你最终提交给法庭的“证词”本身是否逻辑严密。

作者的核心结论是：在“侦探”眼里，P 值操纵会大大增加“误判”（Type I 错误）的风险；但在“数学家”眼里，P 值操纵并不会改变单个测试的数学概率，它只是改变了你“选”了哪个结果来报告。

为了让你更轻松地理解，我们用两个生动的比喻来解释这两种观点。

比喻一：侦探 vs. 数学家

1. 侦探的视角（错误统计派）

核心逻辑： “过程决定结果。”

想象你是一个侦探，正在调查一起案件。

场景：嫌疑人（研究者）在案发现场（数据）里到处乱翻。他试了 20 种不同的方法（比如问 20 个不同的问题，或者用 20 种不同的方式分析指纹）。
操纵（P-hacking）：前 19 种方法都没找到线索，第 20 种方法终于让他“发现”了一个指纹匹配！于是，他只把第 20 个结果报告给警察，假装他只试了这最后一次。
侦探的结论：
- 如果只试一次，抓错好人的概率是 5%（0.05）。
- 但如果试了 20 次，只要有一次“碰巧”抓错，概率就会飙升到 64% 左右（ $1 - 0.95^{20}$ ）。
- 结论：因为嫌疑人隐瞒了前 19 次失败的尝试，他实际上是在“大海捞针”。如果你只看他最后捞到的那根针，你会误以为这根针是特意找到的，其实只是运气好。所以，这种“作弊”让“抓错好人”（Type I 错误）的概率大大增加了，证据是无效的。

2. 数学家的视角（形式推断派）

核心逻辑： “只看证词，不看过程。”

现在，你换了一副眼镜，变成了一位严谨的数学家。

场景：嫌疑人（研究者）走到你面前，递给你一张纸。纸上写着：“我针对‘绿色果冻豆’做了一次测试，结果是显著的（P=0.03）。”
关键点：
- 数学家不关心他之前是不是偷偷试了 19 种其他颜色的果冻豆（红色、蓝色、紫色……）。
- 数学家只关心：既然你只报告了“绿色果冻豆”这一项测试，那么针对这一项测试，数学上的错误概率依然是 5%。
- 结论：
  - 如果你把 20 个测试打包成一个“大结论”（比如“果冻豆能治痤疮”），那确实需要修正概率。
  - 但如果你只是单独报告“绿色果冻豆”这一个结论，那么这个结论本身的数学概率并没有因为之前的“乱试”而改变。
  - 这就好比你问：“你扔硬币正面朝上的概率是多少？”如果你只报告“这次是正面”，那么概率就是 50%。至于你之前是不是偷偷扔了 99 次才等到这个正面，并不改变“这次”扔硬币的数学性质。
  - 所以，在数学家眼里，P 值操纵并没有“ inflate（膨胀）”单个测试的错误率，它只是“挑选”了一个结果。

比喻二：德州神枪手（The Texas Sharpshooter）

文章里还提到了一个著名的“德州神枪手”谬误，用来解释为什么两派观点不同。

故事：一个神枪手对着谷仓墙壁乱开了一堆枪，子弹打得到处都是。然后，他走过去，在子弹最密集的地方画了一个靶心，宣称：“看！我是百发百中的神枪手！”
侦探派（错误统计）说：
- “你这是在作弊！因为你先开枪，后画靶子。如果你只算你画靶子后的命中率，那当然很高。但如果你算你整个射击过程的命中率，那你就是个神枪手……的邻居（完全不准）。你隐瞒了那些没打中靶心的子弹，所以你的‘神枪手’称号是假的，错误率被严重夸大了。”
数学家派（形式推断）说：
- “好吧，让我们看看你现在画的那个靶子。
- 如果你说：‘我对着这个画好的靶子射击，命中率是 100%。’
- 那么，只要你的射击动作（统计测试）符合规范，这个特定靶子的命中率计算就是合法的。
- 至于你之前是不是乱射了一通，那是‘发现’的过程（Context of Discovery），而不是‘证明’的过程（Context of Justification）。
- 重点：如果你把“乱射”和“画靶”混为一谈，那是逻辑错误。如果你只针对“画好的靶子”进行数学推导，那么数学公式本身没有错。错的是你没有告诉观众你之前乱射了，这属于隐瞒信息，而不是数学计算错误。”

这篇文章到底想告诉我们什么？

关于“错误率膨胀”的争论：
- 如果你认为科学研究的整个过程（包括那些没发表的失败尝试）都应该被考虑，那么 P 值操纵确实会让“假阳性”（误报）变得很常见。这是侦探派的观点，也是目前主流科学界（如预注册运动）所担心的。
- 如果你认为科学报告应该只关注最终呈现的逻辑结构，那么 P 值操纵并没有改变单个测试的数学概率。这是数学家派的观点。
关于“复制危机”（Replication Crisis）：
- 侦探派认为：复制失败是因为 P 值操纵导致太多假阳性结果发表，别人一做就发现是假的。
- 数学家派认为：复制失败的主要原因可能不是 P 值操纵导致的数学错误，而是**“解释性错误”**。
  - 比如：神枪手画靶子时，可能把“绿色果冻豆”画成了“所有果冻豆”。虽然数学上“绿色果冻豆有效”是对的，但解释成“所有果冻豆都有效”就是错的。
  - 这种错误不是因为数学算错了，而是因为理论理解错了，或者忽略了隐藏的因素（比如只有绿色有效，红色无效）。
解决方案：
- 侦探派建议：必须预注册（Pre-registration），在开枪前就画好靶子，防止乱试。
- 数学家派建议：预注册不是必须的，因为数学概率本身没变。更重要的是批判性讨论（Critical Rational Discussion）。科学家应该互相挑战：“你为什么要选这个颜色？为什么没试别的颜色？”通过这种思想碰撞，找出那些被隐瞒的“靶子”和错误的解释，而不是仅仅依赖死板的规则。

总结

这篇文章并不是在为 P 值操纵（乱试数据）洗白，它承认隐瞒结果是不好的。

它只是提出了一个哲学上的区分：

P 值操纵在侦探眼里，是让“抓错好人”的概率变大了（因为过程不诚实）。
P 值操纵在数学家眼里，并没有改变“单次射击”的数学概率，它只是让你选了一个看起来不错的结果来展示。

最终启示：
解决科学界的“复制危机”，不能只靠盯着 P 值看（那是数学家的游戏），也不能只靠抓作弊者（那是侦探的游戏）。我们需要的是更诚实的对话，去审视我们的理论是否真的站得住脚，去承认我们知识的局限性，去讨论那些“没被画在靶子上的子弹”到底意味着什么。

简单来说：不要只盯着数字看，要盯着数字背后的故事和逻辑看。

这是一份关于 Mark Rubin 论文《p-Hacking 在形式推断方法中不会增加第一类错误率》（p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach）的详细技术总结。

1. 研究问题 (Problem)

核心争议：
P-hacking（P 值操纵，即研究者进行多次显著性检验并选择性报告显著结果而不进行多重检验校正）是否会导致第一类错误率（Type I error rate）膨胀？

现有观点：
在主流的**错误统计方法（Error Statistical Approach，以 Mayo 等人为代表）**中，P-hacking 被视为严重问题。该观点认为，由于研究者进行了多次未披露的检验，实际的“家族误差率”（Familywise Error Rate, FWER）远高于名义上的显著性水平（如 0.05）。因此，P-hacking 导致第一类错误率膨胀，产生了大量虚假阳性结果，被认为是复制危机（Replication Crisis）的主要原因之一。

本文挑战：
作者 Mark Rubin 提出，这种“错误率膨胀”的结论仅适用于错误统计方法。如果采用形式推断方法（Formal Inference Approach），P-hacking 并不会导致第一类错误率膨胀。本文旨在通过区分这两种哲学框架，重新审视 P-hacking 对统计推断有效性的影响。

2. 方法论与理论框架 (Methodology & Theoretical Framework)

本文采用概念分析与哲学论证的方法，对比两种显著性检验的哲学立场：

A. 错误统计方法 (Error Statistical Approach)

核心逻辑： 关注“实际”的检验程序（Actual Test Procedure）。
错误率定义： 第一类错误率取决于研究者实际执行的所有检验（包括未报告的）。如果研究者进行了 $k$ 次检验并只报告显著的那个，那么“实际”的检验程序是一个联合检验（Union-Intersection Test）。
P-hacking 的后果： 实际的第一类错误率是家族误差率（ $1 - (1-\alpha)^k$ ），远高于名义水平 $\alpha$ 。由于未披露的检验构成了“偏差选择效应”（Biasing Selection Effects），导致名义错误率无效（Invalidated），证据质量下降（Bad Evidence, No Test - BENT）。

B. 形式推断方法 (Formal Inference Approach)

核心逻辑： 关注“正式报告”的统计推断（Formally Reported Inference）。
错误率定义： 第一类错误率仅基于公开、形式化报告的假设和检验程序。
推断分类：
1. 个体推断 (Individual Inference)： 针对单个零假设（ $H_0$ ）的决策。
2. 并集 - 交集推断 (Union-Intersection Inference)： 针对一组假设的联合零假设（ $H_{0,1} \cap H_{0,2} \dots$ ）的决策。
3. 交集 - 并集推断 (Intersection-Union Inference)： 针对并集零假设的决策。
P-hacking 的后果： 当研究者进行 P-hacking 时，他们通常报告的是个体推断（例如：只报告 $H_{0,2}$ $H_{0, 2}$ 显著），而不是针对所有测试过的假设的并集 - 交集推断。
- 形式推断方法认为，未报告的检验（ $H_{0,1}$ ）属于“发现语境”（Context of Discovery），而非“辩护语境”（Context of Justification）。
- 正式报告的推断（针对 $H_{0,2}$ ）有其独立的、名义上的错误率（ $\alpha$ ）。
- 将未报告检验的“实际”家族误差率应用于已报告的个体推断，在逻辑上犯了分割谬误（Fallacy of Division）（即错误地将整体属性强加给个体）。

3. 关键贡献 (Key Contributions)

区分“实际程序”与“正式推断”：
文章明确指出，P-hacking 是否导致错误率膨胀，取决于我们评估的是“实际发生的心理/实验过程”还是“正式报告的统计逻辑”。在形式推断框架下，只有后者决定错误率。
重新定义 P-hacking 的逻辑地位：
作者论证，P-hacking 在形式推断中并不改变名义错误率。因为研究者报告的是针对特定假设的个体推断，该推断的抽样分布仅基于该特定假设，与未报告的“钓鱼”过程无关。
对“最小严重性要求”（Minimal Severity Requirement）的批判性回应：
错误统计方法要求排除系统性误差（如 P-hacking）以保证推断的有效性。Rubin 指出，形式推断方法基于蕴含假设（Implicatory Assumptions, i-assumptions）。统计推断是假设性的（Subjunctive Conditional）：“如果假设成立且仅存在随机误差，那么拒绝零假设的概率是 $\alpha$ "。系统性误差（如欺诈或 P-hacking）可能使实质性结论（Substantive Inference）无效，但不会改变基于随机误差的统计推断本身的数学有效性。
对复制危机的新解释：
文章提出，复制危机并非主要由 P-hacking 导致的错误率膨胀引起，而是源于未被识别的解释性错误（Interpretational Errors）和未知未知（Unknown Unknowns）（如隐藏的调节变量）。即使统计推断在名义上是正确的，如果理论背景或假设前提有误，实质性结论仍可能失败。

4. 主要结果与论证 (Key Results & Arguments)

P-hacking 不膨胀形式推断中的第一类错误率：
- 在形式推断中，如果研究者报告了 $H_{0,2}$ 的显著结果（ $p < 0.05$ ），无论他们之前是否测试了 $H_{0,1}$ ，该推断的第一类错误率仍然是 0.05。
- 未报告的 $H_{0,1}$ 结果不影响 $H_{0,2}$ 的抽样分布。
- 试图用“实际”的家族误差率（例如 0.098）来否定“名义”的个体错误率（0.05）是逻辑错误的，因为它们针对的是不同的假设对象（联合假设 vs. 个体假设）。
未报告零结果的影响：
- 在错误统计方法中，未报告零结果直接导致错误率膨胀。
- 在形式推断方法中，未报告零结果不会导致统计错误率膨胀。但是，如果这些未报告的零结果被视为**“缺失的证据”（Evidence of Absence）且与理论相关，它们可能会偏倚实质性结论**（Substantive Inference）。
- 解决之道不是通过统计校正（如 Bonferroni），而是通过批判性理性讨论（Critical Rational Discussion）和理论审查来识别被遗漏的相关零结果。
预注册（Preregistration）的作用：
- 错误统计方法强烈支持预注册，以锁定“实际”检验程序并防止 P-hacking。
- 形式推断方法认为，预注册对于防止统计错误率膨胀并非必要，因为名义错误率本身并未被 P-hacking 改变。预注册的作用更多在于促进透明度和理论讨论，而非修正统计概率。

5. 意义与启示 (Significance & Implications)

哲学层面的澄清：
文章揭示了关于 P-hacking 的争论很大程度上是哲学立场的分歧，而非纯粹的统计计算问题。错误统计方法关注“证据的强度”和“检验的严重性”，而形式推断方法关注“逻辑的有效性”和“假设条件的满足”。
对科研实践的指导：
- 重新评估 P-hacking 的严重性： P-hacking 可能更多是一个实质性/解释性问题（导致错误的科学结论），而非统计推断问题（导致错误的概率计算）。
- 应对复制危机： 解决复制危机不能仅靠统计手段（如更严格的校正或预注册），而需要认识论的转变：承认知识的有限性和不可知性，重视对理论假设、背景知识和潜在调节变量的批判性审查。
对统计教育的启示：
研究者需要理解，统计推断的有效性（Validity）依赖于形式化的报告逻辑，而科学结论的可靠性（Reliability）依赖于对系统性误差和理论假设的严格审查。将两者混淆会导致对 P-hacking 的过度恐慌或误解。

总结：
Mark Rubin 的论文挑战了主流观点，指出在形式推断的哲学框架下，P-hacking 并不会在数学上“膨胀”第一类错误率。未报告的检验属于发现过程，不影响已报告推断的逻辑有效性。真正的风险在于未报告的零结果可能导致的实质性结论偏倚，以及未被识别的解释性错误，而非统计概率本身的失效。这一观点呼吁科学界从单纯的统计控制转向更深层的批判性理性讨论。