📊 statistics

The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

本文认为，在非精确实验中汇总二元复制裁决无法可靠地区分“可复制”与“不可复制”的结果，因为固有的异质性造成了不可约减的不确定性和无法识别的方差，从而动摇了用以宣告复制危机的统计基础。

原作者： Berna Devezer, Erkan O. Buzbas

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Berna Devezer, Erkan O. Buzbas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解释。

核心理念：为何我们难以轻易区分“真”科学与“假”科学

想象你是一位法官，试图判断一道新食谱是“好”还是“坏”。你请了 50 位不同的厨师来尝试制作。

如果 45 位厨师说：“味道很棒！”而 5 位说：“太糟糕了”，你可能会得出结论：这道食谱是可复现的（好的）。
如果 25 位说“很棒”，25 位说“太糟糕”，你可能会得出结论：它不可复现（坏的）。

这篇论文认为，这种判断方式是有缺陷的。

作者伯纳·德韦泽（Berna Devezer）和埃尔坎·O·布兹巴斯（Erkan O. Buzbas）指出，在现代科学中，我们无法仅通过统计不同实验室中结果成功的次数，来可靠地区分“好”结果与“坏”结果。即使你进行数千次实验，数学表明，“可复现”与“不可复现”之间的界限是看不见的。

核心问题：“完美复制”的神话

要理解原因，我们需要看看什么是真正的“复现”。

精确复现：这就像一台复印机。你取出一份文件，机器吐出一份完全相同的副本。在科学中，这意味着每一个细节（相同的人员、相同的设备、相同的时间、相同的指令）都完全一致，唯一变化的是随机运气。
现实情况：精确的副本几乎是不可能的。在现实生活中，复现更像是手工抄写文件。一个人用蓝笔，另一个人用铅笔；一个人在书桌上写，另一个人在火车上写；一个人疲惫，另一个人精力充沛。

论文将这种现象称为**“非精确性”**。因为每个实验室都略有不同，所以每个实验也略有不同。

两种模型：“共享秘密”与“独立博弈”

作者使用两个统计模型来解释当我们混合这些不完美副本时会发生什么。

1. 基准模型（“共享秘密”）
想象一群厨师，他们都秘密地遵循着同一份主食谱，但他们都稍微不太擅长阅读它。

如果食谱“难以阅读”（高非精确性），即使你让 1,000 位厨师尝试，他们的结果仍然会杂乱无章。
教训：精确度有一个“底线”。无论你增加多少厨师，不确定性永远不会消失，因为食谱本身的“杂乱”才是问题所在，而不是厨师的数量。

2. 操作模型（“独立博弈”）
这才是科学实际运作的方式。每个实验室运行自己独特的实验，并报告一个简单的“是”（成功了）或“否”（失败了）。

作者表明，当你从每个实验室只得到“是/否”答案时，你就失去了关于实验室之间如何不同的所有信息。
类比：想象你试图猜测一座城市的平均气温。
- 情景 A：你让 100 个人看同一支温度计。他们都看到了同一个数字，但也许他们都看错了。
- 情景 B：你让 100 个人看 100 支不同的温度计。有些坏了，有些在阳光下，有些在阴影里。
- 如果你只问他们“热吗？（是/否）”，你就无法区分情景 A 和情景 B。你得到的只是一份“是”和“否”的清单。你完全不知道是温度计坏了，还是天气本身就混乱不堪。

“复现危机”是一种统计幻觉

这篇论文认为，著名的“复现危机”（即一半科学是虚假的）可能是一种由糟糕的数学引起的误解。

陷阱：科学家常说：“我们尝试复现了 100 项研究，只有 36% 成功了。因此，科学正处于危机之中。”
现实：作者指出，36% 只是一个将苹果和橘子混为一谈的数字。因为每个实验室都不同（非精确性），这"36%"并不能告诉我们原始科学是否糟糕，还是仅仅因为实验室无法就如何测量达成一致。
裁决：你不能看着一份“是/否”的结果清单就说：“这个结果绝对是真实的”或“这个结果绝对是虚假的”。数据结构本身就不包含足够的信息来做出这种判断。

为何“更多复现”无法解决问题

通常，我们会想：“如果我们不确定，那就做更多实验吧！”

论文的转折：如果实验是“非精确”的（不同的实验室、不同的人、不同的工具），那么增加更多实验就像是在一个房间里增加更多人，而每个人都在用不同的语言大喊大叫。你只会得到更多的噪音。
“有效样本量”：作者表明，一项拥有 100 个不同实验室的研究，其统计效力可能仅相当于5 或 6 次完美的、完全相同的实验。实验室之间差异的“噪音”抵消了拥有更多实验室带来的好处。

“多实验室 4"（Many Labs 4）示例

作者在一个名为“多实验室 4"的真实项目中测试了他们的理论，该项目中 17 个实验室试图复现一个关于思考死亡的著名心理学实验。

结果：这些实验室各不相同。有些在线进行，有些面对面进行。有些使用了不同的问题。
数学计算：当他们计算这 17 个实验室的“杂乱程度”（异质性）时，发现其程度之高，以至于数据根本不可能告诉他们原始结果是真还是假。“是/否”的答案太过模糊。
结论：即使是一个庞大且资金充足的项目，数据也太过“模糊”，无法宣布赢家。

总结：我们应该怎么做？

作者并非说我们应该停止科学或停止复现。

复现仍然是好的，用于学习事物如何运作、找到正确的测量方法以及理解细节。
复现是坏的，当我们试图将其用作简单的“通过/失败”测试，以宣布整个科学领域处于“危机”或“成功”时。

最终隐喻：
试图通过统计不同实验室投出的“是/否”票来决定科学结果是否“真实”，就像试图通过让 100 个人向你哼唱歌曲来评判歌曲的质量。有些人会用不同的调子哼唱，有些人会忘记歌词，有些人会哼得更快。如果你只是统计有多少人“唱对了”，你并不是在评判歌曲，你只是在评判人群模仿歌曲的能力。

论文得出结论：我们目前用来宣布科学“危机”的工具，在数学上无法完成被分配的任务。我们无法用当前的方法可靠地划清“可复现”与“不可复现”之间的界限。

以下是 Devezer 和 Buzbas 所著论文《“可复现”与“不可复现”之间的差异本身并非科学上可复现》的详细技术总结。

1. 问题陈述

本文针对当前元科学实践中关于复现率的一个根本性缺陷。科学界 routinely 将来自多项研究的二元裁决（复现成功 vs. 复现失败）进行汇总，以估算某个领域或特定结果的平均复现率（ $\mu$ ）。该比率随后被用于区分“可信”结果与“可疑”结果，或用来宣告“复现危机”。

作者认为，这种做法在统计学上是站不住脚的，原因如下：

非精确性：现实世界中的复现很少是“精确的”（即与参考研究在统计上等价）。它们在受试者群体、程序和背景上存在差异，从而引入了异质性。
数据结构局限：标准的复现研究仅报告每个实验的一个二元裁决。这种数据结构缺乏区分抽样噪声与实验间异质性所需的信息。
核心主张：即使拥有大量复现数据，利用当前方法也无法可靠地区分“可复现”结果（高 $\mu$ ）与“不可复现”结果（低 $\mu$ ）。在存在非精确性的现实条件下，用于产生这些裁决的统计机制失去了其区分能力。

2. 方法论

作者使用两种不同的统计模型将问题形式化，以捕捉非精确性的本体论来源：

A. 基准模型（共享潜在比率）

假设：所有 $m$ 次复现都是可交换的，并依赖于一个单一的潜在复现率 $\phi$ ，该比率是从具有均值 $\mu$ 和组内相关系数 $\rho$ 的总体分布中抽取的。
机制：成功总数遵循Beta-二项分布。
关键洞察：即使已知 $\rho$ （异质程度），估计均值 $\hat{\mu}$ 的方差在 $m \to \infty$ 时仍存在不可消除的方差下限：
$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$
这意味着，如果 $\rho > 0$ ，增加更多复现次数无法消除不确定性。高复现率和低复现率区间的置信区间将发生重叠，使其无法区分。

B. 操作模型（条件独立比率）

假设：该模型反映了实际做法，即 $m$ 个实验中的每一个都是独特的（非精确的），并且各自拥有独立的复现率 $\phi_i$ ，这些比率从总体分布中独立抽取。
数据结构：每个实验 $i$ 仅贡献一个二元裁决（ $k_i = 1$ ）。
关键洞察：当 $k_i = 1$ 时，参数 $\rho$ （异质性）从数据中变得不可识别。二元结果的联合分布坍缩为简单的二项分布 $Bin(m, \mu)$ ，无论 $\rho$ 的真实值如何。
后果：研究人员无法判断他们是在低异质性 regime（更多复现有帮助）还是高异质性 regime（更多复现无帮助）下操作。这种数据结构系统地低估了不确定性。

C. 数值示例与重新分析

作者通过以下方式验证其理论：

生成模型：模拟由 (a) 样本异质性（不同的受试者群体）和 (b) 刺激/剂量异质性（传递误差和偏差）引起的异质性。他们展示了这些物理来源如何映射到高 $\rho$ 值。
案例研究（Many Labs 4）：对“恐怖管理理论”复现项目的重新分析。
- 他们使用辅助的连续效应量（Hedges' $g$ ）正态随机效应模型来估计隐含的 $\rho$ 。
- 他们将这些估计值映射到基准模型，以证明由此产生的方差区间如此宽泛，以至于无法进行二元分类。

3. 主要贡献

非识别性的形式化：本文证明了在标准的“每个实验一个二元裁决”设计下，非精确程度（ $\rho$ ）在数学上是不可识别的。因此，平均复现率的精度无法被评估。
不可消除的方差下限：确立了异质性造成了精度的硬性限制。与随 $N$ 减小的抽样误差不同，异质性引起的方差无论复现次数多少都保持恒定。
“复现悖论”：作者证明，在异质性环境中增加复现次数，如果忽略 $\rho$ ，会导致虚假的精度感；如果承认 $\rho$ ，则仅仅无法区分高/低复现率。
对汇总的批判：他们主张，跨不同文献（例如“整个心理学”）汇总复现率会产生一个无意义的平均值，混淆了不可通约的实验 regime。

4. 主要结果

区分能力的丧失：在现实的异质性下（例如 $\rho = 0.15$ ），即使有 $m=50$ 次复现，“高”复现率（例如 $\mu=0.80$ ）和“低”复现率（例如 $\mu=0.20$ ）的 95% 最高密度区间（HDI）也会显著重叠。
有效样本量：随着 $\rho$ 的增加，独立复现的有效数量（ $m_e$ ）急剧下降。例如，在《可重复性项目：心理学》（ $m=100$ ）中，如果 $\rho=0.20$ ，其推断权重仅相当于5 次精确复现。
Many Labs 4 分析：
- ML4 序列的估计 $\rho$ 很高（后验均值 $\approx 0.37$ 至 $0.59$）。
- 在这种异质性水平下，估计复现率的 95% HDI 几乎跨越了整个 [0, 1] 区间。
- 数据无法区分底层效应是否真正可复现；该序列是“非诊断性”的。
偏差与噪声：系统性偏差（例如刺激传递不足）会移动均值 $\mu$ ，而噪声会膨胀 $\rho$ 。两者都会扭曲表观复现率，并削弱做出二元裁决的能力。

5. 意义与启示

驳斥“危机”叙事：作者认为，当前的方法无法确立“复现危机”。低复现率（例如 36%）在统计上与充满小型、嘈杂研究的健康文献无法区分，因为真实效应的基率和异质程度是未知的。
划界失败：在当前方法论下，“可复现”与“不可复现”之间的二元区分并不是结果本身科学上可复现的属性。
实践建议：
- 停止二元裁决：研究人员应避免为了划界目的将复现结果简化为简单的“成功/失败”计数。
- 更丰富的数据结构：为了恢复关于异质性的信息，研究需要连续结果、每个实验多次测量（ $k > 1$ ）或分层设计。
- 焦点转移：复现应用于估计效应量大小、表征变异性和校准程序，而不是作为判断单个结果真理的“法庭”。
理论进展：本文提出，解决复现问题需要更强的理论预测（以定义锚点）或识别“最小可行实验”以消除辅助噪声，而不仅仅是围绕任意参考研究标准化协议。

总之，本文提供了严格的统计证明，表明当前汇总二元复现裁决的范式，在面对科学实践中不可避免的异质性时，从根本上无法区分高复现率和低复现率。