The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

Devezer と Buzbas による論文「『再現可能』と『再現不可能』の差異そのものが科学的に再現可能ではない」の詳細な技術的要約。

1. 問題提起

本論文は、再現性率に関する現在のメタ科学実践における根本的な欠陥を扱っている。科学コミュニティは、複数の研究からの二値的判定（再現した／再現しなかった）を routinely 集約し、分野や特定の結果に対する平均再現性率（$\mu$）を推定する。この率は、信頼できる結果を「疑わしい」結果から区別するために用いられるか、あるいは「再現性の危機」を宣言するために用いられる。

著者らは、この実践が統計的に妥当ではないと主張する。その理由は以下の通りである：

1. 非厳密性：現実世界の再現研究は、めったに「厳密な（参照と統計的に同等な）」ものではない。被験者集団、手順、文脈が異なり、異質性を導入する。
2. データ構造の限界：標準的な再現研究は、実験ごとに1 つの二値的判定のみを報告する。このデータ構造は、サンプリングノイズと実験間の異質性を区別するために必要な情報を欠いている。
3. 核心的な主張：「再現可能」な結果（高い $\mu$）と「再現不可能」な結果（低い $\mu$）の間の差異は、現在の手法を用いて、たとえ多数の再現研究を行っても、信頼性を持って区別することはできない。これらの判定を生み出す統計的機構は、非厳密性の現実的な条件下では、その識別力を失う。

2. 手法

著者らは、非厳密性の存在論的源泉を捉えるために、2 つの異なる統計モデルを用いて問題を形式化した。

A. ベンチマークモデル（共有潜在率）

• 仮定：すべての $m$ 個の再現研究は交換可能であり、平均 $\mu$ とクラス内相関 $\rho$ を持つ母集団分布から引き出された、単一の潜在再現性率 $\phi$ に依存する。
• メカニズム：成功の総数はベータ - 二項分布に従う。
• 重要な洞察：$\rho$（異質性の度合い）が既知であっても、推定平均 $\hat{\mu}$ の分散は、$m \to \infty$ において回復不能な分散の下限を持つ：
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  これは、$\rho > 0$ である場合、より多くの再現研究を追加しても不確実性を排除できないことを意味する。高い再現性レジームと低い再現性レジームの信頼区間は重なり合い、区別不可能となる。

B. 操作モデル（条件付き独立な率）

• 仮定：このモデルは実際の慣行を反映しており、$m$ 個の実験のそれぞれが固有（非厳密）であり、母集団分布から独立に引き出された独自の再現性率 $\phi_i$ を持つ。
• データ構造：各実験 $i$ は、ちょうど1 つの二値的判定（$k_i = 1$）に寄与する。
• 重要な洞察：$k_i = 1$ の場合、パラメータ $\rho$（異質性）はデータから識別不可能となる。二値的結果の同時分布は、$\rho$ の真の値に関わらず、単純な二項分布 $Bin(m, \mu)$ に収束する。
• 帰結：研究者は、より多くの再現研究が役立つ低異質性レジームで運用しているのか、あるいはそうでない高異質性レジームで運用しているのかを判断できない。データ構造は体系的に不確実性を過小評価する。

C. 数値例と再分析

著者らは以下の方法で理論を検証した：

1. 生成モデル：(a) 標本異質性（異なる被験者集団）と (b) 刺激/用量異質性（提供エラーとバイアス）に起因する異質性をシミュレーションする。これらが物理的源泉としてどのように高い $\rho$ 値にマッピングされるかを示す。
2. ケーススタディ（Many Labs 4）：「テロル管理理論」の再現プロジェクトの再分析。
   • 連続的な効果量（Hedges' $g$）に対する補助的な正規ランダム効果モデルを用いて、推定される $\rho$ を算出した。
   • これらの推定値をベンチマークモデルにマッピングし、結果として生じる分散区間が非常に広いため、二値分類が不可能であることを実証した。

3. 主要な貢献

• 識別不可能性の形式化：本論文は、標準的な「実験あたり 1 つの二値的判定」という設計の下では、非厳密性の度合い（$\rho$）が数学的に識別不可能であることを証明する。その結果、平均再現性率の精度は評価できない。
• 回復不能な分散下限：異質性が精度に対する厳密な限界を創出することを確立する。$N$ とともに減少するサンプリング誤差とは異なり、異質性によって引き起こされる分散は、再現研究の数に関わらず一定のまま残る。
• 「再現のパラドックス」：著者らは、異質性のある状況で再現研究の数を増やすことが、$\rho$ を無視すれば誤った精度感覚をもたらすか、あるいは $\rho$ を認識すれば単に高/低の再現性を区別できなくなることを実証する。
• 集約への批判：多様な文献（例：「心理学全体」）にわたって再現性率を集約することは、比較不可能な実験レジームを混同する無意味な平均値を生み出すと主張する。

4. 主要な結果

• 識別可能性の喪失：現実的な異質性（例：$\rho = 0.15$）の下では、「高い」再現性率（例：$\mu=0.80$）と「低い」率（例：$\mu=0.20$）に対する 95% 最高密度区間（HDI）は、$m=50$ の再現研究であっても、著しく重なり合う。
• 実効サンプルサイズ：独立した再現研究の実効数（$m_e$）は、$\rho$ が増加するにつれて劇的に低下する。例えば、『Reproducibility Project: Psychology』（$m=100$）において、$\rho=0.20$ なら、推論上の重みはわずか5 つの厳密な再現研究に相当する。
• Many Labs 4 分析：
  • ML4 シーケンスの推定 $\rho$ は高く（事後平均 $\approx 0.37$ から $0.59$）、異質性のレベルが高かった。
  • このレベルの異質性において、推定再現性率の 95% HDI は、ほぼ [0, 1] 全体にわたって広がる。
  • データは、基礎となる効果が真に再現可能なのかどうかを区別できない。このシーケンスは「診断的ではない」。
• バイアスとノイズ：体系的なバイアス（例：刺激の過小提供）は平均 $\mu$ をシフトさせ、ノイズは $\rho$ を増大させる。両者は見かけ上の再現性率を歪め、二値的判定を下す能力を損なう。

5. 意義と含意

• 「危機」ナラティブの否定：著者らは、現在の手法では「再現性の危機」を確立できないと主張する。低い再現性率（例：36%）は、真の効果のベースレートと異質性の度合いが未知であるため、小さなノイズの多い研究に満ちた健全な文献と統計的に区別できない。
• 画境の失敗：「再現可能」と「再現不可能」の間の二値的区別は、現在の手法の下では、結果の科学的に再現可能な性質ではない。
• 実践への提言：
  • 二値的判定の停止：研究者は、画境の目的のために再現結果を単純な「成功/失敗」の数に還元すべきではない。
  • より豊かなデータ構造：異質性に関する情報を回復するためには、研究は連続的な結果、実験あたりの複数測定（$k > 1$）、または階層的デザインを必要とする。
  • 焦点の転換：再現は、個々の結果の真偽を判断する「裁判所」として機能するのではなく、効果量の推定、変動性の特性化、手順の較正のために用いられるべきである。
• 理論的進展：本論文は、再現性の問題を解決するには、任意の参照研究を中心としたプロトコルの標準化だけでなく、より強力な理論的予測（アンカーを定義するため）または補助的ノイズを排除する「最小限の viable 実験」の特定が必要であると示唆する。

結論として、本論文は、科学実践において避けられない異質性の存在下で、二値的再現判定を集約する現在のパラダイムが、高い再現性と低い再現性を区別する能力を根本的に欠いていることを、厳密な統計的証明によって示している。