📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

この論文は、p ハッキングが誤差統計アプローチでは多重比較による実際の誤差率の上昇を通じて第一種の過誤率を膨張させるが、形式推論アプローチでは報告された個々の仮説に関する推論にその実際の誤差率が関係しないため、第一種の過誤率の膨張は生じないと論じている。

原著者： Mark Rubin

公開日 2026-03-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mark Rubin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、統計学の「p ハッキング（結果を都合よく操作して有意な結果を出すこと）」が、なぜ**「悪いこと」なのか**について、2 つの異なる視点から面白い議論を繰り広げています。

著者のマーク・ルービンさんは、この問題を「エラー統計アプローチ（エラー統計学）」と「形式推論アプローチ（形式推論学）」という 2 つの異なる「メガネ」で見ると、答えが全く変わってくるのだと主張しています。

これをわかりやすく、日常の例え話で解説します。

1. 2 つの「メガネ」の違い

まず、この 2 つのアプローチの違いを理解しましょう。

🧐 メガネ A：エラー統計アプローチ（厳格な裁判官）

この視点では、「実験の全過程」がすべて重要です。
研究者が「100 回試して、たまたま 1 回だけ当たった結果」だけを報告した場合、裁判官はこう言います。

「いやいや、100 回も試して、たまたま当たったのを『奇跡』だと報告するのは嘘だ！実際には 100 回試したのだから、偶然で当たる確率は非常に高いはずだ。だから、この結果は信頼できない（エラー率が膨らんでいる）」

特徴: 隠された試行（失敗した実験）も含めて「実際の試行回数」を数えます。
結論: p ハッキングは**「嘘つき」であり、「誤って正解だと信じる確率（タイプ I エラー）」を劇的に高めてしまう**悪い行為です。

🎭 メガネ B：形式推論アプローチ（劇作家の脚本）

この視点では、「報告された結果そのもの」だけが重要です。
研究者が「100 回試した」とは言わず、「ある特定の条件で 1 回だけ実験した」として結果を報告した場合、劇作家はこう言います。

「その『1 回の実験』という脚本自体は、数学的に正しい計算で書かれている。『100 回試した』という裏事情は、この脚本（報告された推論）には含まれていない。だから、この 1 回の結果に対する数学的な確率は、そのまま正しい」

特徴: 報告された「1 つの推論」に焦点を当てます。裏で何があったかは、その推論の数学的な正しさを否定しません。
結論: p ハッキングは**「数学的なエラー率を膨らませる」ことにはならない**。報告された 1 つの結果は、その瞬間には「正しい計算」をしているからです。

2. 具体的な例え話：ダーツと射撃

この違いを、2 つの例え話で説明します。

例え話①：ダーツ大会（エラー統計アプローチ）

ある人がダーツを 20 回投げました。

19 回は的の周りに散らばり、1 回だけ的の真ん中に命中しました。
彼は「私は的の真ん中に命中させた！」と報告し、他の 19 回の失敗は隠しました。

🧐 エラー統計アプローチの裁判官の意見：
「それは詐欺だ！20 回投げたなら、偶然で真ん中に当たる確率は 60% 以上あるはずだ。『1 回だけ』という報告は、実際の確率（60%）を隠して、あたかも 5% の確率で成功したかのように見せかけている。これは**『エラー率の膨張』**だ！」

例え話②：射撃の練習（形式推論アプローチ）

同じ状況ですが、別の視点で見ます。

彼は「的の真ん中に命中した」という1 つの事実だけを報告しました。
その 1 発の射撃自体は、的の中心を正確に狙って撃たれたものでした。

🎭 形式推論アプローチの劇作家の意見：
「その『1 発の射撃』が的の中心を撃ったという事実は、数学的に正しい。その 1 発の確率は 5% です。
彼が『20 回も撃った』という裏事情を隠しているのは、『射撃の技術』の問題や『物語の構成（科学の倫理）の問題かもしれない。しかし、その『1 発の射撃』が偶然だったかどうかを計算する『数学的な式』自体は、裏事情があっても間違ってはいないんだ。
だから、p ハッキングによって『その 1 発の数学的エラー率』が勝手に 5% から 60% に変わってしまうわけではないよ。それは『別の話（20 回撃ったという話）』の確率であって、この 1 発の確率とは関係ないんだ」

3. なぜこの議論が重要なのか？

この論文は、**「p ハッキングは本当に統計学的なエラー率を歪めているのか？」**という点に疑問を投げかけています。

エラー統計学（A）は言います。「p ハッキングは統計的な信頼性を崩壊させる。だから厳しく罰し、事前に計画（プリレジストレーション）を義務づけなければならない！」
形式推論学（B）は言います。「p ハッキングは数学的な計算自体を間違ったものにはしない。問題は、隠された失敗が『科学の物語（実質的な結論）』を歪めてしまうことだ。だから、統計の数式を疑うよりも、『なぜその結果だけを選んだのか？』という科学的な議論を深めるべきだ」

🌟 重要なポイント：「隠された失敗」の正体

形式推論アプローチでは、p ハッキングによって「数式が壊れる」わけではありません。
しかし、「科学の結論（実質的な推論）

例え：「緑色のジェリービーンを食べるとニキビができる」という結論を出したとします。
- 研究者は 20 色すべてのジェリービーンを試しましたが、「緑色」だけが当たったので、他の 19 色（ニキビにならない結果）を隠しました。
- 形式推論：「緑色のジェリービーン」に関する 1 つの統計テストは、数学的には正しい（エラー率は 5% のまま）。
- しかし：「ジェリービーン全体がニキビの原因だ」という科学的な結論は、他の 19 色のデータ（証拠）を隠しているせいで、偏った（バイアスがかかった）ものになっています。

4. 結論：何が問題で、どうすればいい？

この論文の結論は、少し意外なものです。

p ハッキングは「数学的なエラー率」を膨らませない（形式推論の視点）
- 報告された 1 つの結果の「偶然の確率」自体は、裏で何があったかで変わらないという考え方です。
でも、p ハッキングは「科学の信頼性」を損なう。
- 隠された「失敗した実験（ノイズ）」が、私たちが「本当の事実」だと信じてしまう原因になります。
解決策は「統計の修正」ではなく「議論の深化」
- 単に「プリレジストレーション（事前登録）」をして数を数えるだけでは不十分かもしれません。
- 重要なのは、「なぜその結果だけを選んだのか？」「他の可能性（隠された失敗）という、研究者同士の批判的な対話です。

🎯 一言でまとめると：
「p ハッキングは、『計算ミス（数学）ではなく、『物語の嘘（科学）です。だから、数式を疑うよりも、『なぜその話だけなのか？』と問いかける批判的な姿勢が、科学を正しく保つための鍵なのです」

📝 補足：この論文が示唆する「複製危機」について

最近、科学界では「実験結果が再現できない（複製できない）」という問題（複製危機）が起きています。

従来の考え：「p ハッキングでエラー率が膨らんで、嘘の結果が溢れているからだ！」
この論文の新しい視点：「エラー率は実は正しくても、『見えていない未知の要因（隠れた変数）が、結果を左右しているから再現できないんだ。p ハッキングは、その『見えない要因』に気づかせてくれないだけだ」

つまり、「もっと厳しく統計を管理する」ことよりも、「自分たちの知識の限界（無知）が、科学をより強くする道だと説いています。

論文概要：p ハッキングと統計的推論の哲学的アプローチ

この論文は、統計的推論における「p ハッキング（有意な結果を得るために複数の検定を行い、その中から望ましい結果のみを選択的に報告する行為）」が、統計的誤りを引き起こすかどうかについて、2 つの異なる哲学的アプローチ（エラー統計アプローチと形式的推論アプローチ）の対比を通じて再考するものです。著者は、p ハッキングがエラー統計アプローチでは第一種過誤率（Type I error rate）を膨らませるが、形式的推論アプローチでは膨らませないという論理的な結論を導き出しています。

1. 問題提起 (The Problem)

p ハッキングは、科学界の「再現性危機（replication crisis）」の主要な原因の一つとして広く認識されており、第一種過誤率（帰無仮説が真であるにもかかわらず誤って棄却する確率）が nominal（公称）レベル（例：0.05）を超えて膨らみ、偽陽性（false positive）の増加をもたらすとされています。
しかし、この「膨らみ」の解釈は、統計的推論をどう捉えるかという哲学的基盤に依存しています。多くの議論は、実験の「実際の」手順（隠された検定を含む）に基づいて第一種過誤率を評価するエラー統計アプローチに立脚しています。著者は、この前提が形式的推論アプローチ（Fisher や Popper の考え方に近い）では成立しないことを指摘し、p ハッキングの統計的性質に対する理解の再構築を提案しています。

2. 方法論と理論的枠組み (Methodology & Framework)

著者は、2 つの対照的な統計的推論の哲学を比較分析します。

エラー統計アプローチ (Error Statistical Approach):
- データと仮説の関係は、研究者が仮説やデータをどのように選択・構築したか（文脈の正当化）に依存すると考える（Mayo, Spanos など）。
- 「実際の」検定手順（隠された検定やデータ収集の選択を含む）を評価の対象とし、その手順全体における第一種過誤率（ファミリーワイズ誤差率）を計算する。
- p ハッキングは「バイアスのある選択効果」とみなされ、実際の誤り率を公称値よりも高くするため、統計的推論を無効化（invalidated）すると主張する。
形式的推論アプローチ (Formal Inference Approach):
- 統計的推論は、公式に報告された（公的に指定された）推論と、それに基づく仮説的検定手順にのみ依存すると考える（Rubin, Fisher, Popper など）。
- 第一種過誤率は、特定の帰無仮説と検定統計量の分布に基づいた「仮説的・数学的な条件付き確率」であり、研究者の心理的意図や隠された検定履歴とは無関係である。
- 報告された推論の種類（個別的推論、交差 - 交差推論など）によって、関連する誤り率が決定される。

3. 主要な貢献と論点 (Key Contributions)

A. p ハッキングによる第一種過誤率の「膨らみ」の否定（形式的推論アプローチにおいて）

論理の核心: p ハッキングを行う研究者は、通常、複数の検定（ $H_{0,1}, H_{0,2}, \dots$ $H_{0, 1}, H_{0, 2}, \dots$ ）を行い、その中から有意な結果（例： $H_{0,2}$ $H_{0, 2}$ ）のみを報告する。
- エラー統計アプローチ: 「実際の」手順は 2 つの検定を含むため、ファミリーワイズ誤差率（例： $1 - (1-0.05)^2 \approx 0.098$ ）が適用され、公称値 0.05 に対して「膨らみ」が生じるとみなす。
- 形式的推論アプローチ: 研究者が報告するのは、 $H_{0,2}$ に関する**個別的推論（Individual Inference）**のみである。この推論に対する第一種過誤率は、 $H_{0,2}$ の検定に基づく公称値（0.05）のままである。
- 論理的誤りの指摘: エラー統計アプローチが p ハッキングを問題視する際、報告された個別的推論に対して、報告されていない検定を含む「交差帰無仮説（Intersection Null Hypothesis: $H_{0,1} \cap H_{0,2}$ ）」のファミリーワイズ誤差率を適用しようとする。著者はこれを**「分割の誤謬（fallacy of division）」**（集合全体の確率を個々の要素に誤って適用すること）と指摘し、論理的に不適切であると論じる。

B. 第一種過誤率の定義と「実際の」手順の無関係性

形式的推論アプローチでは、第一種過誤率は「ランダムサンプリング誤差」のみを考慮した仮説的確率である。システムエラー（理論的誤り、方法論的誤り、データ操作など）は、第一種過誤率の値そのものには影響を与えない。
p ハッキングは「発見の文脈（context of discovery）」に属する心理的・歴史的プロセスであり、論理的・方法論的な「正当化の文脈（context of justification）」における推論の有効性を損なうものではない。

C. 最小厳密性要件（Minimal Severity Requirement）の不要性

エラー統計アプローチでは、推論を正当化するために「実際の」仮定が満たされているかを確認する「最小厳密性要件」が必要とされる。
形式的推論アプローチでは、第一種過誤率は「もし仮定が満たされていれば」という**含意仮定（implicatory assumptions / i-assumptions）**に基づいた仮説的推論であるため、実際の仮定が満たされていなくても、統計的推論自体（第一種過誤率の値）は有効であり続ける。

D. 未報告の null 結果（無結果）の扱い

p ハッキングによる null 結果の隠蔽は、形式的推論アプローチでは第一種過誤率を膨らませない。
しかし、著者はこれが「実質的推論（substantive inference）」をバイアスする可能性を認める。特に、null 結果が「欠如の証拠（evidence of absence）」とみなされ、かつ理論的に重要である場合、隠蔽は問題となる。
対策として、統計的調整（プリレジストレーション等）よりも、理論と証拠に関する**批判的合理主義的議論（critical rational discussion）**を通じて、どの null 結果が重要かを特定し、バイアスを防ぐことが推奨される。

4. 結果と結論 (Results & Conclusions)

結論: p ハッキングは、エラー統計アプローチの枠組み内では第一種過誤率を膨らませるが、形式的推論アプローチの枠組み内では膨らませない。
再現性危機への示唆: 再現性危機の原因は、p ハッキングによる第一種過誤率の膨らみ（形式的推論アプローチでは存在しない）ではなく、「未知の未知（unknown unknowns）」、すなわち研究者が認識していない解釈的誤りや隠れた調整変数（hidden moderators）による実質的誤解にある。
統計的アプローチの限界: 厳密な監査やプリレジストレーションは「既知の未知」に対処できるが、「未知の未知」を排除することはできない。したがって、再現性危機の解決には、新しい統計的手法ではなく、知識の限界と不可避な誤りを認める認識論的転換が必要である。

5. 意義とインパクト (Significance)

概念的明確化: p ハッキングを「統計的誤り」として一律に扱うのではなく、どの統計的哲学に基づいているかによってその性質が異なることを明らかにした。
実務への示唆: 形式的推論アプローチに立つ場合、p ハッキングに対する第一種過誤率の補正（例：Bonferroni 補正）は論理的に不要であり、報告された個別的推論の公称値をそのまま信頼できる。
研究文化の変革: 統計的調整（プリレジストレーション等）への過度な依存を戒め、理論的議論と批判的検討を通じて研究の質を高めるという、ポパー的な科学哲学への回帰を提唱している。

総括:
この論文は、統計的推論の基礎にある哲学的前提の違いが、p ハッキングという現象の評価を根本的に変えることを示す重要な論考です。著者は、形式的推論アプローチを採用することで、第一種過誤率の「膨らみ」という概念自体が不適切であることを論理的に証明し、再現性危機の解決策を統計的技術の改良から、より根源的な認識論的・文化的な変容へとシフトさせるよう提言しています。