📊 statistics

Critical Values Robust to P-hacking

本論文は、研究者が新たな基準に合わせて行動を調整する場合でも、有意な結果が所望の頻度で発生することを保証するために、医学科学データを用いて従来の有意水準の5分の1の水準において古典的な値と等価になるよう較正された、より大きな「ロバストな」棄却限界値を導出するためにpハッキングを取り入れた仮説検定のモデルを提案するものである。

原著者： Adam McCloskey, Pascal Michaillat

公開日 2026-07-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Adam McCloskey, Pascal Michaillat

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ミステリーを解決しようとしている探偵だと想像してください。科学の世界において、この「ミステリー」とは、「この新しい薬は本当に効くのか？」や「このコインは公平か？」といった問いであることがよくあります。これを解決するために、科学者は仮説検定と呼ばれる特別な道具を使います。この検定を、非常に厳格な裁判官だと考えてください。裁判官は、容疑者は無実である（これは「帰無仮説」と呼ばれます）という前提からスタートします。裁判官が「有罪（帰無仮説を棄却）」を宣告するのは、その証拠があまりにも圧倒的で、それが純粋な偶然によって起こる確率が5%未満である場合のみです。この5%という制限を有意水準と呼び、証拠が打ち負かさなければならない具体的な数値が臨界値です。

しかし、ここには問題があります。現実の世界は、必ずしも法廷のように整然としてはいません。科学者も他の人々と同じように、勝ちたいと考えています。彼らは自らの研究結果が発表され、キャリアが飛躍し、理論が有名になることを望んでいます。これが、一種の「ズル」をする強い誘惑を生み出します。嘘をつくのではなく、望む結果が得られるまで何度も何度も試行錯誤すること、これがpハッキングと呼ばれるものです。これは、サイコロを振り続け、ようやく「6」が出た時に、それまでの「1」や「2」や「3」のことは隠して、その「6」が出たことだけを友人に話すようなものです。もし全員がこのようなことをすれば、「無実」の容疑者が誤って有罪とされることがあまりにも多くなり、科学の司法制度全体が崩壊してしまいます。これが、なぜ「再現性の危機」が起きているのかという理由です。多くの有名な科学的発見が、元の科学者たちが運良く結果が出るまでサイコロを振り続けたために、実は偽りであったことが判明しているのです。

アダム・マクロスキーとパスカル・ミハイラットによるこの論文は、この「ズル」の問題に正面から取り組んでいます。彼らは科学者に「サイコロを振るのをやめなさい」とは言いません。報酬が高い限り、科学者が試行を続けることは分かっているからです。代わりに、彼らは数学的なモデルを構築し、たとえ科学者が試行を繰り返したとしても、「無実」の容疑者が依然として守られるような、ゲームのルールを変更する方法を見つけ出しました。彼らは、現在のルールは突破するのが容易すぎると結論付けました。これを解決するために、彼らはより高いハードルとなる、新しい、より厳しい「臨界値」を提案しています。

彼らの解決策がどのように機能するかを、遊び心のある比喩を使って説明しましょう。科学者がビデオゲームのレベルをクリアしようとしているゲーマーだと想像してください。「レベル」とは、有意な結果を見つけることです。旧システムでは、ゲームの難易度設定が低すぎました。もし科学者が一度目に失敗しても、勝利するまで何度でも「リトライ」することができました。何度も試行できるため、たとえゲームが偶然ではクリア不可能なはずの設定であっても、最終的にはほぼ確実に勝利してしまいます。この論文は、これでは「勝利」に意味がないことを示しています。

著者たちは新しいルールを提案しています：ゲームをより難しくせよ。 しかし、単に少し難しくするだけではありません。彼らは、ゲームを難しくすれば、科学者は勝利するためにさらに多く回数をプレイするようになることも理解していました。ですから、それだけの追加の試行を行ってもなお、科学者が（目標とする通り）5%の確率でしか勝利できないような、非常に高い難易度に設定しなければなりません。

ゲームをどれほど難しくすべきかを判断するために、著者たちは医学研究の実際のデータを用いました。彼らは、資金、時間、またはエネルギーが尽きるために、研究の約20%が完了する前に中止されていることを見出しました。これは、科学者が単一の実験を最後までやり遂げられる確率が80%であることを意味します。この数値を用いて、彼らは、ズルを防ぐためにはゲームの「難易度」を劇的に上げる必要があると計算しました。

彼らの主な発見は、シンプルで強力な経験則です：pハッキングを修正するには、有意水準が実際よりも5倍小さいかのように振る舞う必要がある。

もし科学者が、標準的な5%のレベルで結果が有意であると主張したい場合、通常の臨界値（両側検定の場合は1.96）を使用すべきではありません。代わりに、1%のレベルに対応する臨界値（2.58）を使用すべきなのです。

なぜこれが機能するのでしょうか？著者たちは、難易度を2.58に上げると、科学者が実際に試行回数を増やすことを示しています。彼らは、あの高いラインを越えようと必死になって、より多くの実験を行い、データポイントを削り、モデルを微調整するでしょう。しかし、ラインがあまりにも高いため、そのようなあらゆる努力を注ぎ込んだとしても、純粋な運によってそのラインを越えられるのは、結局のところ5%の確率程度に留まるのです。「ズル」は依然として行われていますが、それがシステムを破壊することはありません。

この論文は、「科学者にズルをやめるように言う」ことや、「何回試行したかを数えることで解決できる」という考えを明確に退けています。著者たちは、科学者はどのようなルールを設定しても、それに合わせて行動を調整するものであると主張しています。もし「3回までしか試行できない」というルールを作れば、科学者は4回試行する方法を見つけ出すでしょう。システムを保証する唯一の方法は、科学者がリソースを使い果たすまで試行を続けるという事実を考慮した上で、臨界値を設定することなのです。

著者たちは自分たちの数学に自信を持っています。彼らは単に推測したのではなく、確率論と「最適停止（いつゲームを辞めるべきかという高度な概念）」を用いた厳密なモデルを構築しました。彼らは、実験にコストを加えることや、後の実験を完了させるのを難しくすることなど、異なるシナリオを用いて彼らのアイデアをテストしましたが、彼らの解決策は一貫して有効でした。また、彼らは、研究者による「有意水準を単純に0.5%に下げる」という一般的な提案とも比較を行いました。著者たちは、レベルを下げることは良いアイデアではあるものの、彼らのモデルは、科学者がどれだけの資源を持って試行を続けるかに基づいて、具体的に「どの程度」下げるべきかを正確に示していると述べています。

結局のところ、この論文は科学に対する実践的な盾を提示しています。もし私たちが科学的な結果を再び信頼したいのであれば、古い、簡単に突破できてしまう数値を使うのをやめる必要があります。私たちはこれらの「ロバストな臨界値」を採用する必要があります。標準的な両側検定の場合、それはゴールポストを1.96から2.58へと移動させることを意味します。これは高いハードルであり、毎日発表される「画期的な発見」の数は減少することを意味します。しかし、そのトレードオフとして、発表される画期的な発見は「本物」であり、「無実」の帰無仮説は、運の良いサイコロの目によって有罪とされることからようやく守られることになるのです。

技術要約：Pハッキングに対して頑健な棄却限界値

問題提起
Pハッキング（統計的に有意な結果が得られる可能性を高めるために、意図的な行動をとること）は、科学研究において蔓延しているが、古典的な仮説検定理論には存在しない概念である。その結果、古典的な棄却限界値の下では、真の帰無仮説が名目上の有意水準（ $\alpha$ ）よりも高い頻度で棄却されてしまう。これは、科学者が有意性を追求することに強いインセンティブ（出版、キャリア形成）を持ち、かつ規範に抵触することなく、データ収集や分析において十分な柔軟性を備えているために起こる。多重検証に対する古典的な補正（例：ボンフェローニ補正）は、実験の数を固定されたものとして扱うため、この問題を解決できない。実際には、科学者は新しい基準に応じて自身の行動を調整する。もし補正によって有意性の達成が困難になれば、科学者は有意な結果が見つかるまで実験を単純に増やし続け、それによって補正の効果を打ち消してしまうのである。

手法
著者らは、最適停止理論を用いてPハッキング行動を明示的に組み込んだ、仮説検定の構造モデルを開発している。

科学者の環境: 科学者は、帰無仮説（ $H_0$ ）に対して対立仮説（ $H_1$ ）を検証する。科学者は、有意な結果に対して高い報酬（ $v_s$ ）を受け取り、有意でない結果に対してはより低い報酬（ $v_i$ ）を受け取る。
リソース制約: 実験の実施には有限のリソース（時間、資金、体力）を消費する。総リソース制限 $L$ は指数分布に従う。各実験のコストはランダムである。科学者は、リソースが枯渇するか（インデックス $K$ ）、あるいは有意な結果が見つかった時点で停止する。
Pハッキング戦略: 科学者は実験を逐次的に行う（ $n=1, 2, \dots$ ）。結果が有意ではなく、かつリソースが残っている場合、科学者は次の実験へと進む。結果が有意であれば、科学者は停止してそれを報告する。リソースが枯渇する前に有意性に達しなかった場合、科学者はこれまでに得られた中で最も優れた（最大値の）統計量を報告するが、それは必然的に有意ではないものである。
完了確率 ( $\gamma$ ): モデルでは、最初の実験がリソース枯渇前に完了する確率を $\gamma$ と定義する。このパラメータは、研究を実施することの容易さと、リソース制約の蔓延度合いを捉えている。
頑健な棄却限界値の導出:
- 著者らは、帰無仮説 $H_0$ が真であるとき、棄却限界値 $z$ の下で科学者が実行する期待実験回数 $E(N(z))$ を導出する。
- 実際に報告される統計量が $z$ を超える確率、すなわち第一種の過誤の実際の確率 $S^*(z)$ を計算する。これは $S^*(z) = S(z) \times E(N(z))$ であることが示される（ここで $S(z)$ は古典的な生存関数である）。
- 頑健な棄却限界値 ( $z^*$ ) は、 $S^*(z^*) = \alpha$ を満たす値として定義される。これにより、たとえ科学者が新しい基準に合わせて最適にPハッキング行動を調整したとしても、偽の棄却の頻度が所望のレベル $\alpha$ に保たれることが保証される。

主要な貢献と結果

最適停止行動: モデルは、科学者にとっての最適戦略は、有意な結果が見つかるかリソースが枯渇するまで実験を継続することであることを示している。これは、停止時間の幾何分布をもたらす。
頑根な棄却限界値の公式: 本論文は、非標準的なボンフェローニ補正を導出している。有意水準 $\alpha$ に対する頑健な棄却限界値 $z^*$ は、減少した有意水準 $\alpha^*$ に対する古典的な棄却限界値と等価である。ここで：
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
決定的なのは、 $E(N(z^*))$ が古典的な値ではなく、頑健な 棄却限界値の下での期待実験数である点である。著者らは、 $z^*$ が以下によって暗黙的に定義されることを示している：
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
ここで $Z$ は統計量の逆生存関数である。
行動的反応: 従来の補正とは異なり、このアプローチは行動的反応を考慮している。すなわち、棄却限界値が厳格になるにつれて、科学者はより多くPハッキングを行う（ $E(N)$ が増加する）。頑健な棄却限界値は、この実験回数の増加を相殺するために、常に古典的な棄却限界値よりも大きくなる。
汎用性: 独立した実験という仮定の下で導出された頑健な棄却限界値は、他の広範なPハッキング戦略（データの統合、外れ値の除去、仕様の探索など）に対しても、それらの戦略がテスト統計量間に正の依存性を誘発する限り、有効である。

数値的例示とキャリブレーション
著者らは、研究のライフサイクルに関する医学分野のデータ（Dwan et al., 2008）を用いてモデルをキャリブレーションしている。

キャリブレーション: 承認された研究のうち、開始されなかった、あるいは早期に停止された研究の割合を分析することで、完了確率 $\gamma$ を推定する。推定された完了確率は $\gamma = 80\%$ である。
経験則: $\gamma = 0.8$ $γ = 0.8$ のとき、5%の第一種の過誤率を維持するために必要な実効的な有意水準は、およそ $\alpha/5$ $α /5$ である。
- 片側 $z$ 検定で $\alpha=5\%$ の場合、頑健な棄却限界値は 2.33 である（古典的な 1.64 に対して）。
- 両側 $z$ 検定で $\alpha=5\%$ の場合、頑根な棄却限界値は 2.58 である（古典的な 1.96 に対して）。
感度: 頑健な棄却限界値は $\gamma$ の変動に対して比較的鈍感である。 $\gamma$ が 70% から 90% の間で変化したとしても、両側検定の棄却限界値は 2.42 から 2.79 の範囲内に留まる。

意義と主張
本論文は、Pハッキングの実態を考慮して有意性の基準を調整するための理論的基礎を提供すると主張している。

信頼性の回復: 頑健な棄却限界値を使用することで、科学コミュニティは、最適なPハッキングが存在する場合でも、偽陽性（第一種の過誤）の発生率が公表された有意水準を超えないようにすることができる。
代替案との比較: 著者らは、事前解析計画（Pre-analysis plan）の登録と比較している。登録は特定の形態のPハッキングを防ぐが、探索的なデータ分析を阻害する可能性がある。一方、頑根な棄却限界値は、探索を許容しながら統計的な妥当性を維持する。さらに、登録は科学者が有意な結果が見つかるまで実験を繰り返すことを防げないが、頑健な棄却限界値はこの特定の限界に対処する。
提案への理論的関連: この分析は、有意水準を下げる提案（例：Benjamin et al., 2018 が示唆する 5% から 0.5% への引き下げ）に対する理論的な裏付けを与える。必要な減少の大きさは、その分野の完了確率に依存することが示されている。10倍の減少は完了確率 90% に、5倍の減少は 80% に対応する。

結論として、科学者が有意性を追い求めるインセンティブと機会を持つ環境において、仮説検定の情報性を維持するためには、頑健な棄却限界値が不可欠なツールである。

技術要約：Pハッキングに対して頑健な棄却限界値

関連論文