Widespread use of invalid statistical tests in biomedical machine learning

本論文は、生体医療機械学習において交差検証のフォールド依存性を無視した無効な統計的検定の広範な使用が偽陽性率の過大評価を招くことを明らかにし、これにより著者らは頑健な解決策としてSHARP検定を提案し、妥当なモデル比較のための新たな報告ガイドラインを提供する。

要約

あなたが二人の新しいレシピのうち、どちらが最も美味しいケーキを作るかを決める裁判官だと想像してください。公平を期すため、各レシピで一つずつケーキを焼き、一度だけ味見をするだけでは不十分です。代わりに、レシピ A で 10 個、レシピ B でも 10 個のケーキを焼き、10 人の異なる友人に味見をしてもらいます。

問題：「グループハグ」の誤り

生体医学における機械学習（医療データからパターンを見つけるためにコンピュータを用いる分野）の世界では、科学者たちは「交差検証」と呼ばれる類似の手法を行っています。彼らはデータを 10 の断片に分割し、9 つの断片でコンピュータモデルを訓練し、残りの 1 つでテストします。これを 10 回繰り返します。

この論文は、科学者たちの大半がここで致命的な過ちを犯していると主張しています。彼らはこれらの 10 回のテスト結果を比較する際、各テスト結果が完全に独立しているという前提に立つ標準的な数学ツール（例えば、対 t 検定など）を使用します。これは、互いに一度も会ったことのない 10 人の見知らぬ人にケーキを味見させるようなものです。

しかし実際には、これらの 10 回のテストは独立していません。それらはすべて同じ基盤となるデータを見ており、単に切り分け方が異なるだけです。これは、同じ 10 人の友人に 10 回連続してケーキを味見させるようなものです。友人たちは互いを知っており、似たような好みを持っているため、彼らの意見は「相関」しています。

この論文は、この関連性を無視することで、科学者たちはわずかに曲がった定規を使っているのだと指摘します。彼らは非常に精密であると信じていますが、実際には「統計的な幽霊」を見ています。実際には存在しないモデル間の差異を見つけ出し、膨大な数の「誤報（偽陽性）」を引き起こしているのです。

調査：グローバル監査

著者たちは単に推測したわけではありません。彼らは探偵のように調査を行いました。彼らは、トップクラスの医学誌（非常に有名で影響力があることを示す高い「インパクトファクター」を持つもの）に掲載された 210 の高名な研究をレビューしました。

• 発見： 驚くべきことに、これらの研究の 97% が「グループハグ」の誤りを犯していました。彼らは依存関係のあるテスト結果を、独立したものとして扱っていたのです。
• 範囲： これは数少ない「悪い」研究だけの問題ではありませんでした。雑誌の知名度がどうであれ、規則がどれほど厳格であれ、科学者たちがデータを公開していたかどうかに関わらず、この問題は発生しました。これは分野全体に広まっている習慣です。

シミュレーション：どれほど深刻か

この問題がどれほど危険かを証明するため、著者たちは 420 種類の異なるコンピュータシミュレーションを実行しました。彼らは、テスト結果が相互に関連しているという事実を無視すると、以下のことが起こることを発見しました。

• 「誤報」の率が急騰します。
• テストを何度も繰り返す（「反復交差検証」と呼ばれる一般的な手法）場合、誤報を発生させる確率はほぼ 100% にまで上昇します。これは、くじ引きに毎回当たったと告げられるようなもので、実際には何も当たっていないにもかかわらずです。

解決策：「SHARP」テスト

この論文は、この問題を修正することが難しいと説明しています。標準的な手法では、結果が似ているのはモデルが実際に優れているからなのか、それともデータ断片同士が互いに似すぎているからなのかを区別できないからです。これは、友人たちが同意しているのが頭が良いからなのか、それとも単に互いにコピーしているからなのかを突き止めようとするようなものです。

これを解決するため、著者たちは「SHARP（Split-HAlf RePeated：分割・半反復）」と呼ばれる新しい手法を提案しています。

• 仕組み： 10 人の友人に 10 回ケーキを味見させる代わりに、彼らを 2 つの別のグループに分けると想像してください。グループ 1 は実験の前半でケーキを味見し、グループ 2 は後半で味見します。これらのグループは明確に区別され、分離しているため、「共鳴室」効果なしに、彼らがどの程度自らの意見で一致しているかを測定できるようになります。
• 結果： 著者たちが SHARP を他の 12 の手法と比較してテストしたところ、明確な勝者となりました。それは、誤報を低く抑えつつ、モデル間の実際の差異を検出できる唯一の手法でした。

結論

この論文は、現在の医療 AI モデルを比較する方法は破綻していると結論付けています。これは、命を救う薬の材料を量るために壊れたはかりを使っているようなものです。著者たちは、科学者が数学を修正し、あるモデルが他よりも優れていると主張する際に、実際に真実を語っていることを保証するための、新しいシンプルな規則集（ベストプラクティス）を提供しています。

技術概要

技術的概要：生体医学機械学習における無効な統計的検定の広範な使用

問題点
機械学習は、アルゴリズムのベンチマークやバイオマーカーのランキングなどの科学的洞察の特定に頻繁に用いられ、生体医学研究の礎となっています。予測性能を評価する標準的なアプローチは交差検証（CV）です。しかし、この実践を根底から揺るがす重大な統計的欠陥が存在します。すなわち、異なる CV フォールドから導き出された予測性能の推定値は独立していないという点です。これらの性能を比較するために用いられる標準的な統計的検定（例えば、対 t 検定）は、独立性の仮定に依存しています。この仮定が違反されると、検定は偽陽性率を制御できなくなり、無効な推論へと至ります。この問題の普遍性にもかかわらず、高インパクトの科学文献において、この問題は依然としてほとんど対処されていません。

方法論
著者らは、この問題を診断し解決するために、多面的な方法論的アプローチを採用しました。

1. メタ分析: 2020 年 6 月 1 日から 2025 年 6 月 1 日の間に、インパクトファクターが 15 以上のジャーナルで発表された 210 の研究を対象とした、PRISMA に基づくレビューを行いました。このレビューでは、研究がどのように予測性能を比較し、フォールド依存性を考慮していたかを特に検討しました。
2. シミュレーション研究: 4 つの多様なデータセットを用いて 420 のシナリオにわたる広範なシミュレーションを実施しました。これらのシミュレーションは、反復交差検証の使用を含む、様々な条件下における標準的検定の性能をテストしました。
3. 統計分析: 著者らは、既存の「フォールド依存性認識型」検定の理論的限界を分析しました。標準的な交差検証の下では、フォールドレベルの統計量の分散とフォールド間の相関を分離することができず、既存の手法を強制的に、しばしば検証されていない強い仮定に依存させることを指摘しました。
4. 新しい検定の提案: これらの限界を克服するため、著者らはSHARP（Split-HAlf RePeated：分割・半分割・反復）検定を提案しました。この手法は、標準的な交差検証手順を修正し、分散と相関の両方を直接推定可能にすることで、検証不可能な仮定に依存することなく、有効な統計的推論の要件を満たします。

主要な結果

• 誤りの蔓延: メタ分析により、レビューされた研究の**97%**が予測性能の比較においてフォールド依存性を無視していたことが明らかになりました。この見落としは科学分野全体に普遍的に存在しており、高いインパクトファクター、厳格性を促進する政策、あるいはオープンサイエンスの実践によって緩和されていませんでした。
• 偽陽性への影響: シミュレーションは、フォールド依存性を無視することが、大多数の設定において無効な偽陽性制御をもたらすことを示しました。この問題は反復交差検証によって悪化します。反復回数の増加に伴い、偽陽性率は**100%**に近づく可能性があります。
• SHARP の性能: 他の 12 の統計的検定とのベンチマークにおいて、SHARP 検定は、偽陽性制御、統計的検出力、信頼区間の較正という 3 つの重要な指標において、全体的に最良のバランスを示しました。この性能は、様々なシミュレーションスキームにおいて一貫して達成されました。

意義と主張
本論文は、生体医学研究における機械学習モデルの比較に標準的な検定に依存する現状が根本的に欠陥を有しており、誤った科学的結論のリスクを高めることを主張しています。高い編集基準にもかかわらずこの問題が存続していることを特定することで、著者らは統計的厳密性における体系的な欠陥を浮き彫りにしました。

この研究の主な貢献は、必要な統計パラメータの直接推定を可能にすることでフォールド依存性の問題に対する実用的な解決策を提供する SHARP 検定の導入です。さらに、著者らは、生体医学機械学習および関連分野におけるモデル比較推論の有効性を回復させることを意図した、具体的なベストプラクティスと報告ガイドラインを提供して結論付けています。この研究は、バイオマーカーのランキングなどの科学的応用が統計的に健全な証拠に基づいていることを保証するために、コミュニティがこれらの修正された方法論を採用するよう促す行動喚起として機能します。