The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
このシミュレーション研究は、臨床予測モデルの比較において典型的な小さな効果量においては、宣言された「勝者」が真のモデルの優位性ではなく、頻繁にランダムなデータ分割によって決定されており、その結果、性能の差が誇張され、同一のデータを使用しているアナリスト間でも重大な不一致が生じることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
医学研究の世界では、科学者たちは誰が病気になるか、そして誰が健康を維持するかを予測するための新しいツールを絶えず構築しています。臨床予測モデルとして知られるこれらのツールは、患者のデータを用いて将来の事象の可能性を推測する、人体に対する洗練された天気予報のようなものです。どのツールが最適かを判断するために、研究者たちは通常、テストデータを用いてそれらを互いに競わせます。彼らは、ツールがどれほど正確に予測できたかを測定するスコアを算出し、そのスコアが高い方が勝者として宣言されます。このプロセスは分野を発展させるための標準的な方法であり、新しい研究によって、新しい機械学習アルゴリズムが以前のより単純な手法を打ち負かしたという発表が頻繁に行われています。しかし、これらのツールの間の差はしばれて驚くほど小さく、時にはわずか数パーセントの極小の断片にすぎないこともあります。これら二つのモデルの間の差がそれほど狭いとき、「宣言された勝者は本当に優れているのか、それとも単に、そのツールがたまたまテストされた特定の患者グループに対して運が良かっただけなのか」という疑問が生じます。
アニヤ・シャルマによる最近のシミュレーション研究は、まさにこの不確実性を探求しています。この研究は、実際の患者や新しい医療データを用いるのではなく、コンピュータを使用して、二つの予測モデルが比較される何千もの架空のシナリオを生成しています。目的は、勝者となったモデルが真に優れた能力を持っている頻度はどのくらいか、そして結果がデータの分割方法による偶然の産物である頻度はどのくらいかを調べることでした。これらのシミュレーションにおいて、研究者たちは予測結果に対してほぼ同一の予測能力を持つ二つのモデルを作成しました。そして、彼らは比較の結果がどのように変わるか、あるいは報告された優位性がどの程度誇張されるかを見るために、テストグループのサイズとデータのランダムな分割方法を変えながら、何千回もの比較を実行しました。
研究結果は、これらの比較が現在どのように行われているかについて、驚くべき不安定さを明らかにしています。二つのモデルの真の差が非常に小さい場合（これは現実世界の医学研究における典型的なケースです）、宣言された勝者はしばしば偶然の産物となります。モデルがほぼ同一のスキルを持っていたあるシナリオでは、全く同じデータを分析していても、異なるランダムな分割を使用した二人の研究者が、ほぼ半分の確率で異なる勝者を発表することになります。たとえ一つのモデルが真にわずかに優れていたとしても、テストグループが小さければ、「より優れた」モデルが正しく特定されるのは約3分の2の時だけでした。これは、発表された多くの研究において、あるツールが他よりも優れているという結論が間違っている可能性があることを意味します。それは単に、テストセットに選ばれた特定の患者が、ランダムな運によって一方のモデルに有利に働いたためです。
もう一つの大きな発見は、勝利の差（マージン）の大きさに関するものです。モデルが勝利した際、研究では報告された性能差がほぼ常に膨らんでおり、実際の差よりもはるかに大きく見せていることが分かりました。例えば、二つのモデルの真の差が極めて小さかった場合、勝ったモデルは実際の値の2倍以上の差を報告することがよくありました。これは、勝者を選ぶプロセスが、その特定のテストにおいて最も好都合なランダムノイズを選択してしまうために起こります。これはコイン投げに似ています。もし10回コインを投げて6回表が出た場合、あなたはコインに偏りがあると主張するかもしれませんが、その結果は単なるランダムな変動にすぎません。これらの医学的モデルの文脈において、「勝者の呪い」とは、報告された成功が、真の実力と多大な統計的運の混合物であることを意味し、研究者が画期的な進歩を見つけたと思っているとき、実際にはランダムなスパイクを見つけただけであるという状況を招いています。
研究では、問題がモデルの構築方法にあるのか、それともデータのテスト方法にあるのかについても調査されました。モデルを固定してテストグループのみを変更した場合と、新しい分割ごとにモデルを再学習させた場合の両方を行った結果、研究者たちは、不安定さはほぼ完全にテストグループ自体に由来することを発見しました。これは、モデルをより複雑にしたり安定させたりしても問題は解決しないことを示唆しています。問題は、多くの研究で使用されているテストグループが、性能が非常に近いモデルを確実に区別するにはあまりにも小さすぎるということです。テストグループが小さいとき、データのランダムなノイズが、実際の差という微かな信号をかき消してしまうのです。
結局のところ、この研究は、一度のテスト実行に基づいて単一の勝者を宣言するという現在の習慣が、しばしば誤解を招くものであることを示唆しています。研究者は、単一の比較を最終決定として扱うのをやめるべきだと研究は推奨しています。代わりに、差に関する不確実性の範囲を報告し、決定的なことに、異なるランダムな分割を用いてテストを何度も繰り返し、どの程度の頻度で各モデルが勝つかを確認すべきです。もしモデルが多くの繰り返しの中で半分をわずかに上回る程度しか勝たないのであれば、誠実な結論は、現在のデータでは二つのモデルは実質的に区別不能であるということです。テストグループがこのランダム性を克服できるほど大きくなるまで、あるいは研究がこのようなより厳格な報告方法を採用するまで、「臨床予測コンペティションの勝者」は、医学的真実の反映というよりも、ダイスの目の反映である可能性が高いのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。