Identical runs disagree more than different models: reproducibility limits in deep learning for brain-tumour MRI classification

医療画像という極めて重要な世界において、コンピュータはますます人間の脳の画像を見て腫瘍を見つけ出すことを求められています。これらの画像、すなわちMRIスキャンと呼ばれるものは複雑で詳細であり、それらを分析するために使用されるソフトウェアは、ディープラーニングとして知られる一種の人工知能に依存しています。これらのシステムを訓練するために、研究者は数千枚の画像をコンピュータに読み込ませ、コンピュータが自らパターンを学習し、病気を識別する能力を高めるまで内部設定を数百万回調整させるようにします。その目的は、医師が脳腫瘍のような疾患を診断する際に信頼できるツールを作り出すことです。しかし、この技術が安全で有用であるためには、その結果が一貫していなければなりません。もしコンピュータに同じデータが2回示された場合、理想的には同じ答えを出すべきです。科学者が2つの異なるコンピュータモデルを比較してどちらが優れているかを判断する際、しばなしば、現実世界のテストに進めるべきモデルを決めるために、わずか数パーセントの断片的な差を見極めようとします。

サンフランシスコ・ベイ・ユニバーシティのある研究者は、標準的な脳画像コンピュータモデルに特定の種類の推論を加えることで、腫瘍を見つける能力が向上するかどうかという特定のアイデアを検証しようと試みました。標準的なモデルは画像を直接見ますが、新しいバージョンは、人間が特徴の間のつながりを結びつけるように、画像内の異なる部分の間の関係性を理解しようとします。研究者はこれをテストするために厳格な実験を構築し、新しいアプローチが真に優位性をもたらすかどうかを確認するために、コンピュータモデルを何度も繰り返し実行しました。しかし、彼が見つけたのは、腫瘍検出における画期的な進歩ではなく、テストプロセス自体の信頼性に関する驚くべき発見でした。彼は、コンピュータ自身の訓練プロセスがあまりにも不安定であるため、全く同じモデルの2回の実行が、彼が2つの異なるモデル間で測定しようとしていた微小な差よりも大きな差を生じさせてしまうことを発見したのです。

研究は、数百人の患者からのMRIスライスを集めた大規模なコレクションから始まり、特定の患者のデータが訓練グループとテストグループの両方に現れないよう、注意深く分割されました。これは極めて重要です。なぜなら、もしコンピュータが両方のグループで同じ患者の腫瘍を見てしまった場合、コンピュータは疾患を一般的に認識することを学ぶのではなく、その特定の人物を単に記憶してしまうからです。研究者は標準的なモデルと、追加の推論レイヤーを含むより複雑なバージョンのモデルを訓練しました。彼は、結果がどのように変化するかを見るために、シードとして知られるランダムな開始数（乱数）を変更しながら、各バージョンを複数回実行しました。コンピュータサイエンスの世界では、このシードは、同じ数値から開始すれば、コンピュータが毎回まったく同じ動作を行うことを保証するためのものです。期待されていたのは、複雑なモデルが単純なモデルよりもわずかに優れているか、あるいはわずかに劣るかのいずれかであり、テストを3回実行することで明確な平均が得られることでした。

ところが、結果は混沌としたパターンを示しました。研究者が全く同じ構成のモデルを同じ開始数で2回実行したところ、精度スコアは平均して2パーセント以上も異なっていました。この変動は非常に大きかったため、彼が比較していた2つの異なるモデル間の小さな差を完全にかき消してしまいました。実際、2回の同一モデルの実行間の差は、単純なモデルと複雑なモデルの差よりも2倍以上大きかったのです。これは、実験が信号（シグナル）ではなく、ノイズを測定していたことを意味していました。研究者は、コンピュータが信頼できる計器として機能していないことに気づきました。それはまるで、金貨の重さを量る秤が、たとえ全く同じ場所に立っていたとしても、使うたびに異なる数値を出すようなものでした。

さらに深く掘り下げると、研究者はこの不正確さには主に2つの理由があることを発見しました。第一に、コンピュータの設定が間違っていたことです。ランダムな開始数がモデルが構築された後に適用されていたため、モデルの初期設定は依然としてランダムで制御不能な状態でした。この間違いを修正し、モデルが構築される前に開始数を適用した後でも、結果は完全には一致しませんでした。第二の問題は、コンピュータの数学的エンジンの中に深く隠されていました。ソフトウェアは完全に決定論的なモードで動作していると主張していましたが、モデルを学習させるために使用される特定の計算部分が、実行のたびにわずかに異なる結果を生み出していたのです。この隠れた欠陥は、研究者が実験の再現性を確保するために使用する標準的なチェックでは見抜けないものでした。

また、研究はデータの分割方法が結果を劇的に変えることも明らかにしました。データを患者ごとではなく、個々のMRIスライスごとに分割したところ、コンピュータの精度は5パーセント近く跳ね上がりました。これは、コンピュータが訓練セットとテストセットの両方から同じ患者のパターンを認識してしまい、腫瘍ではなく患者を認識させてしまったために起こりました。この膨れ上がったスコアは錯覚であり、モデルの真の能力を覆い隠すものでした。さらに、歪んだりノイズが入ったりした画像をモデルがどのように扱うかをテストした際、1回のテストでは一方のモデルがより堅牢であると示唆されましたが、テストを繰り返すと結果が逆転し、もう一方のモデルの方が優れているという結果になりました。この逆転現象は、一つの実験だけでは結論を導き出すには不十分であることを証明しました。

この研究の最終的な結論は、追加の推論レイヤーが脳腫瘍を検出する能力を向上させなかったということです。複雑なモデルは優れておらず、ある意味では、より遅く、信頼性も低いものでした。より重要なことは、この研究が、多くの医療AI研究がどのように行われているかという決定的な欠陥を浮き彫りにしたことです。研究者が発見したと主張する差異は、テストプロセス自体の自然な変動よりも小さいのです。研究者は、科学者が新しいモデルを信頼する前に、まずそのテスト設定が小さな変化を検出できるほど安定していることを検証しなければならないと主張しています。これには、ランダムな開始数が正しく適用されているかを確認することや、同じテストを2回実行して自然な変動を測定することが含まれます。これらのチェックに費やす時間や労力はごくわずかですが、しばしば省略されています。これらを行わなければ、この分野は、臨床的な判断を下すための重みに耐えうるほど強固ではない、不安定な基盤の上に医療ツールを築くリスクを負うことになります。この論文は、より優れた医療技術を追求する過程において、測定ツール自体が正確であることを保証することが、ツールそのものと同じくらい重要であることを思い出させるものです。