How Robust Are Machine-Learning Biomarkers of Depression? A Leakage-Controlled Benchmark

現代の医学界において、医師や研究者は、精神疾患が悪化する前にそれを見つけ出すための助けとして、ますますコンピュータに頼るようになっています。その考え方は、ある人物に関する膨大な情報（睡眠パターン、日々の活動、気分、そして病歴など）をコンピュータに読み込ませ、人間が見逃してしまうような抑うつの微細な兆候を機械に学習させるというものです。計算精神医学（computational psychiatry）としばしば呼ばれるこの分野は、診断がより速く、より正確で、誰もが利用可能になる未来を約束しています。しかし、これらのコンピュータモデルが実生活で役立つためには、すでに知っている人々について過去を記憶するだけでなく、出会ったことのない人々の未来を予測できなければなりません。この研究における最大の危険は、「データ漏洩（データ・リーケージ）」と呼ばれる隠れた罠です。これは、例えば医師が答えを知った後に記録された診断のヒントのような、コンピュータが本来持っていてはならない情報を、誤ってモデルに与えてしまう場合に起こります。もしモデルがこれらの禁止された手がかりを利用してしまうと、研究室の中では驚くほど賢く見えますが、実際のクリニックで患者を助けようとした時には完全に失敗してしまいます。

ロンドン・クイーン・メアリー大学のある研究者は、まさにこれらのコンピュータモデルがいかに脆弱であるかをテストすることに決めました。研究者は、扱いが難しく制御が困難な本物の患者記録を使う代わりに、コンピュータの中に完全に架空の世界を構築しました。この合成された世界には、10の模擬病院にわたる8,000人の架空の人々のデータが含まれていました。各個人には、年齢、所得、睡眠、心拍数、そして気分といった詳細を含むデジタルプロフィールが付与されていました。その後、研究者はこの架空の世界におけるうつの有無を決定するための特定のルールを作成しました。すなわち、合計症状スコアが一定のレベルに達した者は、症例としてマークされるというルールです。この完璧に制御されたセットアップを用いることで、研究者はゲームのルールを変更したときに何が起こるかを確認するための一連の実験を行うことができました。その目的は、コンピュータモデルが実際にうつを認識することを学んでいるのか、それとも単に利用すべきではない情報を利用しているだけなのかを見極めることでした。

最初の実験では、未来の情報を利用する力のテストが行われました。研究者は、うつの状態がすでに決定された後に作成された2つの特定の情報、すなわち、医師が患者をさらなる支援のために紹介したかどうかの記録と、受けた治療計画のコードを取り上げました。現実世界のシナリオでは、新しい人物のうつを予測しようとするコンピュータは、医師がそれらの決定を下す前であるため、これらの記録をまだ目にすることはありません。しかし、このテストでは、研究者はコンピュータモデルにそれらを見せることにしました。結果は劇的でした。モデルがこれらの未来の手がかりを覗き見ることを許すと、その性能はほぼ完璧なレベルまで跳ね上がりました。基本的な統計を用いる単純なモデルが、突如としてほぼ毎回正解を出しているかのように見えたのです。数値によれば、うつ状態にある個人とそうでない個人を区別するモデルの能力は、1.00のうち0に限りなく近い0.99というスコアに急上昇しました。これは、たとえ控えめに賢いモデルであっても、カンニングペーパーを与えられれば天才のように見えることを証明しました。

次に、研究者はそれらの未来の手がかりを取り除き、それらなしでモデルに再挑戦させました。今回は、睡眠習慣や気分スコアのように、診断の前に真に利用可能である情報のみに頼らなければなりません。性能は低下しましたが、崩壊はしませんでした。単純な統計モデルは依然として非常に優れた性能を示し、約0s.95のスコアでうつ状態の個人を正確に特定しました。これは極めて重要な発見でした。モデルは単にカンニングペ紙を暗記していたのではなく、他のデータからうつに関する実際のパターンを実際に学習していたことを示しているからです。しかし、ほぼ完璧なスコアから、高いものの完璧ではないスコアへの低下は、未来情報の利用がいかに結果を水増ししていたかを明らかにしました。研究者たちは、この差が単なる統計的な誤差ではなく、モデルが準備できていないにもかかわらず、あたかも実世界に投入できる準備ができているかのように研究者を欺きかねない、大規模な変化であることを発見しました。

続いて、研究は、モデルが真に学習しているのか、それとも特定の人物を単に記憶しているだけなのかをテストしました。多くの現実世界の研究では、同じ人物が異なる日の異なる測定値として、データの中に何度も登場することがあります。もしコンピュータモデルがトレーニングフェーズで特定の人物のデータを見て、その後にテストフェーズでも同じ人物のデータを見ることになった場合、モデルは一般的なうつのルールを学ぶのではなく、その特定の人物を単に記憶しているだけかもしれません。これをテストするために、研究者は、トレーニンググループとテストグループの両方に同じ人物が現れないようにデータを分割しました。驚くべきことに、モデルの性能は低下しませんでした。スコアは以前と同じくらい高いままでした。これは、この特定のシミュレーション環境においては、モデルが個々の人物を記憶することに依存して高いスコアを得ているわけではないことを示唆しています。彼らはすべてに適用されるパターンを見つけ出していたのです。

研究者はまた、モデルが異なる病院に対応できるかどうかもテストしました。現実の世界では、ある都市で訓練されたモデルは、人々が異なっていたり医師の質問の仕方が異なっていたりするために、別の都市では失敗することがあります。研究者は、9つの架空の病院のデータでモデルを訓練し、その後、一度も見ることのなかった10番目の病院でテストすることで、これをシミュレートしました。ここでも、モデルは持ちこほどでした。性能が崩壊することはありませんでした。彼らは高い精度を維持したまま、うつを予測し続けました。これは、多くの専門家がモデルを新しい環境に移すと苦戦することを予想している中で、また一つの驚きとなりました。これは、モデルが学習したパターンが、シミュレートされた病院間の違いを乗り越えるほど強力であったことを示唆しています。

最後に、研究者は、より複雑で洗練されたコンピュータアルゴリズムの方が優れているのかどうかを問いかけました。研究は、単純な統計モデルを、高度なニューラルネットワークや、データの隠れた非線形なつながりを見つけ出すように設計された決定木アルゴリズムを含む、5つの非常に複雑なシステムと比較しました。この分野では、こうした複雑な機械の方が優れているという期待がよくあります。しかし、結果はほとんど差がないことを示しました。単純なモデルは、より複雑なものと同等の性能を発揮しました。場合によっては、単純なモデルの方がわずかに優れていることもありました。派手なアルゴリズムは、単純なモデルが見逃した隠れた秘密を見つけ出すことはできませんでした。それらはすべて、0.95付近の同じ精度レベルに達しました。これは、この種の課題に対して、複雑さを加えることがより良い結果をもたらすわけではないことを示唆しています。

本研究は、優れたうつ病予測器を構築するための最も重要な要因は、コンピュータコードの精巧さではなく、データの誠実さであると結論付けています。精度の最大の脅威は、計算能力の不足ではなく、答えを漏らしてしまう情報の偶発的な混入です。これらの漏洩を取り除くと、モデルは書面上では目立たなくなりますが、より信頼できるものになります。単純なモデルが複雑なものと同等の性能を示したという事実は、この問題を解決するために複雑なブラックボックスを構築する必要はないということを意味しています。これらの知見は警告として機能します。高いスコアを得たことは、十分ではありません。私たちは、そのスコアがどのように達成されたのかを確認しなければなりません。もしモデルが完璧に見えるなら、それは利用すべきではない情報を利用していたのではないかと疑わなければなりません。もし未来情報の利用を取り除いた後でも良好な結果を示すのであれば、私たちはようやく、実際に機能するツールを手にすることができるのかもしれません。この研究は、実在の人間におけるうつ病を完璧に予測できることを証明したわけではありません。なぜなら、データは完全に合成されたものだからです。これは、実際の臨床集団における正確性や誤差の大きさを確立するものではなく、テストの手法がいかに機能するかというメカニズムを示すものです。しかし、これらのツールをテストする方法自体が、ツールそのものよりも重要であることを、この研究は証明しています。