Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

医療技術の世界において、機械学習は、コンピュータが症状のリストを読み取るだけで糖尿病のような疾患を見つけ出すという未来を約束してきました。そのアイデアは強力です。患者が喉の渇き、倦怠感、視界のぼやけといった自身の感覚を説明すると、アルゴリズムが即座にそのリスクを算出し、取り返しのつかない被害が出る前に病気を発見できる可能性があるのです。これらの「デジタル医師」を構築するために、科学者たちは膨大なデータ収集に頼ります。そこでは、何千もの過去の患者記録が、病気の人と健康な人の違いをコンピュータに教えるために使用されます。これらのシステムの性能をテストするための標準的な手法は、「交差検証（クロスバリデーション）」と呼ばれる方法です。教師が生徒に練習問題を与え、その後、内容を本当に理解しているのか、それとも単に答えを暗記しただけなのかを確認するために、同じ問題の少し異なるバージョンを与える様子を想像してみてください。科学界において、このプロセスは、モデルが未知の新しい患者に対してどの程度うまく機能するかを明らかにするためのものです。

しかし、この目的で使用される最も有名なデータセットの一つを最近再検証したところ、これらのテストの実施方法における静かな欠陥が明らかになりました。問題となっているデータセットは、バングラデシュの病院から収集されたもので、人々の症状と糖尿病の有無が含まれています。長年、研究者たちはこのデータをモデルの訓練に使用し、97パーセントから99パーセントという、まるで信じられないほど高い精度を報告してきました。これらの数字は、モデルがほぼ完璧であることを示唆していました。しかし、ペルーの研究チームは、これらの高いスコアは天才的な成果の証ではなく、単純なテスト工程のミスによるものであることを示しました。彼らは、データの中に同一の患者プロファイルが多数含まれており、テストの実施方法によって、コンピュータがテストが始まる前に答えを得てしまっていたことを発見したのです。

ウィリアム・マリン＝ロドリゲス氏率いる研究チームは、UCI早期糖尿病データセットを改めて精査しました。このコレクションには520の記録があり、各記録は年齢と、頻尿や急激な体重減少といった15種類の異なる症状を記述しています。彼らがこれらの症状の組み合わせのユニークな数を数えたところ、驚くべきことが分かりました。520の記録のうち、真にユニークなプロファイルはわずか251件しかなかったのです。これは、269の記録が他の記録の正確な複製であり、さらに多くの記録が症状は同じであるものの、年齢だけが異なっていることを意味します。元の研究では、データを訓練グループとテストグループに分割する際、これらの同一のコピーがランダムに散らばっていることがよくありました。ある記録が訓練グループに入り、コンピュータに答えを教え込み、その全く同じ双子がテストグループに入ってしまうという事態が起きていたのです。コンピュータがその双面に対してテストされるとき、それは推測したり診断したりする必要はありませんでした。単に、すでに暗記したパターンを認識していただけだったのです。

このことがどのように結果を膨張させたかを確認するため、チームは同じコンピュータモデルを再度実行しましたが、今回はルールの変更を行いました。データをランダムに分割する代わりに、同じ症状プロファイルを持つすべての記録を同じグループにまとめました。これにより、もし特定の症状のセットが訓練データに現れた場合、その全く同じセットがテストデータに現れることは決してないようにしました。コンピュータは、特定の患者リストを暗記するのではなく、病気のパターンを学習することを強制されました。結果の違いは劇的でした。以前のランダムな手法では、モデルは97パーセントから98パーセントの精度を達成し、過去数年間の輝かしい報告と一致していました。しかし、研究者がより厳格でリーク（情報の漏洩）のないルールを適用したところ、それらの精度は90パーセントから93パーセントの範囲にまで低下しました。依然として素晴らしい数値ではありますが、この低下は、以前の「ほぼ完璧なパフォーマンス」という主張が、データの構造によって作り出された錯覚であったことを明らかにしました。

研究チームはさらに、モデルが正しいか間違っているかだけでなく、予測に対してどの程度の自信を持っているかを測定しました。彼らは、病気の人と健康な人の数が不均衡な場合でも、より正直なパフォーマンスを示す「マシューズ相関係数（MCC）」と呼ばれる特定の指標に注目しました。ランダムなテスト手法の下では、このスコアは人工的に高く、一部のモデルでは最大0.16ポイントも過大評価されていました。テストセットから重複を削除すると、スコアは大幅に低下しました。さらに重要なことに、モデルのランキング自体が変わりました。旧ルール下で「最高」と称えられていた複雑なシステムである「スタッキング・アンサンブル」は、新ルール下では第8位に転落しました。公正なテストにおいて実際に最高のパフォーマンスを示したのは、「Extra Trees」として知られる別の種類の決定木アルゴリズムでした。この変化は、「最高のモデル」の選択が確固たる事実ではなく、欠陥のあるテスト手法の結果であったことを証明しました。

研究者たちはまた、「準重複（ニア・デュプリケート）」を考慮した場合に何が起こるかも調査しました。このデータセットでは、多くの人々が全く同じ症状を共有しながら、年齢だけが異なっていました。チームは、これら準重複のプロファイルさえも一緒に管理し、40歳の症状から45歳の同一症状を持つ人のリスクを予測することを防ぐ、より厳格なシナリオをテストしました。このより厳しいテストにより、すべてのモデルのパフォーマンスはさらに低下しました。興味深いことに、過去の事例の中で最も類似したものを見つけるという非常に単純なモデルは、最初の厳格なテストでは複雑なモデルとほぼ同等の性能を示しましたが、準重複を削除するとその性能は崩壊しました。これは、単純なモデルも、疾患を真に理解しているのではなく、訓練データの中から自分自身のコピーを見つけ出すことに依存していたことを示唆しています。

この研究の影響は、単一のデータセットにとどまりません。研究者たちは、糖尿病予測に関して過去に報告されてきた高い精度は、この重複記録の問題によって膨らまされている可能性が高いと考えています。彼らは、旧結果と新結果の差が十分に大きく、新しい研究がしばしば発見したと主張する微細な改善を飲み込んでしまうほどであることを発見しました。もし新しいアルゴリズムが、以前のものより1〜2パーセント優れていると主張したとしても、その改善はデータの分割方法によって生じた「ノイズ」に過ぎない可能性があります。また、チームは多くのモデルのキャリブレーション（較正）が不十分であることも指摘しました。つまり、頻繁に正解してはいるものの、その確率スコアが疾患の真の可能性を反映していない可能性があるということです。例えば、一部のモデルは過度に自信満々であり、他のモデルは慎重すぎました。これは、医師がそれらの数値に基づいて判断を下す場合、危険を招く可能性があります。

この再評価は、機械学習が糖尿病の診断に役立たないと言っているわけでも、モデルが無用であると言っているわけでもありません。単に、それらを判断するためのベンチマークに欠陥があったということを意味しています。研究者たちは、彼らの知見は特定のデータセットに基づいた内部的な推定値であり、これらのモデルが実際の臨床現場で機能することを証明するものではないと強調しています。データは単一の病院のものであり、糖尿病がどのように確認されたかの詳細が欠けているため、結果をさらなるテストなしに一般的なスクリーニングに直接適用することはできないと指摘しています。しかし、この研究は科学者に明確な道筋を示しています。彼らは、今後の研究において、重複記録をチェックしてテスト中にそれらをグループ化すること、結果の不確実性を報告すること、そして統計的に有意な差がない限り単一の「最高のモデル」を宣言することを避けるよう推奨しています。テストプロセスを浄化することで、科学界は、デジタル医師の未来が、学習能力ではなく「答えを得る能力」によって判断されることのないようにできるのです。