Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

現代医学の世界において、医師は日常的な服薬を継続することが困難になる可能性のある患者を予測するために、ますますコンピュータに頼るようになっています。これは、HIVと共に生きる子供たちにとって特に重要です。なぜなら、抗レトロウイルス療法（ART）の服用を忘れることは、深刻で生命を脅かす事態を招く可能性があるからです。これらの予測を行うために、研究者たちは病院への受診記録から、残りの錠剤の数、親による飲み忘れの報告の有無、処方箋の補充にかかった時間など、膨大なデータを収集しています。彼らはこの情報を、パターンを見つけ出し将来の行動を予測するように設計された精巧なコンピュータプログラムである機械学習モデルに投入します。その目的は、これらのツールがリスクの高い子供たちを早期に特定し、子供の健康状態が悪化する前にクリニックが介入できるようにすることです。しかし、データの収集と使用方法には、隠れた罠が存在します。もし予測を行うために使用される情報が、問題自体の定義と密接に関連しすぎている場合、コンピュータは天才のように見えますが、実際には解答用紙を読んでいるに過ぎません。「データ漏洩（データ・リーケージ）」として知られるこの現象は、現実世界でモデルをテストした瞬間に消え去ってしまう、完璧な精度という幻想を生み出します。

ウガンダの研究チームは、最近、この問題そのものを調査するために、長期的な追跡調査を行っているEARTHコホートのデータを使用しました。彼らは、機械学習モデルの見かけ上の成功が、特定の種類の方法論的な問題、すなわち「問題を解くために、その定義となる手がかりを使用すること」にどの程度依存しているのかを理解したいと考えました。彼らの付随研究において、チームは「不適切なアドヒアランス（服薬遵守）」を予測するモデルを構築していましたが、彼らはそれを「薬を飲み忘れること、薬を使い切ってしまうこと、または薬局での補充を遅らせること」と定義していました。厳密さを期すため、彼らは以前の作業において、この定義を直接的に作り出している具体的なデータポイントを、コンピュータの学習前に取り除いていました。その初期の研究では、控えめながらも現実的な結果が得られました。しかし、今回の新しい分析において、研究者たちは異なる問いを立てました。もしこれらの手がかりを残したままにしたらどうなるのか？ 彼らは、もしモデルが答えを覗き見ることが許された場合、そのパフォーマンスがどれほど膨張するかを確かめたかったのです。

これを知るために、研究者たちは同じ208人の子供と590回のクリニック受診からなるデータセットを再構成しましたが、データを3つの異なる厳格さの層に整理しました。第一の層は「制御されていない」バージョンであり、そこでは、飲み忘れの報告や、残りの正確な錠剤数を含む、利用可能なあらゆる情報がコンピュータに与えられました。これらは、研究者が「アドヒアランスが不適切である」かどうかを判断するために使用した具体的な事実です。この層でコンピュータを学習させたとき、結果は驚くほど完璧でした。複雑な決定木ベースのモデルを含む6種類の異なる機械学習アルゴリズムが、1.000というスコアを達成しました。これは、予測においてミスがゼロであったことを意味します。コンピュータは未来を予測していたのではなく、単に与えられたルールを繰り返していただけでした。もし子供が服用を忘れていれば、モデルは非アドヒアンスと予測し、そうでなければアドヒアンスと予測しました。それは完璧なループでしたが、実用性のないものでした。

次に、研究者は第二の層である「緩やかに制御された」バージョンへと進みました。ここでは、結果を直接定義する5つのフィールド、すなわち、飲み忘れの報告、薬局での受け取りの遅れ、薬を使い切ったという報告、遅れの計算、および残りの薬の量を削除しました。これらの直接的な手がかりがなくなると、コンピュータのパフォーマンスは大幅に低下しました。最も優れたモデルであるCatBoostというプログラムは、その精度スコアを完璧な1.000から0.735へと落としました。これは依然として良好な結果ではありましたが、第一の層の完璧さからは程遠いものでした。この低下は、初期の成功が、問題の定義を学習したのではなく、単に定義を読み取っていたことによって生じた、大部分が幻想であったことを証明しました。

しかし、物語はそこで終わりませんでした。研究者たちは、この第二の層においても、ある変数が依然としてモデルの決定を支配していることに気づきました。それは、子供が前回の受診以降に治療を中断したかどうかを示すフィールドでした。この変数は、技術的には結果を定義するものではありませんでしたが、アドヒアランスの概念と極めて密接に関連していたため、ほぼ完璧なプロキシ（代理指標）として機能していました。研究者がこの最後の変数を削除して第三の「厳格に制御された」層を作成したとき、モデルのパフォーマンスは再び低下しました。CatBoostモデルのスコアは0.680に下がり、最も重要なケースを正しく特定する能力は0.407にまで落ち込みました。この最終的な結果は、彼らの以前の、より厳密な研究で見られた控えめなパフォーマンスと一致しており、データの真の予測信号は、初期の膨張した数値が示唆していたよりもはるかに弱いものであることを裏付けました。

この研究は、コンピュータを用いて医学的な結果を予測しようとするすべての人にとって、極めて重要な教訓を提示しています。研究者たちは、複雑なデータを扱う能力が高いことで人気のある決定木ベースのモデルが、このような種類のインフレに対して特に脆弱であることを発見しました。なぜなら、それらはカテゴリーを定義する正確なルールを見つけ出すことに長けているからです。ターゲットとなる結果が、プロセス変数（例：「服用を忘れた、あるいは、薬を使い切った」といった単純な「または（OR）」の組み合わせ）から構築されている場合、モデルは容易にこれらのルールを暗記し、現実を反映しない完璧なスコアを叩き出すことができます。研究者たちは、薬局の補充記録のような変数は本質的に悪いものではないと強調しています。それらは、子供のウイルス抑制状態などの異なる結果を予測するためには有用です。危険が生じるのは、目標がアドヒアランスそのものの予測であり、かつ、モデルがアドヒアランスを定義するための測定値を主要な手がかりとして使用することを許容した場合に限られます。

結局のところ、この分析は、高いパフォーマンスを示す数値を鵜呑みにすることへの警告として機能します。研究者たちは、結果を定義するフィールドを含めることで、モデルの識別能が最大で0.41ポイントも人工的に押し上げられる可能性があることを示しました。これは、臨床医が、実際にはまだ使用の準備ができていないツールを信頼してしまうことにつながりかねない、極めて大きな差です。彼らは、今後の研究において、階層的なアプローチを採用すべきであると提案しています。つまり、直接的な構成要素や密接なプロキシを系統的に取り除き、このような漏洩を監査することです。そうすることで、科学者たちは、構築したモデルが単に投入されたデータの構造を反映しているのではなく、現実世界でも通用する、真の意味での転送可能な信号を検出していることを確実にできるのです。この研究は、機械学習がリソースの乏しい環境におけるケアを向上させる大きな可能性を秘めている一方で、その力は、データの構築方法に対する厳格な理解によって制御されなければならないことを裏付けています。