Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

毎年、何百万人もの患者が病院を退院した後、回復が停滞したりケアプランが崩壊したりしたことが原因で、わずか1か月以内に再び入院しています。この再入院のサイクルは、医療システムにとって大きな負担であり、コストを増大させ、病院から自宅への移行プロセスに何らかの問題があったことを示唆しています。これを阻止するために、病院はコンピュータサイエンスの一分野であり、ソフトウェアが膨大なデータの中からパターンを見つけ出す学習を行う「機械学習」へと舵を切りました。研究者たちは、電子健康記録（検査結果、薬剤リスト、医師のメモなどを含むデジタルファイル）をこれらのプログラムに読み込ませることで、再入院する可能性が最も高い患者を特定し、退院前に追加の支援を送ることができるツールを構築したいと考えています。長年、科学界はこれらのツールを、単一の数値によって評価してきました。それは、モデルが患者を低リスクから高リスクへとどれだけ適切にランク付けできるかを測定するスコアです。もしモデルが「この患者はあの患者よりもリスクが高い」と正しく言えるならば、高いスコアが得られ、それだけで成功であると見なされてきました。

しかし、新たな分析は、この単一のスコアだけでは物語の半分しか語っていないことを示唆しています。チッタゴン工科大学の研究者らによる迅速な系統的レビューでは、機械学習を用いて30日以内の再入院を予測した、2020年から2026年までに発表された156件の研究を調査しました。チームは、これらのモデルが書類上では非常に優れたものに見えることがあっても、現実の世界で機能することを証明できていないケースが多いことを発見しました。研究者たちは、ほとんどすべての研究が、そのモデルを作成したのと同じ病院のデータに対してモデルを検証する「内部テスト」に依存していることを突き止めました。モデルが別の病院や、後の時期のデータで機能するかどうかをテストした研究は極めて少数でした。さらに、モデルが算出したリスクのパーセンテージが実際に正確であるか、あるいはモデルが予測の根拠として提示した理由が人間の医師にとって納得のいくものかどうかを検証した研究もほとんどありませんでした。このレビューは、この分野が、これらのツールが患者にとって安全で信頼できるものであることを保証するために必要な基本的なチェックを疎かにしたまま、派手な新機能の採用を急ぎすぎた結果であると結論付けています。

特定された核心的な問題は、モデルが患者をランク付けすることには長けていても、実際の転帰（結果）を予測することには長けていない場合があるということです。天気予報アプリが、「火曜日は月曜日よりも雨が降る可能性が高い」とは正しく伝えても、「両日とも降水確率は実際にはゼロパーセントである」という事実を伝え損ねるような状況を想像してみてください。病院の再入院という文脈において、この区別は極めて重要です。病院は、リソースをどのように配分するかを決定するために、患者が戻ってくる実際の確率を知る必要があります。もしモデルが、実際には10パーセントの確率しかない患者に対して90パーセントの再入院確率を予測した場合、病院はその患者に貴重な移行期ケアのリソースを浪費してしまう一方で、本当にケアを必要としている他の患者を見逃してしまう可能性があります。レビューによると、85パーセントの研究がランキング・スコアを報告していましたが、予測が現実と一致しているかを確認した研究は約15パーセントに過ぎず、この正確性を測定するために設計された特定の指標を用いた研究はわずか1件でした。

正確性に加え、研究者たちはこれらのモデルが「移動できるか（汎用性があるか）」についても調査しました。ある都市の大きな教育病院のデータに基づいて構築されたモデルは、患者層や医療慣行が異なる別の州の地方クリニックに適用された場合、完全に失敗する可能性があります。これは「外部妥当性の検証」と呼ばれます。レビューの結果、モデルを新しい環境や異なる時期でテストした研究は、わずか12パーセントでした。これらのテストを行った数少ない研究において、モデルを共有した際、モデルの性能は新しい環境ではほぼ常に低下していました。研究者が自院の病院と新しい病院でのモデルの性能を比較した5つの事例では、患者を正しくランク付けする能力が、すべてのケースで低下していました。これは、多くのモデルが普遍的なリスクの兆候を捉えているのではなく、特定の病院固有の癖を捉えてしまっている、つまり「過学習（オーバーフィッティング）」の状態にあることを示唆しています。

研究におけるもう一つの大きな欠落は、「説明可能性」です。機械学習モデルが複雑化するにつれ、研究者は、なぜモデルが特定の予測を行ったのかを説明するためのツールを使用するようになりました。多くの場合、高血圧や特定の薬剤といったどの要因がリスクスコアに最も寄与したかを強調します。レビューによれば、これらの説明ツールの使用は急増しており、レビュー期間の初期には6パーセント未満でしたが、直近の数年間では30パーセント近くに達しています。しかし、研究者たちは、これらの説明ツールが提示された説明が実際に正しいか、あるいは安定しているかどうかを検証した研究はほとんどないことを発見しました。モデルがある特定の検査値がリスクを高める理由として指摘したとしても、もしデータがわずかに変更されただけでその理由がランダムに変わってしまうのであれば、その説明は信頼できません。レビューでは、提供された説明が信頼できるか、あるいは医師にとって有用であるかを評価した抄録は見当たりませんでした。

また、この研究は、これらのモデルが異なるグループの人々を公平に扱っているかどうかも調査しました。再入院率は、純粋な生物学的要因だけでなく、交通手段へのアクセスや薬の購入能力といった、生物学以外の要因にも影響を受ける可能性があります。もしモデルが、こうした不平等を反映した過去のデータから学習した場合、その人が医学的に重症であるからではなく、単にケアへのアクセスが少ないという理由だけで、特定のグループを不当に高リスクと判定してしまう可能性があります。レビューによると、人種、性別、年齢に基づいた異なるグループ間での格差をチェックした研究は、わずか4.5パーセントという極めて微量でした。このような精査の欠如は、病院が意図せずして、既存のヘルスケアシステムにおける偏見を強化するようなツールを導入してしまうリスクを意味します。

研究者たちは、この分野が間違ったものを優先していると結論付けました。複雑な説明ツールの急速な普及は、モデルを新しい場所でテストしたり、その正確性を検証したりといった、基本的な安全チェックの採用を追い越してしまいました。著者らは、これらのモデルが実際の患者ケアに関する意思決定に使用される前に、最低限の基準を通過しなければならないと主張しています。これらの基準には、モデルを別の病院や時期のデータでテストすること、予測されたリスクが実際の転帰と一致しているかを確認すること、そしてモデルが特定のグループに対して差別を行わないことを確認することが含まれます。レビューは、この分野における次のブレイクスルーは、より複雑なアルゴリズムを発明することからではなく、すでに存在するツールが、すべての人にとって安全で、正確で、公平であることを証明する作業をより適切に行うことから生まれるだろうと示唆しています。