A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

現代の病院では、静かな革命が進んでいます。コンピュータが患者の記録を読み取ることを学習し、人間の医師が見逃す可能性のある血圧、年齢、ライフスタイルのパターンを見つけ出し、それらのパターンを用いて、誰が心臓発作やその他の深刻な疾患のリスクがあるかを予測しているのです。臨床機械学習として知られるこの分野は、危険を早期に察知することで命を救うという約束を掲げています。しかし、そこには落とし穴があります。ある都市で心臓疾患を予測するために学習したプログラムが、異なる人口構成を持つ別の都市に移された途端、完全に機能しなくなることがあるのです。これは、二つ目の都市の人々が高齢であったり、異なる食事を摂っていたり、あるいは診療録の書き方がわずかに異なっていたりするために起こります。コンピュータがこうした差異に遭遇すると、その予測は単に正解か不正解かというだけでなく、その「確信度」においても信頼できなくなることがあります。もしモデルがある患者に対して75パーセントの発生確率があると提示したものの、実際の確率はわずか35パーセントであった場合、医師は不必要な侵襲的検査を指示してしまうかもしれません。あるいはさらに悪いことに、真の危険を見逃してしまうかもしれません。これらのツールが安全であるためには、信頼できなければなりません。つまり、単に正確であるだけでなく、自らの不確実性について正直であり、その推論のプロセスを説明する方法が一貫していなければならないのです。

タニャ・ディープという研究者は、まさにこのような信頼性をテストするための新しいシステムを構築しました。彼女は、臨床機械学習モデルを実際に患者に使用される前に監査するための自動化ツールの一群である、「AETHEL」と呼ばれるフレームワークを作成しました。AETHELは、単にモデルが正解を得られるかどうかを確認するのではなく、厳格な安全検査官のように振る舞い、3つの特定の事項をチェックします。すなわち、モデルの確率推定が現実とどの程度一致しているか、データが変化したときにその推論がいかに安定しているか、そして、その助言が実際に医師によるより良い意思決定に役立つかどうかです。このシステムをテストするために、ディープは1,000人の合成コホートを用いていくつかの異なるコンピュータモデルを学習させ、その後、それらと同じモデルを有名なフレミングハム心臓研究（ターゲット・コホート）および国民健康・栄養調査（ドメインシフト参照用）からの実データに対して適用しました。その目的は、ある環境で学習したモデルが別の環境での運用を強制されたときに何が起こるか、すなわち「ドメインシフト」と呼ばれる状況を検証することでした。

この監査の結果、現在のモデルの検証方法には重大な問題があることが明らかになりました。モデルを学習データから新しい実データへと移行させた際、正しく予測する能力は低下しましたが、より重要なことに、その確信度は危険なほどに乖程（かいごう）が生じていました。モデルは依然として正しい患者を特定してはいるものの、リスクのパーセンテージを誤って割り当ててしまうのです。例えば、学習フェーズでは適切に較正（キャリブレーション）されていたモデルが、転送された際には不適切（アンキャリブレーテッド）になる、つまりリスクスコアが実際のイベントの発生確率と一致しなくなる現象が起こります。ディープは、モデルの確信度を再調整するための標準的な数学的調整を用いれば、数値自体は修正可能であることを発見しましたが、より微妙な問題が残っていることも突き止めました。数値を修正した後でさえ、モデルの推論の強さが変化し始めていたのです。モデルは一貫して、最も重要な要因の上位3つとして「年齢」「BMI」「喫煙状態」を挙げていましたが、設定が変わると、これらの要因の具体的な重みや相関関係が変化していました。学習データにおいては、モデルは決定を下すために年齢や喫煙状態に大きく依存していたかもしれませんが、新しいデータにおいては、これらの要因と結果との関係性がドリフト（漂流）していたのです。この推論のドリフトは、医師がコンピュータのフラグ立ての理由を理解するために説明を頼りにしている以上、非常に危険です。もし論理が警告なしに変化してしまうと、医師はその助言を信頼することができなくなります。

この隠れた不安定性を測定するために、ディープはモデルの推論がどの程度変化するかをカウントする新しい手法を導入しました。彼女は、ある設定におけるモデルの最重要因子のリストと、別の設定におけるリストを比較する指標を開発しました。テストの結果、単純な線形方程式のようなモデルは推論をかなり一貫して保持していた一方で、より複雑なモデルは、データが変化した際に主要な要因への依存度の強さが変化することが分かりました。この発見は、ある場所でうまく機能するモデルは、他の場所でも同様に機能するという一般的な前提に疑問を投げかけるものです。研究は、精度だけをチェックするのでは不十分であり、環境が変わったときにモデルの内部ロジックが維持されるかどうかをもチェックしなければならないことを示しました。

また、このフレームワークは、患者の枕元に立つ医師にとっての予測の実用的な価値についても検討しました。「決定曲線分析」と呼ばれる手法を用いることで、この研究は抽象的な統計的利益を、臨床医が理解できる具体的な数値へと変換しました。単に「モデルがアウトカムを改善する」と言う代わりに、システムは視覚的なチャートを生成し、1,000人の患者のうち、治療のために正しく特定される人数と、不必要に治療を受ける人数がそれぞれ何人になるかを明確に示しました。その結果、モデルが適切に再較正されていれば、単に全員を治療する場合や誰も治療しない場合と比較して、明確な利益が得られることが示されました。しかし、モデルが新しい集団に合わせて再較正されていない場合、この利益は消失してしまいます。本研究は、機械学習が病院において安全であるためには、「一度設定したらあとはお任せ」というツールであってはならないと結論付けました。それは、最終的なスコアだけでなく、確信度の較正、推論の安定性、そして現実世界における助言の影響をチェックする、継続的かつ自動化された監査を必要とするのです。このフレームワークをオープンソースソフトウェアとして公開することで、研究者は他の人々がこれらの安全チェック自体を検証できるようにしており、人工知能が医療における約束を果たそうとする中で、その安全性が置き去りにされないようにしています。