FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records

コンピュータに医者としてのやり方を教えようとしている場面を想像してみてください。長い間、これを実現する唯一の方法は、あらゆる仕事に対して数千もの具体的な例を見せることでした。「これが折れた腕の見え方です」「これが発熱の見え方です」「これが心臓発作の見え方です」といった具合に。これは、犬に特定のボールを取ってくるよう訓練するようなものです。もし棒を取ってきてほしいと思ったら、最初からやり直さなければなりません。この方法は時間がかかり、コストも高く、コンピュータはまだ練習していない患者に遭遇すると混乱してしまうことがよくあります。

最近、科学者たちは「基盤モデル（Foundation Models）」と呼ばれる新しいトリックを使い始めました。これらは、患者と出会う前に、図書館にあるすべての医学教科書を読み終えた超優秀な学生のようなものです。彼らはまだ、折れた腕を診断する方法を具体的に教わっていないかもしれませんが、医学の一般的な言語を理解しているため、わずかな例からでもその特定のスキルを非常に素早く学ぶことができます。現在、誰もが問いかけている大きな疑問は、「この超優秀な学生たちは、従来の方法よりも本当に優れているのか？」ということです。「彼らは病院の混沌とした現実世界に対応できるのか？ そして、あらゆる種類の患者に対して公平なのか？」この論文は、これらのモデルを厳格な実生活のテストにかけることで、その答えを見出そうとしています。

---

大病院試験：超優秀な学生たちのテスト

この論文の著者たちは、推測するのをやめて、テストを行うことに決めました。彼らは、最も進んだ6つの医療用基盤モデルに対して、大規模な「試験」を作成しました。単に「正解にたどり着いたか？」と問うのではなく、より深い一連の質問を投げかけました。「正解にたどり着いたか？ そして、自分自身がどの程度確信しているかを知っているか？」そして「富裕層の患者も貧困層の患者も、あるいは異なる人種の人々も、公平に扱っているか？」

彼らは、コロンビア大学アイビング医学センターと、MIMIC-IVと呼ばれる公開データセットという2つの主要なソースから得られた、600万人以上の患者を用いてこれらのモデルをテストしました。試験は、患者が入院中に死亡するかどうかの予測から、糖尿病や統合失調症のような慢性疾患の診断に至るまで、14種類の臨床タスクで構成されました。

結果は、良かった点、悪かった点、そして厄介な部分に分けて明らかにされました。

良いニュース：「少数のデータ（Few-Shot）」という超能力

最もエキサイティングな発見は、これらの基盤モデルが、データが乏しい状況においてまさに「魔法」を発揮するということです。あなたが小さなクリニックの医師で、珍しい疾患の症例を100件しか見たことがないと想像してください。従来のコンピュータモデルはおそらく、学習するための十分な例を見ていないため、失敗するでしょう。しかし、事前学習中に何百万もの記録を「読んできた」基盤モデルは、それでも驚くほど優れた推測をすることができました。

このような「低データ」の状況において、トップクラスの性能を示すモデルは、病気の人と健康な人を区別することにおいて、従来の手法よりも優れた成績を収めました。また、彼らはより公平であるようでした。非常に大規模で多様な集団から学習したため、古い専門特化したモデルのように、異なるグループ（人種の違いや、通院頻度の違いなど）によって混乱することが少なかったのです。それはまるで、図書館で誰にでも会ってきた超優秀な学生は、自分の友人たちとだけ勉強してきた学生よりも、見知らぬ人に対して先入観を持つ可能性が低いようなものです。

悪いニュース：「確信度」の問題

しかし、落とし穴があります。これらのモデルは「この患者は病気である」と言うことは得意でしたが、「私はこの患者が病気であると確信している」と言うことには、時として非常に不得手でした。

医学においては、「何が起こるか」を知ることと同じくらい、「それが起こる可能性がどの程度か」を知ることが重要です。もしモデルが「患者が死亡する確率は90%である」と言ったなら、医師はその数字が正確かどうかを知る必要があります。論文によると、データが限られている状況下では、これらの基盤モデルはしばしば校正（キャリブレーション）が不十分でした。彼らは正解を導き出すことはできても、その確信度の数値がズレてしまうことがあったのです。それは、常に雨を予報する天気予サーントのようなものです。半分は当たっているかもしれませんが、実際には晴れているのに「降水確率100%」と言ってしまうようでは、信頼できません。この研究は、これらのモデルはパターンの発見には長けているものの、自身の確信度を正確に測定することをまだ完全には習得していないことを示唆しています。

厄介な部分：「希少疾患」という盲点

モデルは非常に珍しい疾患にも苦戦しました。もしある疾患が患者の1%未満にしか発生しない場合、基盤モデルはしばしば的外れな結果を出しました。著者らは、大規模な学習プロセスの中で、モデルが膨大な量の一般的な事柄を学ぶことに夢中になるあまり、これらの希少な事象を「無視」してしまった可能性があると指摘しています。それは、歴史の何百万ページもの本を読んでテスト勉強をしたけれど、試験に出たたった一ページの些細で不明瞭な出来事を飛ばしてしまった学生のようなものです。研究者がより多くのデータを使ってモデルを「微調整（ファインチューニング）」（特定の答えを教えること）しようとした際、モデルは必ずしも改善するわけではなく、むしろデータの少なさに混乱して、性能が悪化することさえありました。

最後のハードル：「新しい街」の問題

最後に、論文はこれらのモデルが「移動」できるかどうかをテストしました。もしモデルがニューヨーク（コロンビア大学）の患者に基づいて訓練された場合、カリフォルニア（スタンフォード大学）の患者に対しても機能するのでしょうか？ 答えは残念ながら「ノー」でした。

スタンフォード大学で訓練されたモデルをコロンビア大学でテストしたところ、その性能はローカル（現地）で訓練されたモデルよりも低下しました。著者らは、病院はそれぞれ異なる「方言」を持つ異なる都市のようなものだと説明しています。ある病院はデータの記録方法が異なっていたり、患者の習慣が異なっていたりします。「超優秀な学生」であっても、別の街の訓練を受けた場合、その街の「スラング（独特の言い回し）」を理解できなかったのです。これは、現時点では、医療用AIをただダウンロードしてどこでも使えると期待することはできず、依然として各病院に合わせて再訓練する必要があることを意味しています。

まとめ

この論文は、基盤モデルが「すぐに」医学の未来になると言っているわけではありませんが、それらが大きなポテンシャルを持っていることを証明しています。彼らはデータが見つけにくい状況で素早く学習することに長けており、異なるグループに対しても驚くほど公平です。しかし、希少疾患への対応にはまだ苦戦しており、自身の確信度について常に正直であるとは限らず、異なる病院間を容易に移動することもできません。

著者らは、これらのモデルに主導権を握らせる前に、彼らの「確信度メーター」を修正し、希少な条件に注意を払うように教え、そして各病院独自の「方言」を理解する方法を見つけ出す必要があると結論づけています。それまでは、これらは強力なツールではありますが、人間の医師によるダブルチェックを必要とする存在なのです。