Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

この比較評価は、微調整された汎用大規模言語モデルが構造化された電子カルテの疾患リスク予測において専門的な臨床基盤モデルよりも一般的に性能が劣る一方で、LLM によって生成された埋め込み表現と軽量な分類器を組み合わせることで、AUROC と AUPRC の両方の指標において優れた性能を達成し得ることを示している。

要約

将来、患者の病歴を調べることで、誰が将来病気にかかるかを予測すると想像してください。長年にわたり、医師やデータサイエンティストは、この作業のために専門的な「エキスパート」を用いてきました。これらのエキスパートを**臨床基盤モデル（CFM）**と捉えてください。彼らは、構造化されたデータ（検査コード、診断番号、薬物リストなど）だけで生涯をかけて料理を磨き上げてきた「巨匠シェフ」のような存在です。彼らは、心不全や膵臓癌といった結果を予測するために、これらの特定の材料をどのように組み合わせればよいかを正確に知っています。

最近、新しいタイプの AI が登場しました。大規模言語モデル（LLM）です。これらは万能の天才のような存在です。インターネット上のほぼすべて——書籍、ニュース、コード、会話——を読み尽くしています。言語や文脈を理解する能力は驚くほど優れていますが、医療記録の分析に特化して生涯を過ごしたわけではありません。

この論文が問う大きな疑問は、これらの万能の天才は、構造化された医療データを用いて疾患リスクを予測する際、専門的な巨匠シェフに勝つことができるのかという点です。

以下に、研究者たちが発見したことを簡潔にまとめます。

1. 「ファインチューニング」競争：専門特化型 vs 万能型

研究者たちは、両方のタイプのモデルに特定のタスクを与えました。それは、糖尿病患者における心不全の予測と、他の患者における膵臓癌の予測です。彼らはモデルを「ファインチューニング」しました。これは、モデルにそのゲームの特定のルールを短期集中講座で教えるようなものです。

• 結果: 大規模なデータセット（数千名の患者）において、**専門特化型のシェフ（CFM）**が依然として勝利しましたが、その差はごくわずかで、ほとんど目に見えないレベルでした。
  • 比喩: F1 カー（CFM）と非常に速いスポーツカー（LLM）のレースを想像してください。F1 カーが優勝しましたが、差はわずかな fractions 秒でした。
  • 注意点: F1 カー（CFM）は、トレーニングがはるかに安価で迅速でした。一方、スポーツカー（LLM）は、準備のために多くの燃料（計算資源）と時間を要しましたが、かろうじて敗れました。

2. 「埋め込み」のトリック：最大の驚き

研究者たちは、第三のアプローチを試みました。LLM にゲームのルールを学習させる（ファインチューニングする）代わりに、LLM に患者の病歴を読み、要約を作成させる（「埋め込み」を作成する）よう求めました。その後、その要約を、最終的な予測を行う非常にシンプルで基本的な計算機（「軽量分類器」）に渡しました。

• 結果: この組み合わせは、圧勝しました。
  • 比喩: 天才を医師として訓練する代わりに、彼に患者の完璧で簡潔な伝記を書いてもらいました。その後、その伝記を、シンプルなチェックリストを持った賢いインターンに渡しました。天才による完璧な要約を武器としたインターンは、専門特化型のシェフやファインチューニングされた天才よりも優れた予測を行いました。
  • 詳細: 要約を作成するためにQwen3というモデルを使用し、それを解釈するためにシンプルな計算機を用いたところ、最高精度（場合によっては 90% 以上）を達成しました。

3. 「小規模」な専門家

彼らはまた、「臨床 LLM（Me-LLaMA）」もテストしました。これは、一部の医学書を読んだ万能の天才です。

• 結果: このモデルは、はるかに小規模であるにもかかわらず、巨大な汎用モデルと同程度の性能を発揮しました。これは、適切な医学的トレーニングがあれば、必ずしも最大の脳を必要としないことを証明しました。

4. トレードオフ

この論文は、主要なトレードオフを浮き彫りにしています。

• 専門特化モデル（CFM）: 訓練が速く、実行コストが安く、非常に信頼性が高いです。これらは診療所の「働き者」です。
• 万能モデル（LLM）: 専門家に匹敵する、あるいはそれ以上の性能を発揮できますが、訓練にはコストと時間がかかります。ただし、完全に訓練するのではなく、データを「要約」する（埋め込みのトリック）ためにのみ使用すれば、これらは驚くほど強力かつ効率的になります。

結論

この論文は、万能型 AI モデルは、疾患リスクの予測において専門的な医療モデルと間違いなく同等の性能を発揮できると結論付けています。実際、単純な計算機のためにデータを「要約」するために万能モデルを使用する方法が、最も成功した手法でした。

ただし、著者らは警告しています。万能モデルは訓練コストが非常に高く、その性能は少し「不安定」（時には素晴らしいが、そうでない場合もある）であるため、まだ専門モデルを捨て去るべきではありません。最も有望な未来は、万能モデルの理解と要約の能力と、専門モデルの効率性を組み合わせたチームワークかもしれません。

要約すると: 万能型 AI は医学試験で満点を取ることができる天才的な学生ですが、専門特化型 AI は、より速く、安く、その場に到達するベテラン医師です。最も賢明な戦略は何か？学生にノートを書かせ、それをシンプルなツールで採点させることです。

技術概要

以下は、論文「構造化された EHR データを用いた疾患リスク予測：汎用大規模言語モデルは専門的な臨床基盤モデルと競合できるか？ファインチューニングを伴う比較評価」の詳細な技術的サマリーです。

1. 問題提起

医療業界は、臨床意思決定支援のために構造化された電子健康記録（EHR）を用いた予測モデルへの依存度を高めています。ここで、2 つの異なる AI モデルクラスが登場しました。

• 臨床基盤モデル（CFMs）： 大規模で多様な構造化 EHR データセットで事前学習された専門モデル（例：Med-BERT、CLMBR）。これらは患者の経路モデリングに最適化されており、疾患予測において優れた性能を示しています。
• 汎用大規模言語モデル（LLMs）： 広範で多様なテキストデータで事前学習されたモデル（例：LLaMA、Mistral）。これらは適応性が高いものの、構造化された EHR データを疾患リスク予測に適用する際、計算コストやデータ表現の課題を考慮すると、専門的な CFMs と同等以上の性能を発揮できるかは不明のままです。

本研究は、現実世界のマルチサイト EHR および請求データにおける、これら 2 つのモデルクラス間の直接的な頭突き比較のギャップに対処します。

2. 手法

データセットとタスク

本研究は、2 つの二値分類タスクにおける性能を評価しました。

1. 糖尿病性心不全（DHF）： 糖尿病患者における心不全リスクの予測。
2. 膵臓癌（PaCa）： 膵臓癌の診断予測。

堅牢性と再現性を確保するため、4 つのデータセットが利用されました。

• DHF-EHR & PaCa-EHR： 米国医療システムからのマルチサイト構造化 EHR データ。
• PaCa-Claims： 患者レベルの請求データ。
• PaCa-EHRSHOT： オープンソースの単一機関ベンチマークデータセット（3,810 名の患者）。

データは 3 つの粒度レベルで処理されました。

• D： 診断コードのみ。
• DMP： 診断、薬剤、処置コード。
• ALL： 利用可能なすべての構造化データ（人口統計、バイタル、検査値を含む）。

評価対象モデル

本研究では、3 つのモデルカテゴリを比較しました。

1. 臨床基盤モデル（CFMs）：
   • Med-BERT (v2)： エンコーダーベース。診断、薬剤、処置を含む 5,000 万を超える患者経路で事前学習。
   • CLMBR： デコーダー・トランスフォーマーベース。257 万名の患者で事前学習。
2. 汎用および臨床 LLMs（ファインチューニング済み）：
   • 汎用： Mistral-7B、LLaMA-2-13B、LLaMA-3-8B、LLaMA-3.1-8B、LLaMA-3.1-70B。
   • 臨床 LLM： Me-LLaMA（臨床テキストでファインチューニング）。
   • 手法： すべての LLM は、パラメータ効率型ファインチューニング（PEFT/LoRA）と量子化を使用してファインチューニングされました。
3. LLM 埋め込みアプローチ（ファインチューニングなし）：
   • LLM（DeepSeek、Qwen3、GPT-OSS、MedGemma など）をエンコーダーとしてのみ使用し、患者経路の埋め込みを生成した後、軽量な分類器（ロジスティック回帰、MLP）に接続する手法。

データ前処理と入力

• CFMs： 構造化コードは、それぞれの事前学習パイプラインに従って再フォーマットされました。
• LLMs： 構造化 EHR データはテキストプロンプトとしてシリアライズされました。2 つの形式がテストされました：CPLLM と LLaMA2-EHR。後者（イベント頻度を組み込んだもの）がより良い結果をもたらしました。
• 埋め込み： ファインチューニングしないアプローチでは、患者履歴の最初の 4,096 トークンを使用して埋め込みを生成しました。

評価指標

• AUROC： 受信者操作特性曲線下面積（主要指標）。
• AUPRC： 適合率 - 再現率曲線下面積（不均衡データセットにおいて重要）。
• 効率性： ファインチューニング時間と計算リソース。

3. 主な貢献

1. 大規模比較の初実施： 疾患リスク予測において、大規模（数千万人の患者）で事前学習された CFMs に対するオープンウェイト LLM の頭突きベンチマークを初めて提供しました。
2. シリアライゼーション戦略の分析： 構造化 EHR データをテキストに変換する影響を評価し、診断頻度を伴う LLaMA2-EHR 形式が他の形式を上回ることを発見しました。
3. 新規埋め込みパラダイム： LLM を凍結されたエンコーダーとして使用して患者表現を生成し、単純な分類器と組み合わせる手法が、特定のシナリオにおいてファインチューニング済みの LLM およびファインチューニング済みの CFMs を上回ることを実証しました。
4. 再現性フレームワーク： 将来のベンチマークを支援するため、包括的なコードベース（LLM2Predict）と評価フレームワークを公開しました。

4. 主要な結果

ファインチューニング性能（大規模コホート >30,000 名）

• CFMs vs ファインチューニング済み LLMs： 大規模な EHR および請求コホートにおいて、ファインチューニング済みの CFMs（Med-BERT）は、AUROC でファインチューニング済みの LLMs よりも 1% 未満ですが統計的に有意にわずかに優れていました。
  • 例（DHF-EHR）： Med-BERT + Bi-GRU (85.39%) vs LLaMA-3.1-70B (84.73%)。
• 臨床 LLMs： Me-LLaMA は、はるかに大規模な汎用 LLM（例：LLaMA-3.1-70B）と同等の性能を発揮し、パラメータ数が少なくてもドメイン固有の事前学習が有効であることを示唆しました。
• 効率性： CFMs のファインチューニングは（1 時間未満）、LLMs（モデルサイズに応じて 4〜190 時間）と比較して著しく高速でした。

オープンソースコホート（PaCa-EHRSHOT）

• AUROC： ファインチューニング済みの LLMs（LLaMA-3.1-70B）は CFMs よりもわずかに高い AUROC を達成しましたが、その差は統計的に有意ではありませんでした（86.1% 対 85.3%、p=0.27）。
• AUPRC： CFMs は AUPRC において LLMs を著しく上回り、クラス不均衡の処理能力の優位性を示しました。
  • Med-BERT v2: 55.9% AUPRC。
  • LLaMA-3.1-70B: 41.1% AUPRC。

「埋め込み＋分類器」アプローチ（全体として最良）

• 驚くべき発見： 全体として最高の性能は、LLM をファインチューニングせずに達成されました。
• 手法： LLM（特にQwen3とGPT-OSS）を使用して患者経路の埋め込みを生成し、その後、単純なロジスティック回帰または MLP に接続する手法。
• 性能：
  • AUROC： 90%超（Qwen3 8B 埋め込み＋テキスト：90.8%）。
  • AUPRC： 66%に達（GPT-OSS 20B：66.1%）。
• このアプローチは、EHRSHOT データセットにおいて、ファインチューニング済みの CFMs およびファインチューニング済みの LLMs の両方を上回りました。

5. 意義と結論

• 汎用対専門： 専門的な CFMs は大規模な構造化データセットでのファインチューニングにおいて依然として非常に競争力があり効率的ですが、汎用 LLM は、生成モデルではなく**特徴抽出器（エンコーダー）**として使用される場合、特にそれらと同等かそれ以上の性能を発揮する可能性があります。
• 計算上のトレードオフ： LLM のファインチューニングは計算コストが高く（CFMs の 40 倍）、AUROC における CFMs に対するわずかな gains は、しばしば低い AUPRC のコストを伴います。
• 最適な戦略： 本研究は、構造化 EHR のリスク予測において、最も効果的で効率的な戦略は、現代の LLM を用いて高品質な患者埋め込みを生成し、それを軽量な分類器に投入することであると示唆しています。これにより、LLM の事前学習知識を活用しつつ、ファインチューニングの莫大なコストを回避できます。
• 今後の方向性： 著者は、両アプローチの強みを組み合わせるため、LLM 生成の埋め込みを CFM のトレーニングパイプラインに統合することを推奨しています。また、多クラスタスク、非構造化データ（臨床ノート）、ハイブリッドアーキテクチャに関するさらなる研究の必要性を強調しています。

限界： 本研究は二値分類に焦点を当てており、回帰や多クラスタスクへの一般化は保証されません。さらに、評価は構造化データに限定されており、非構造化の臨床ノートにおける性能は未調査のままです。