Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

ドイツの LURIC コホート研究を用いた本論文は、最適化されたFew-shot プロンプティングや微調整を施した医療特化型大規模言語モデル（MedLLM）が、従来の回帰モデルや既存の心血管リスク予測手法と競合する性能（1 年全死因死亡率予測で最大 85% の AUROC）を達成し、さらにプラットスケーリングによる較正で過大評価を大幅に改善できることを実証しています。

要約

🏥 舞台設定：心臓病の「予言者」たち

心臓病は世界で最も多い死因の一つです。医師は「この患者さんは 1 年以内に亡くなる可能性が高いか？」を早く見極めたいと思っています。これまでは、主に**「従来の統計モデル（回帰分析）」という、堅実で計算が得意な「ベテランの計算家」**たちがこの役割を担ってきました。

しかし最近、**「医療用 AI（MedLLM）」という、人間の言葉を理解し、推理できる「天才的な若手」**が登場しました。この研究は、この「ベテラン計算家」と「天才 AI」が、心臓病のリスク予測でどちらが勝つか、そしてどうすれば AI がもっと上手になるかを検証したものです。

🔍 実験の材料：「患者のデータ」をどう使うか？

以前の研究では、AI に「医師が書いた長い診断書（テキスト）」を読ませて予測させていました。しかし、診断書は書くのに時間がかかり、すべての病院にあるわけではありません。

そこでこの研究では、**「毎日のように測れる血液検査の数値や、年齢、生活習慣」という、誰でも手に入る「シンプルで確実なデータ」**を使いました。

• 例： 年齢、性別、コレステロール値、血糖値、喫煙歴など。
• これらを AI に「患者さんのプロフィール」として渡して、リスクを予測させました。

⚔️ 対決：3 つの戦法

研究では、AI に 3 つの異なる戦法（アプローチ）で戦わせました。

1. ゼロショット（いきなり挑戦）：

   • AI に何も教えません。「あなたは名医です。このデータを見て、1 年以内の死亡リスクを推測してください」と頼むだけ。
   • 結果： すごいですが、まだ少し不安定でした。

2. フューショット（お手本を見せる）：

   • AI に「こんな患者さんは 18% のリスク、あんな患者さんは 6% のリスク」という**3 つの例（お手本）**を見せます。
   • 結果： 劇的に向上！特に**「Gemini-3-Flash」**という最新の AI は、この方法だけでベテラン計算家たちと互角、あるいはそれ以上の成績を収めました。

3. ファインチューニング（専門教育）：

   • AI に心臓病のデータで**「特別授業」**を受けさせます（学習させます）。
   • 結果： 小さな AI（80 億パラメータ）でも、この授業を受けると、巨大な AI（700 億パラメータ）や、高価な商用 AI（Claude や ChatGPT の最新版）に匹敵、あるいは凌駕する性能を発揮しました。

🏆 勝者の結果

• 最強のベテラン（CatBoost）： 従来の統計手法の代表格。非常に安定して高い精度（AUROC 85% 前後）を出しました。
• 最強の AI（Gemini-3-Flash & 教育を受けた小型 AI）： 特別な学習なしでも、あるいは少量の学習で、ベテランと同等かそれ以上の精度（82〜85%）を達成しました。
• 結論： 最新の AI は、もう「計算機」に負けないどころか、**「データさえあれば、医師の経験に匹敵する予言ができる」**レベルに達しています。

⚠️ 注意点：「自信過剰」な AI とその修正

しかし、AI には一つ弱点がありました。それは**「リスクを過小評価する（甘く見る）」傾向**です。

• 例： 本当は 20% のリスクがあるのに、AI は「10% くらいかな？」と答えてしまう。
• 対策： 研究チームは、AI の答えを**「校正（キャリブレーション）」**という工程で補正しました。これは、AI の「自信」を調整する作業のようなものです。
• 効果： これにより、AI の誤差は 60〜90% 減り、医師が信頼して使えるレベルにまで整いました。

💡 この研究が意味すること（まとめ）

1. 高価な診断書は不要： 複雑な文章がなくても、「血液検査の数値」だけで AI は心臓病のリスクを正確に予測できます。
2. AI は実用段階： 最新の医療 AI は、もう実験室の玩具ではなく、「ベテラン医師の助手」としてすぐに使えるレベルになりました。
3. 小さな AI でも強い： 巨大で高価な AI だけでなく、「教育（ファインチューニング）」さえ受ければ、小さくて安価な AI でも最強の性能が出ます。

一言で言うと：
「心臓病のリスク予測において、最新の AI はもう『計算機』と肩を並べるどころか、『名医の助手』として活躍できる準備が整ったという、画期的な発見でした。」

技術概要

論文要約：心血管疾患（CVD）および死亡率リスク予測における回帰モデルと医療用大規模言語モデル（MedLLM）の比較研究

1. 研究の背景と課題 (Problem)

心血管疾患（CVD）は世界的な死亡原因の首位であり、早期発見と予防的介入のための堅牢な予測ツールの必要性が急務です。

• 従来のアプローチ: 線形回帰、ロジスティック回帰、決定木、SVM、および勾配ブースティング（XGBoost, CatBoost など）などの機械学習モデルが長年主流でしたが、これらは線形関係や均一な効果を仮定しがちで、予測変数の数に制限があるという課題がありました。
• 既存の LLM 研究の限界: 近年、生成 AI（GenAI）や大規模言語モデル（LLM）の医療応用が進んでいますが、多くの先行研究は「退院記録」などの非構造化テキストデータに依存しています。しかし、これらのデータは医療機関間で一貫して利用できず、作成にコストと時間がかかるため、スケーラビリティや一般化の障壁となっています。
• 本研究の課題: 構造化された「日常的に収集される生体マーカー（バイオマーカー）データ」を用いて、従来の回帰モデルと最新の医療用 LLM（MedLLM）を比較し、LLM が構造化データにおいてどの程度有効かを検証すること。

2. 研究方法論 (Methodology)

本研究は、ドイツのルードヴィヒスハーフェンリスクおよび心血管健康（LURIC）研究データ（1997-2000 年に冠状動脈造影を受けた 3,316 人の患者）を用いて実施されました。

• データセット:
  • コホート: 全コホート（3,316 人）と、CVD 患者のサブコホート（2,112 人）。
  • タスク: 1 年間の全原因死亡率（1YM）の予測。
  • 入力特徴量: 5 つの異なるバイオマーカーセット（12 個、20 個、21 個、64 個、94 個の指標）を定義し、これらをテキスト形式のプロンプトに変換しました。
• 比較対象モデル:
  1. 従来の機械学習（ML）: SVM, LinearBoost, CatBoost, XGBoost, RealMLP（Tabular Foundation Model）。
  2. 医療用 LLM（MedLLM）:
     • ゼロショット/フューショット・プロンプティング: 事前学習済みの MedLLM（MedGemma, Med42, MedLlama, Meditron, OpenBioLLM などの 70B/8B パラメータモデル）と、商用モデル（Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2）を、構造化データをテキスト化して入力。
     • 教師あり微調整（Supervised Finetuning, SFT）: 小規模モデル（8B パラメータ版など）を、死亡率予測タスク用に微調整（LoRA アダプター使用）。
• 評価指標:
  • AUROC: 分類性能の評価（不均衡データのため精度よりも重視）。
  • ECE (Expected Calibration Error): 予測確率の較正度合い（臨床的信頼性のため必須）。
  • 較正手法: プラットスケーリング（Platt Scaling）を用いた事後較正。

3. 主要な貢献 (Key Contributions)

1. コスト効果の高いデータソースの提案: 高価で入手困難な退院記録の代わりに、広く利用可能な構造化されたバイオマーカーデータを LLM の入力として有効活用する手法を確立。
2. ユニファイドなプロンプト設計: 表形式の患者記録を、商用・オープンソースを問わずあらゆる LLM で処理可能なゼロショットおよびフューショット・プロンプト形式へ変換する統一フレームワークの提案。
3. 包括的なベンチマーク: 最新のブースティング手法（CatBoost など）や Tabular Foundation Model と、オープンソースおよび商用の LLM を包括的に比較した、現時点で最も網羅的な研究の一つ。
4. モデル較正と層別化の分析: LLM に見られる系統的な過大評価（または過小評価）の問題を特定し、プラットスケーリングによる較正の有効性を実証。

4. 実験結果 (Results)

• 性能比較:
  • 大規模 MedLLM（70B）: 最適化されたフューショット・プロンプティングにより、1 年死亡率予測で最大 82% の AUROC を達成。これは、医療文献における最先端の手法（CoroPredict, SMART, SCORE2）や、最新の回帰モデル（CatBoost）と競合する性能です。
  • 小規模 MedLLM（8B）: 教師あり微調整を行うことで、大規模モデルや商用モデル（Claude-Sonnet-4.5, ChatGPT-5.2）の性能に匹敵、あるいは上回る結果（AUROC 82% 超）を示しました。
  • 最高性能: 評価されたすべての手法の中で、CatBoost（回帰） と Gemini-3-Flash（商用 LLM） がともに最大 85% の AUROC を記録しました。
• 較正（Calibration）:
  • 多くの MedLLM は死亡率を系統的に過小評価する傾向（ECE: 0.05–0.10）を示しました。
  • プラットスケーリングを適用することで、この較正誤差を 60–90% 削減し、臨床的な信頼性を大幅に向上させることができました。
• データ量の影響: 64 個のバイオマーカー（Ext-64）セットを使用した場合、特に性能が向上しました。

5. 意義と結論 (Significance & Conclusion)

• LLM の実用性: 構造化された生体マーカーデータを用いることで、LLM は従来の機械学習モデルと同等かそれ以上の精度で CVD 死亡率を予測できることが実証されました。これは、LLM が単なるテキスト生成ツールではなく、構造化データに基づく臨床意思決定支援ツールとしても機能しうることを示唆しています。
• コストとアクセシビリティ: 高価な微調整や大規模な計算資源がなくても、適切なプロンプトエンジニアリングや小規模モデルの微調整によって、高性能な予測が可能である点が重要です。
• 臨床応用への道筋: 本研究は、LLM を EHR（電子カルテ）の表データに直接適用し、さらに臨床ノートなどのテキスト情報と組み合わせることで、より高精度なリスク層別化が可能になる未来像を示しています。
• 今後の展望: 人間のフィードバックに基づく強化学習（RLHF）の導入や、予算制約下でのバイオマーカー選定の最適化が今後の課題として挙げられています。

総じて、この研究は医療 AI 分野において、大規模言語モデルが構造化データを用いたリスク予測タスクにおいて、従来の機械学習手法を凌駕する可能性を秘めていることを示す重要なマイルストーンです。