Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

論文概要

本論文は、フランスの心不全（HF）患者コホートを用いて、退院後 3 ヶ月以内の死亡率予測タスクにおける、構造化データ（電子カルテの数値データ）と非構造化データ（医師による臨床ノート）の組み合わせの効果を検証した研究です。Transformer ベースのモデル、特にエンティティレベルの情報を活用したマルチモーダル融合アプローチと、大規模言語モデル（LLM）の直接推論能力を比較評価しています。

1. 研究の背景と課題

• 課題: 心不全患者の短期死亡率予測は困難であり、構造化データのみ、あるいはテキストのみを用いた単一モーダルなアプローチでは限界があります。
• 既存研究の限界:
  • 多くの研究は英語の MIMIC データセットに依存しており、フランス語の医療記録（用語、構造、表現の相違）や心不全特有の詳細な臨床情報への対応が不足しています。
  • 従来のテキスト埋め込み（CLS トークンなど）は文書全体の要約に留まり、予後判断に重要な「エンティティレベル（疾患、治療、検査値など）」の情報を十分に活用できていません。
  • 大規模言語モデル（LLM）の臨床推論への適用は進んでいますが、構造化データやマルチモーダル入力に対する性能や安定性は未解明です。

2. データセットと前処理

• データ源: パリにあるサン・ジョゼフ病院の心臓内科から収集された、フランス語の心不全患者の電子カルテ（EHR）。
• コホート: 2,254 人の入院記録。退院後 3 ヶ月以内の死亡（陽性クラス）が約 11%、生存（陰性クラス）が 89% の不均衡データ。
• データ種類:
  • 構造化データ: 入院時の 115 項目（人口統計、検査値、併存疾患、投薬など）から、特徴量選択により 41 項目に削減。
  • 非構造化データ: 医師による自由記述の臨床ノート。
• エンティティ注釈:
  • 23 種類の臨床エンティティ（疾患、治療、解剖学など）を特定するため、ヒューリスティックなルールベースと、専門家による手動修正を組み合わせた教師あり NER（Named Entity Recognition）システムを構築。
  • BERT ベースのモデルを、ヒューリスティック注釈と手動修正データのハイブリッドで微調整し、高品質なエンティティ埋め込みを生成。

3. 手法

本研究では、以下の 3 つの主要なアプローチと LLM による生成アプローチを比較しました。

A. テキストのみモデル (Text-Only)

• ベースライン: 事前学習済みモデル（CamemBERT-bio, DrBERT）の [CLS] トークン埋め込みのみを使用。
• エンティティベース: 注釈された医療エンティティの埋め込み（各エンティティタイプの平均化）を [CLS] と融合。
• 融合戦略: 平均化、加算、連結、重み付け、ゲート機構（Gated Fusion）など、エンティティ情報をどう統合するかを比較。

B. 構造化データのみモデル (Structured-Only)

• LASSO 回帰: 特徴量選択を行い、41 変数から最も予測力のある変数を選定。
• ロジスティック回帰: 選択された変数を用いた単純なモデルと、より複雑なパイプラインを比較。

C. マルチモーダル融合モデル (Multimodal Fusion)

• テキスト埋め込み（CLS または CLS+ エンティティ）と構造化変数を結合。
• 単純融合: 連結（Concatenation）や後方融合（Late Fusion/Stacking）。
• 学習可能な相互作用:
  • Gated Fusion: エンティティ情報の寄与をゲート機構で調整。
  • Dual Cross Attention (Dual-XAttn): テキストと構造化データ間の双方向アテンション。
  • Gated Dual-XAttn: ゲート機構と双方向アテンションを組み合わせ、動的にバランスを調整。

D. 大規模言語モデル (LLM) ベース

• モデル: Mistral-7B, Qwen2.5-7B, MedGemma-4B。
• プロンプト: テキストのみ、構造化データのみ、両方の組み合わせを入力として、3 ヶ月以内の生死を分類させる指示（French）を与えた。
• デコード戦略: 貪欲デコード（Greedy）と、出力を「0」または「1」に制限する制約付きデコード（Constrained）を比較。

4. 主要な結果

テキストと構造化データの比較

• 構造化データ単体: AUC 約 0.79 で、テキスト単体（AUC 0.75 前後）よりも高い性能を示しました。
• テキスト単体: 臨床ノートには予後に関する重要な情報が含まれていますが、CLS 埋め込みのみでは限界があります。

マルチモーダル融合の性能

• 最高性能: エンティティレベルの情報を組み合わせたマルチモーダルモデルが最も優れた性能を示しました。
  • CamemBERT-bio + 構造化データ + Gated Fusion（選択された変数）: F1 スコア 48.5%, AUC 81.5%。
  • DrBERT + 構造化データ + Gated Dual Cross Attention: F1 スコア 46.9%, AUC 79.7%。
• エンティティの重要性: CLS 埋め込み単体と比較して、エンティティレベルの表現を統合することで予測精度が向上しました。
• 融合手法: 単純な連結や平均化よりも、アテンション機構やゲート機構を用いた学習可能な融合手法が優れていました。

LLM の性能

• 全体的な低性能: 教師あり学習モデルに比べ、LLM の予測性能（F1 スコア）は全体的に低く、一貫性がありませんでした。
• 入力モダリティの影響:
  • テキストのみ: LLM にとって最も扱いやすい入力形式でした（F1 スコアが相対的に高い）。
  • 構造化データのみ: 表形式のデータを直接入力すると、モデルが特定のクラス（生存または死亡）に偏って出力する傾向があり、性能が著しく低下しました（例：Mistral は構造化データ入力時、F1=0）。
  • マルチモーダル: 構造化データをテキスト形式に変換（Textified）しても、性能の大幅な向上は見られませんでした。
• 指示遵守: モデルや入力形式によって指示の遵守度（出力フォーマット）に大きなばらつきがあり、臨床意思決定支援ツールとしての信頼性は現時点では限定的です。

5. 結論と貢献

• 主要な結論: 心不全患者の短期死亡率予測において、**「エンティティ意識型（Entity-aware）のマルチモーダル・トランスフォーマー」**が最も信頼性の高い解決策です。臨床テキスト単体では不十分であり、構造化データとの融合、特にエンティティレベルの情報を活用した融合が不可欠です。
• LLM に関する知見: 現在の LLM は、構造化データやマルチモーダル入力を用いた直接的な予後予測には適しておらず、指示の遵守や推論の安定性に課題があります。
• 学術的貢献:
  1. フランス語の心不全特化データセットを用いた大規模なマルチモーダル研究の提供。
  2. 臨床テキストから抽出したエンティティ埋め込みを CLS 埋め込みと融合する効果の実証。
  3. 複数の融合戦略（特にアテンションとゲート機構）の体系的な比較。
  4. 医療分野における LLM の直接推論能力と限界に関する実証データ。

6. 意義と限界

• 意義: 医療 AI において、非構造化テキストの「意味」をエンティティレベルで抽出し、構造化データと統合するアプローチの有効性を示しました。これは、より正確なリスク層別化と臨床意思決定支援への道を開きます。
• 限界:
  • データが単一施設（フランス）に限定されており、外部妥当性の検証が必要です。
  • NER の精度が最終モデルの性能に依存します。
  • 使用された LLM は比較的小規模（4B-7B パラメータ）であり、より大規模なモデルでの検証は今後の課題です。
  • マルチモーダルモデルの解釈性（なぜその予測に至ったか）は依然として課題です。

この研究は、臨床現場での実用的な予測モデル構築において、単純なテキスト処理や最新の LLM への過度な依存ではなく、ドメイン知識（エンティティ）と構造化データを統合した教師あり学習アプローチの重要性を浮き彫りにしています。