A Composable Multimodal Framework for cine CMR-Text-Driven Prediction of Heart Failure Outcomes

技術概要：心不全予後予測のためのコンポーザブルなマルチモーダルフレームワーク（ Cine CMR–テキスト駆動型）

1. 問題定義

心不全（HF）は、複雑で多因子性の疾患であり、世界的な有病率の上昇と顕著な死亡率を伴う。深層学習は医療画像解析や臨床意思決定支援を進展させたが、既存のアプローチは単一モーダルデータ（例えば画像のみ、または臨床指標のみ）に依存することが多く、部分的な判断に留まっている。さらに、臨床記録には薬剤歴や処方箋などの豊富な非構造化テキストデータと構造化数値データが含まれているが、これらは Cine Cardiac Magnetic Resonance（Cine CMR）のような高次元画像と併用される際に頻繁に未活用となっている。Cine CMR 配列、構造化された臨床指標、非構造化のテキスト記録という異種データソースを体系的に統合し、HF 患者の予後予測、リスク層別化、個別化治療計画の改善を図るための包括的なフレームワークが緊急に必要とされている。

2. 手法：M-PRTM フレームワーク

著者らは、HF の予後予測のために 3 つの異なるデータモーダルを融合するように設計されたコンポーザブルな戦略フレームワークである「マルチモーダル回復後追跡モデル（M-PRTM）」を提案する。

データモーダル：

• Cine CMR： 心筋線維化（後期ガドリニウム増強により検出）を含む解剖学的および機能的特徴を捉える。
• 数値データ： 人口統計（年齢、性別）、バイタルサイン（心拍数、血圧）、および検査指標（ALT、LDL-C など）を含む。
• テキストデータ： 処方情報（薬剤種類、用量、治療段階）および診断ラベルに特化した、非構造化の医療記録で構成される。

アーキテクチャ：
このフレームワークは、各モーダル専用のサブネットワークを採用し、その後に動的融合メカニズムが続く。

1. 画像ブランチ（DAE-Former）： Cine CMR 解析のために Dual Attention-guided Efficient Transformer（DAE-Former）を利用する。このモデルは、スキップ接続されたエンコーダとマスク付きデコーダを統合し、Efficient Dual Attention（EDA） および Skip Connection Cross Attention（SCCA） モジュールを備える。これは、空間的および時間的特徴を抽出するために心筋線維化領域をセグメント化する役割を担う。
2. 数値ブランチ： 臨床指標を ReLU 活性化および Dropout を備えた全結合ネットワーク（MLP）を通じて処理し、入力を 256 次元の特徴空間にマッピングする。
3. テキストブランチ： 事前学習済みの BERT エンコーダを用いて、医療履歴および処方記録をトークン化し埋め込む。その後、全結合層が 768 次元の BERT 出力を 256 次元に縮小し、他のモーダルと整合させる。
4. マルチモーダル融合（自己推論アテンション）： 中核的な革新は 自己推論アテンションメカニズム である。静的な融合とは異なり、このモジュールはクエリ（Q）、キー（K）、バリュー（V）行列を動的に計算し、特定の予測タスクに対する意味的関連性に基づいて各モーダルに適応的な重みを割り当てる。これにより、モデルは重要な情報を優先して（例えば、重度の線維化を持つ患者では画像を、複雑な薬剤変更がある患者ではテキストを）、リアルタイムで最終的な患者表現を「構成」することが可能になる。

トレーニングと検証：

• データセット： 南京鼓楼病院からの後ろ向きデータ。136 件の Cine CMR ケースと 688 件の構造化臨床記録を含む。
• タスク： カスケード型予測フレームワーク。まず、24 ヶ月以内の主要な心血管・脳血管イベント（MACCE）の発生確率を予測する二値分類を行う。次に、補助回帰ブランチが高リスク患者のイベント発生までの時間を推定する。
• 損失関数： 分類のためのクロスエントロピー、線維化セグメンテーションのための Dice 損失、およびイベント発生までの時間回帰のための平均二乗誤差を組み合わせた複合損失。
• プロトコル： 厳格な時間的打ち切りにより、予測が退院時点で利用可能なデータのみに基づいていることを保証する。モーダルマスキングにより、一部の患者で画像データが欠落していても、全コホート（n=688）でのトレーニングを可能にする。

3. 主要な貢献

• コンポーザブルなマルチモーダルフレームワーク： Cine CMR、構造化指標、非構造化テキストを単一の予測パイプラインに統合する M-PRTM の導入。
• 動的アテンション戦略： 患者固有の状態に基づいてモーダルを適応的に再重み付けする自己推論アテンションメカニズムの開発。静的融合や固定重みのベースラインを上回る性能を発揮する。
• 特化された特徴抽出： HF 予後に特化し、心筋線維化の精密なセグメンテーションのための DAE-Former の適用、および臨床処方の意味的抽出のための BERT の適用。
• 包括的な評価： 線維化セグメンテーション、イベント予測、リスク層別化、およびイベント発生までの時間回帰を含む複数のタスクでの検証。

4. 結果

本研究は、独立したテストセットにおける以下の性能指標を報告する。

• 全体の精度： 完全なマルチモーダル M-PRTM は、臨床転帰を予測する際に 96.5% の精度を達成し、単一モーダルアプローチおよびベースラインを大幅に上回った。
• モーダル比較：
  • テキスト + Cine CMR + 数値データ：96.5%
  • テキスト + Cine CMR：94.0%
  • テキスト + 数値データ：92.5%
  • Cine CMR + 数値データ：86.5%
  • 注記： テキストデータ（処方箋）が最も支配的なモーダルであり、次いで Cine CMR が続いた。
• アテンション配分： 自己推論アテンションメカニズムは、平均してテキストデータに約 55%、Cine CMR に 30%、数値データに 15% の重みを動的に割り当てたが、これは適応的に変化した（例えば、顕著な線維化があるが指標が安定している患者では、Cine CMR の重みが 82% に増加した）。
• ベースライン比較： M-PRTM（精度 96.5%）は、単純なマルチモーダルネットワーク（74.8%）および MAGGIC スコアに基づくロジスティック回帰モデル（87.2%）を大幅に上回った。
• 線維化セグメンテーション： DAE-Former コンポーネントは、Dice 類似係数（DSC）で 72.32%、ハウスドルフ距離（HD）で 21.66 を達成し、TransUNet や HiFormer を上回った。
• イベント発生までの時間回帰： 補助回帰ブランチは、MACCE イベントの発生時期を予測する際に、平均絶対誤差（MAE）が 14.3 日、$R^2$ が 0.64 となった。

5. 意義と主張

本論文は、M-PRTM フレームワークが 包括的な予後評価 と 個別化治療計画 を支援することにより、心不全ケアの最適化のためのスケーラブルな解決策を提供すると主張する。

• 包括的評価： 異種データを統合することで、単一モーダルシステムの限界を補完し、より正確な臨床推論プロセスを提供する。
• 動的適応性： フレームワークのコンポーザブルな性質により、線維化が多い症例では画像を優先し、薬剤が多い症例ではテキストを優先するなど、個々の患者の状態に適応することが可能となり、静的モデルよりも信頼性の高い予測をもたらす。
• 臨床的有用性： このモデルは、24 ヶ月間のリスク軌道を生み出すために患者退院時点で展開されるように設計されている。これにより、臨床医は悪化の可能性を定量化し、症状が悪化するのを待つことなく予防的介入（例えば、フォローアップ間隔の調整）を実施することが可能になる。
• リソース最適化： このシステムは、低リスク患者に対する不要な医療負担を軽減しつつ、リソースを高リスク個人へ向けることができるリスク層別化をサポートする。

著者らは、データセットが単一施設に限定されていること、および深層学習の「ブラックボックス」性という限界を認めており、今後の研究は多施設検証と臨床導入のための解釈性の向上に焦点を当てるべきであると述べている。