論文要約：患者の臨床経路における欠損モダリティの処理と解釈

タイトル: HANDLING AND INTERPRETING MISSING MODALITIES IN PATIENT CLINICAL TRAJECTORIES VIA AUTOREGRESSIVE SEQUENCE MODELING
著者: Andrew Wang, Ellie Pavlick, Ritambhara Singh (Brown University)

1. 背景と課題 (Problem)

医療におけるマルチモーダル機械学習（ML）モデルの開発において、**「欠損モダリティ（Missing Modalities）」**の処理は依然として大きな課題です。

• データの特性: 臨床データは本質的に時系列であり、モダリティ（検査値、画像、テキストなど）の存在が不規則かつ疎（スパース）です。
• 既存手法の限界:
  • 静的アプローチ: 従来のモデルは、特定の時間窓内のデータを単一のベクトルに連結する「Bag-of-features」アプローチを採用しており、診断プロセスの動的な更新や説明可能性を損なっています。
  • 欠損処理: 既存の欠損処理手法は、欠損データを推測・補完（Imputation）するか、ゼロパディングやサンプル削除に依存しています。前者は臨床的に存在しない信号を「幻覚（Hallucination）」させ、後者は潜在空間の幾何学的構造を破壊し、安全な診断モデルの構築を阻害します。
• 目標: 臨床診断を静的な分類タスクから、**自己回帰的な信念状態の更新（Belief State Updates）**という時系列モデルリングタスクへと再定義し、欠損モダリティに頑健かつ透明性のあるモデルを構築すること。

2. 提案手法 (Methodology)

著者らは、大規模言語モデル（LLM）の因果デコーダーを活用し、患者のマルチモーダル経路をモデル化する新しいフレームワークを提案しました。この手法は以下の 2 つの主要な構成要素から成り立ちます。

A. 欠損認識型対照的事前学習 (Missingness-Aware Contrastive Pre-training)

• Masked Global Alignment: 従来の対照的学習を拡張し、欠損モダリティを明示的に扱うための新しい損失関数を導入しました。
• 学習可能な欠損トークン: 欠損したモダリティに対して、ゼロパディングの代わりに学習可能なトークン（Placeholder Tokens）を注入します。これにより、欠損データも潜在空間内で適切に表現されます。
• 補完的重心アライメント (Complementary Centroid Alignment):
  • 観測されたモダリティを「アンカー」とし、同じ患者の他の観測モダリティの集合を「正のターゲット」として対照的に学習します。
  • 患者が 1 つのモダリティしか持たない場合でも、安定したグローバル表現を用いて負のサンプルとして機能させることで、極端なデータ疎性下でも学習を安定させます。
• 目的: 異なるモダリティ（例：画像とテキスト）を、欠損の有無にかかわらず、同じ患者の文脈で整合性の取れた潜在空間にマッピングすること。

B. 自己回帰的シーケンシャルモデリング (Autoregressive Sequence Modeling)

• トランスフォーマー・デコーダーの転用: 事前学習された埋め込み表現を用いて、患者の臨床イベントを時系列順に処理する LLM デコーダー（Llama-3, Mistral, DeepSeek など）をファインチューニングします。
• [PREDICT] トークン: 各臨床イベントの直後に特殊なトークンを挿入し、新しい証拠が入るたびにモデルが診断信念を更新する（自己回帰的に予測する）ように設計しています。
• 静的モデルとの比較: 従来の MLP や LSTM などの静的「Bag-of-features」モデルと比較し、時系列モデルの優位性を検証しました。

C. 機械的解釈性分析 (Mechanistic Interpretability)

• 注意機構（Attention Weights）を解析し、モダリティを除去した際のモデルの内部推論経路を追跡します。これにより、モデルがどの情報に基づいて判断を下しているか、また欠損時にどのようなバイアス（例：人口統計データへの過度な依存）が発生するかを可視化します。

3. 主要な貢献 (Key Contributions)

1. 新しいハイブリッド対照的損失関数の導入: 明示的な欠損トークンを学習させ、不完全なマルチモーダル患者状態をグローバルな潜在表現に整合させる手法を開発。
2. 対照的事前学習とトランスフォーマーの融合: 患者経路を時系列でモデル化するアーキテクチャを構築し、MIMIC-IV および eICU データセットにおいて、静的なベースラインを凌駕する性能を示す。
3. 安全性と透明性の向上: 対照的アライメントが、欠損モダリティ条件下での不安定な安全性失敗（Safety Failures）を防ぐことを実証。また、時系列モデルの推論経路を可視化することで、臨床的透明性を確保。

4. 実験結果 (Results)

MIMIC-IV（胸部 X 線、EHR、退院記録など）と eICU（多様な臨床指標）の 2 つの大規模データセットで評価を行いました。

• 事前学習の品質: 対照的事前学習により、異なるモダリティ間の意味的整合性が大幅に向上しました（クロスモーダル検索精度の向上、シルエットスコアの低下）。
• 性能向上:
  • MIMIC-IV（高欠損率）: モダリティ欠損率が高いデータセットでは、対照的事前学習を組み合わせた時系列モデルが劇的な性能向上を示しました（例：DeepSeek-LLM-7B の死亡率予測 AUROC が 0.5720 → 0.8409）。
  • eICU（低欠損率）: データが比較的充実している eICU では、ゼロから学習した時系列モデルが最も高い性能を示しましたが、対照的学習も安定した性能を提供しました。
• 解釈性と安全性:
  • 欠損耐性: 対照的学習を行ったモデルは、特定のモダリティ（例：放射線レポート）を除去しても予測精度が維持され、注意機構が安定していました。
  • バイアスの検出: 対照的学習を行わないモデルは、重要な臨床モダリティ（時系列データ）が欠損すると、人口統計データ（Demographics）に過度に依存するという危険な挙動を示しました。対照的学習はこの「人口統計へのアンカー（Attention Sink）」現象を抑制し、臨床的根拠に基づいた推論を維持させました。

5. 意義と結論 (Significance)

この研究は、医療 AI の実用化における重要な課題である「欠損データへの対応」と「説明可能性」を同時に解決する枠組みを提供します。

• 臨床的妥当性: 医師の診断プロセス（証拠の蓄積と信念の更新）を模倣する自己回帰的アプローチは、静的モデルよりも現実的な臨床シナリオに適しています。
• 安全な AI 展開: 対照的事前学習は、欠損データによるモデルの不安定化や、人口統計データへの過剰依存といった潜在的なバイアスを軽減し、より公平で安全な意思決定を可能にします。
• 透明性: 機械的解釈性分析を通じて、モデルが「なぜ」その判断を下したかを追跡可能にし、臨床医による監査を支援します。

総じて、このフレームワークは、ノイズの多い非同期な臨床データに対処しつつ、信頼性の高い医療 AI システムを構築するための重要なステップとなります。