X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

技術要約: X-FEMR

問題提起
ETHOSやCLMBR-T-Baseに代表される電子健康記録（EHR）のための基盤モデル（FEMR）は、長期的な患者の軌跡を、臨床予測タスクのための汎用的な表現へと変換する上で強力な性能を示している。しかし、これらのモデルは「ブラックボックス」として機能するため、バイアス、解釈可能性、および臨床的な信頼性に関する重大な懸念を引き起こしている。SHAPなどの特徴量アトリビューションや、サリエンシーマップ（顕著性マップ）などの勾配ベースの手法を含む既存の説明可能なAI（XAI）技術は、基盤モデル規模のアーキテクチャには適していないことが多い。これらの手法は、高次元の分散表現、複雑な長文脈の相互作用、およびタスクに依存しないFEMRの潜在空間に対して苦慮している。さらに、既存の代理モデル（例：線形回帰、決定木）は、滑らかで線形なデータ関係を想定していることが多く、これはEHRデータに固有の不規則で不均一かつ非線形な時間的動態を捉えるには不十分である。その結果、臨床的な推論と整合させることができる、FEMR専用に設計されたトークンレベルの説明可能性フレームワークが欠如している。

手法
著者らは、トランスフォーマーベースの代理モデルを利用した、FEMRのための初のトークンレベルの説明可能性アプローチであるX-FEMRを提案している。この手法は、主に3つのコンポーネントで構成される：

1. データ収集および前処理:

   • 本研究ではEHRSHOTデータセットを利用し、OMOP共通データモデル（OMOP-CDM）に従って、患者の記録を臨床イベントの時系列シーケンスとして整理している。
   • 各イベントは、4つの特徴量（医療コード（例：SNOMED、LOINC）、数値値（例：検査結果）、テキストフィールド、タイムスタンプ）によって特徴付けられる。
   • ターゲットとなるFEMR（CLMBR-T-Base）から、2つの特定の予測タスク（入院期間（LOS）の予測およびICU転院）のための入力・出力ペアを抽出している。

2. 代理モデルの開発:

   • FEMRの入出力挙動を近似するために、トランスフォーマーベースの代理モデルを訓練する。従来の線形代理モデルとは異なり、このアーキテクチャは複雑な時間的依存関係と非線形パターンを捉えることができる。
   • イベントエンコーディング: 各臨床イベントは、学習されたコード埋め込み、テキスト埋め込み、および数値値のためのゲート注入メカニズムを用いてエンコードされる。時間的動態は、予測までの時間間隔（$\Delta t$）を計算することで捉えられ、これは対数変換および正規化される。
   • 教師戦略: 代理モデルは、以下の2つの設定下で訓練される：
     • ハードラベル教師あり学習 (Hard-label Supervision): 二値出力（例：転院するか否か）を予測することで、最終的な決定境界を捉える。
     • ソフトラベル教師あり学習 (Soft-label Supervision): 生の確率出力を予測することで、モデルの確信度と微細な決定ロジックを捉える。
   • 本研究では、どちらの設定がFEMRの基礎となる決定ロジックをより良く反映するかを判断するために、これらの設定を比較している。

3. トークンレベルの説明可能性と評価:

   • SHAP分析: 訓練された代理モデルに対し、SHAP（SHapley Additive exPlanations）を用いて分析を行い、個々のトークン（臨床イベント）がモデルの予測にどの程度寄与しているかを定量化する。
   • 臨床的整合性指標: 説明の臨床的な妥当性を評価するために、著者らは**臨床検証済みイベント比率（R）**という新しい指標を導入している。この指標は、代理モデルによって重要であると特定されたトークンと、医学文献によって確立された臨床的に検証された特徴量（例：特定のICD-10コード、心拍数や血圧などのバイタルサイン）との対応関係を定量化するものである。
   • $R = \frac{\sum_{f_j \in F_c} c(f_j; D)}{\sum_{f_j \in F} c(f_j; D)}$、ここで $F_c$ は臨床的に関連するトークンのサブセットであり、$c(f_j; D)$ はデータセットにおけるトークン $f_j$ の出現頻度である。

主な結果

• 代理モデルの性能: ハードラベル教師あり学習で訓練されたトランスフォーマーベースの代理モデルは、FEMRの予測挙動を密接に近似しており、LOSタスクにおいて元のCLMBR-T-Baseを上回り（AUPRC: 0.4434 vs. 0.4173）、ICU転院タスクにおいても同等の性能を達成した。ソフトラベル教師あり学習は、決定閾値付近での弱い正の信号のモデリングが困難であったため、より低い性能となった。
• トークンの重要性: SHAP分析により、数値値（例：臨床検査値）および**時間デルタ（時間差）**が最も影響力のある特徴量であり、テキストやコードよりも有意に貢献していることが明らかになった。
• 臨床的整合性: 特定された重要なトークンは、臨床知識とよく一致していた。
  • LOSタスクについては、頻度の高い上位5つのトークン（心拍数、収縮期血圧、体温、拡張期血圧、呼吸数）が全イベントの29%を占め、臨床検証済みイベント比率（$R$）は0.3093であった。
  • ICU転院タスクについては、上位5つのトークン（心拍数、体温、収縮期血圧、拡張期血圧、酸素飽和度）が全イベントの24%を占め、$R$ は0.2717であった。
  • これらの結果は、代理モデルによる説明が、臨床的に検証された予測因子に集中していることを示している。

意義および主張
本論文は、FEMRに特化した初のトークンレベルの説明可能性アプローチを提示していると主張している。その意義は以下の点にある：

1. 解釈可能性のギャップを埋める: 従来の機能レベルの説明を超え、FEMRが予測のために特定の患者履歴要素（例：特定の時点における特定のバイタルサイン）をどのように活用しているかについて、粒度の高いトークンレベルの洞察を提供する。
2. 検証されたフレームワーク: 臨床検証済みイベント比率を導入することで、モデルの説明が確立された医学的知識とどのように一致するかを評価するための定量的な手法を提供し、FEMRの説明可能性における評価指標の欠如に対処している。
3. 実用的な有用性: 本アプローチは、解釈可能で信頼できる臨床AIを生成するための実用的なフレームワークを提供し、臨床医がAIの推奨事項の背後にある理由を理解することを助け、潜在的に臨床スコアリング方法や診療ガイドラインの改善に寄与する。

著者らは、長くノイズの多い患者の軌跡を模倣することの複雑さや、複数の特徴量チャネルを単一のイベントトークンに結合する際の微細な情報の損失の可能性を含む、限界についても認めている。今後の課題として、時間を独立したモデリングコンポーネントとして扱う代替のトークン化戦略を探索することが挙げられている。