Global and Local Contrastive Learning for Joint Representations from Cardiac MRI and ECG

技術要約：心臓MRIとECGからの結合表現のためのPTACL

問題提起
心血管疾患は、依然として世界的な死亡原因の主要なものとなっています。心電図（ECG）は、電気的な異常（不整脈など）を検出するための、広く使用されている、費用対効果が高く非侵襲的なツールですが、心室容積、心筋重量、駆出率といった重要な構造的・機能的パラメータを直接測定する能力には欠けています。対照的に、心臓磁気共鳴（CMR）画像は、これらの評価におけるゴールドスタンダードですが、高価で時間がかかり、アクセスのしやすさにも欠けます。既存のマルチモーダルなアプローチは、対照学習を用いてECGとCMRの埋め込みをグローバルに整列させることで、このギャップを埋めようと試みています。しかし、これらの手法は各モダリティを包括的な表現として扱うことが多く、微細な時間的関係を見落としています。CMRは心周期にわたる動的なシーケンスを捉える一方で、ECGは連続的な電気活動を記録するため、グローバルな整列だけでは、両モダリティを効果的に統合するために必要な時間的精度が不足しています。

手法：PTACL
著者らは、CMRからの時空間情報を統合することでECG表現を強化するために設計された、マルチモーダル対照学習フレームワークである**PTACL（Patient and Temporal Alignment Contrastive Learning）**を提案しています。このフレームワークは、以下の3つのフェーズで動作します。

1. 単一モダリティ事前学習 (SMP): 未ラベルデータを用い、マスクドオートエンコーダ（MAE）フレームワークを使用して、ECGとCMRのエンコーダを個別に事前学習します。
   • ECG: 多誘導信号は、1D畳み込みを介して時間ベースのトークンへと埋め込まれ、ランダムマスキングの前に位置エンコーディングが付加されます。
   • CMR: 2D+T短軸シーケンスは、3D畳み込みを介して処理され、時空間トークンを生成した後、マスキングと再構成が行われます。
2. マルチモーダル対照事前学習: 2種類の対照損失を組み合わせて、エンコーダを共同学習させます。
   • グローバル対照損失 (Global Contrastive Loss): 患者レベルの表現を整列させます。これは、InfoNCE損失を利用して、同一患者のECG埋め込みとCMR埋め込みを近づけ、異なる患者の埋め込みを遠ざけます。
   • ローカル対照損失 (Local Contrastive Loss): 微細な時間的整列を強制します。この損失は、エンコードされたECGセグメント（単一心拍表現から派生）と、同じ心位相における対応するエンコードされたCMRフレームを対照させます。
     • メカニズム: ローカル損失は、ハード（$\sigma=0$、完全一致）またはソフト（$\sigma>0$、時間的距離に基づくガウス重み付け）のいずれかとなる時間整列行列（$P_{k,t}$）を利用します。
     • パラメータ効率: 特筆すべき点として、このローカル整列は完全にパラメータフリーであり、モデルに新たな学習可能な重みを導入することはありません。
3. 推論: 学習済みECGエンコーダは、CMRエンコーダを必要とせずに、ダウンストリームタスクにおいて評価されます。

主な貢献

• 新規フレームワーク: グローバルな患者レベルの整列とローカルな時間レベルの整列を組み合わせることで、より豊かなECG表現を作成するPTACLの導入。
• 時間的精度: 従来のグローバルのみの手法とは異なり、PTACLはECGセグメントとCMRフレーム間の時間的対応関係を明示的にモデル化し、ECGゲート式CMR取得によって提供される生理学的整列を活用します。
• パラメータ効率: ローカル整列コンポーネントに新しい学習可能パラメータを導入することなく、性能の向上を実現しました。
• 自己教師あり学習アプローチ: 本フレームワークは完全に自己教師あり学習であり、UKバイオバンクの27,951人の被験者からのペアデータを用いて学習されています。

実験結果
著者らは、UKバイオバンクのデータ（訓練対象27,951人、テスト対象5,991人）を用いて、2つの臨床的に関連のあるタスクでPTACLを評価しました。

1. 患者検索 (Patient Retrieval): このタスクは、ECG埋め込みに基づいて、類似したCMR由来の表現型を持つ患者を検索することを目的としています。
   • PTACL（Global + Local）は、テストされたすべての表現型（例：LV/RV容積、駆出率、重量）において、ベースラインであるGlobalモデルを一貫して上回りました。
   • Precision@k (P@k)、Mean Rank (MnR)、Median Rank (MdR) において改善が見られました。例えば、左室拡張末期容積（EDVLV）については、P@1が0.492（Global）から0.510（PTACL）へと向上しました。
2. 表現型回帰 (Phenotype Regression): このタスクは、ECG埋め込みからCMR由来の心機能パラメータを予測することを目的とし、$R^2$ スコアを用いて評価されました。
   • PTACLは、単一モダリティのベースライン（ECGのみ、またはCMRのみ）および従来のマルチモーダル手法（ECCL、CMAE、MMCLなど）と比較して、優れた回帰性能を達成しました。
   • 例えば、左室駆出率（LVEF）の予測において、フルファインチューニングを行ったPTACLは0.283の$R^2$を達成し、Globalベースライン（0.258）や他のマルチモーダル手法を上回りました。
   • これらの結果は、ローカルな対照整列が、グローバルな整列よりも多くの洞察をモダリティ間で転移させることを示しています。

意義と主張
本論文は、PTACLが、電気的活動を超えた診断情報をECG表現に豊かにすることで、非侵襲的な心臓診断を強化することに成功したと主張しています。微細な時間的対応関係を捉えることにより、本手法はECGデータのみを用いて心臓の構造と機能を評価する能力を向上させます。著者らは、これが追加の学習可能パラメータによる計算オーバーヘッドなしに達成されていることを強調しています。

本研究は、ペアとなるECG-CMRデータの依存性という限界も認めており、そのようなペアデータが存在しない場合には適用が制限される可能性があります。著者らは、今後の課題として、フレームワークを他のモダリティ（超音波など）へ拡張することや、ペアとなるマルチモーダルデータへの依存を軽減する戦略の開発を挙げています。さらなる研究を促進するため、コードはコミュニティに公開されています。