技術要約: ProMoE-FL

問題提起

本論文は、ヘルスケア分野における**欠損モダリティを伴うマルチモーダル連合学習（Federated Learning: FL）**の課題に取り組んでいる。現実世界の臨床環境では、プライバシー規制や機器の可用性の違いにより、データは各機関に断片化されている。その結果、参加するクライアントは不完全なモダリティのセット（例：X線のみを持つクライアント、テキストレポートのみを持つクライアント、あるいは両方を持つクライアント）しか保有していないことが頻繁に起こる。

この問題に対する既存のアプローチには、以下のような重大な限界がある：

• 中央集権的な手法（プロンプトベース、生成型、またはドロップアウトベースなど）は、厳格なプライバシー制約と通信効率の要件のため、FLにおいては実用的ではない。
• 公開データへの依存: CAR-MFLのような手法は、クライアントの欠損データを補完するために追加の公開マルチモーダルデータセットを必要とするが、プライバシー制約やドメインギャップがあるヘルスケア分野では、これは非現実的であることが多い。
• ナイーブなインピュテーション（補完）: ゼロ充填（zero-filling）のような手法は、結合特徴空間を歪ませ、頻繁に観察されるモダリティへとモデルをバイアスさせてしまう。
• 特徴量合成の限界: FeatImpのような手法は、補完的な情報をモデル化することなく、観察されたモダリティのみから特徴量を合成する。また、PmcmFLのようなプロトタイプベースの手法は、クラス内のすべてのサンプルに同一の表現を割り当てるため、医療データにおいて極めて重要なクラス内変動を捉えることができない。

手法: ProMoE-FL

著者らは、外部の公開データに依存することなく、堅牢な欠損モダリティ特徴量合成を実現するために設計されたフレームワークであるProMoE-FL（Prototype-conditioned Mixture-of-Experts for Federated Learning）を提案する。

1. クライアント認識型グローバル・プロトタイプ・バンク

クライアント間の異質性と分布シフトに対処するため、本フレームワークは、機関を横断して臨床的に意味のあるモダリティの事前分布を捉えるグローバル・プロトタイプ・バンクを構築する。

• プロトタイプ構築: 各クライアントは、クラスごとに学習可能なモダリティ固有のプロトタイプ（$P^k_m$）を保持する。これらは、投影された特徴表現をクラスの重心に整合させるプロトタイプ整列損失（$L_{proto}$）を介して、ローカルに更新される。
• グローバル集約: 単純な平均化とは異なり、サーバーはクライアントのプロトタイプを集積してグローバル・バンク（$P^{global}_m$）を形成する。このバンクは、潜在空間における「クライアント認識型の事前分布」として機能し、分布の変動を考慮した特徴合成を導く。

2. プロトタイプ条件付き混合エキスパート（MoE）

欠損モダリティを持つクライアントのために、**プロトタイプ条件付きデコーダ（PCD）**が欠損した特徴量を合成する。

• アーキテクチャ: PCDはTransformerデコーダとして実装される。これは、利用可能なモダリティの潜在特徴をクエリ（query）として受け取り、ターゲット（欠損）モダリティのグローバル・プロトタイプ・バンクにアテンションを向けることで、必要なコンテキストを抽出する。
• 混合エキスパート（Mixture of Experts）: 異種モダリティのペア間の複雑で非線形な関係を扱うため、システムは混合エキスパート（$\Phi_{MoE}$）を採用している。これは、複数の独立したPCD（$\phi_e$）で構成される。
• 方向認識型ルーティング: モダリティ認識型ルーター（$R$）は、インスタンスのコンテキストとモダリティのインデックス（ソース $i$、ターゲット $j$）に基づいたゲーティング分布を計算する。これにより、データは最適なエキスパートの組み合わせへと動的にルーティングされ、ネットワークは特定の欠損モダリティ・シナリオに対して最適な合成戦略を適応的に選択できる。

3. 連合学習プロトコル

• ローカル学習: クライアントは、タスク損失（$L_{task}$）とプロトタイプ整列損失（$L_{proto}$）の組み合わせ目的関数を最適化する。
• 対称的再構成: マルチモーダル・クライアントは、対称的な再構成目的関数を用いて合成ネットワークを訓練し、利用可能な特徴量から欠損した特徴量を再構成すること、およびその逆を学習する。
• 通信: クライアントは、更新されたモデルパラメータ、投影ヘッド、およびローカル・プロトタイプを送信する。サーバーはこれらをFedAvgを介して集約する。通信オーバーヘッドは極めて小さい（全パラメータの約0.3%）。

主な貢献

1. フレームワークの提案: 公開マルチモーダルデータを使用せずに、連合学習における欠損モダリティ合成を可能にする、プロトタイプ条件付き特徴生成フレームワークであるProMoE-FLを導入した。
2. 新規アーキテクチャ: クライアント間の異質性を扱うためのクライアント認識型プロトタイプ・アテンションと、共有パラメータ化内での方向認識型合成を実現し、パラメータの組合せ爆発を防ぐための**混合エキスパート（MoE）**アーキテクチャを統合した。
3. 堅牢性の検証: 現実の臨床データサイロを反映した非IID設定において、性能向上を示す広範な実験を行い、定量的および定性的な分析によって裏付けられた。

実験結果

本手法は、4つの公開胸部X線データセット（MIMIC-CXR, NIH Open-I, PadChest, CheXpert）を用いて評価された。

• 性能: ProMoE-FLは、均質（homogeneous）および非均質（heterogeneous）の両方の設定において、最先端のベースライン（Zero-filling, Uniform-filling, FeatImp, PmcmFL, CAR-MFL）を一貫して上回った。
  • 均質設定では、9つの構成のうち6つで最高の性能を達成した。
  • 非均質設定（現実的な連合学習シナリオを代表するもの）では、すべての構成において一貫してすべてのベースラインを上回った。特に、単一のクラス単位プロトタイプへの依存により性能が低下したPmcmFLと比較して、顕著な改善を示した。
• 公開データとの比較: 公開データを利用するCAR-MFLと比較しても、ProMoE-FLは競争力のある性能を達成しており、内部プロトタイプメカニズムが外部データの欠如を効果的に補完していることが示された。
• 定性的分析:
  • t-SNE/UMAP: ProMoE-FLは、FeatImpと比較して、合成された特徴量と正解（ground-truth）特徴量との間のより緊密な統合と、より正確なクラス重心の整列を示した。
  • 稀な病理: 本手法は、稀な病理（例：拡大心陰影、骨折、肺病変）においても明確なクラス重心の分離を維持したが、FeatImpは異なる病理が収束してしまうモード崩壊（mode collapse）を示した。
  • エキスパートの活用: ゲーティング分布は、バランスの取れたエキスパート利用（0.5付近に集中）を示しており、単一のエキスパートへの崩壊ではなく、安定したマルチエキスパートの協調が行われていることを示した。
• 言語的異質性: 本研究では、英語のデータセットに加えてスペイン語の放射線科レポート（PadChest）が含まれており、この特定のFLコンテキストにおいて言語ドメインの異質性を考慮した最初の事例となった。

意義と主張

本論文は、ProMoE-FLが、現実世界の臨床的な連合学習におけるデータ異質性に対処するための実用的なアプローチを提供すると主張している。単純な特徴量補完を超えて、適応的なプロトタイプ条件付き合成へと移行することで、本フレームワークは以下のことを実現する：

• 稀な病理を含む診断構造を保持し、合成されたデータが信頼できる診断に必要な識別信号を保持することを保証する。
• 利用可能な公開マルチモーダルデータセットという非現実的な仮定なしに効果的に動作する。
• 非IIDデータや、医療センター間でのモダリティの可用性の変化という課題を克服し、プライバシー保護型のマルチモーダル・ヘルスケアAIに対する堅牢なソリューションを提供する。