技術概要：強健なマルチモーダルアルツハイマー病分類のための PRA-PoE

1. 問題定義

アルツハイマー病（AD）の正確な分類には、構造的 MRI（sMRI）、PET スキャン（FDG およびアミロイド）、臨床的な表形式データを含むマルチモーダル証拠の統合が不可欠である。しかし、現実世界の臨床コホートでは、コスト、禁忌、プロトコルの不均一性により、任意のモダリティ欠損が発生する。その結果、トレーニング中に観測されるモダリティ部分集合の分布と、展開時に遭遇する分布との間に「欠損パターンミスマッチ」が生じる。

このミスマッチは、以下の 2 つの主要な課題を引き起こす：

1. 条件付き表現のシフト: モデルは頻出するモダリティ部分集合に共適応する傾向があり、特定のモダリティの表現が、どの他のモダリティが存在するかによってドリフトする（文脈依存ドリフト）。これにより、稀なまたは未観測のモダリティ組み合わせに対する汎化性能が低下する。
2. 合成特徴への過信: 既存の補完法やクロスモーダル変換法は、合成（補完）された特徴を、完全に観測されたものと同様に扱うことが多い。明示的な不確実性モデリングの欠如は「盲目の融合」を引き起こし、ノイズの多い補完値が集約プロセスを汚染して、強力な観測モダリティが存在する場合であっても負の転移を引き起こす。

2. 手法：PRA-PoE

著者は、不完全なマルチモーダル入力を処理するために設計された統合フレームワーク PRA-PoE を提案する。これは、プロトタイプアンカー型表現アライメント（PRA） と 不確実性認識型エキスパート積（UA-PoE） 融合メカニズムという 2 つの中核コンポーネントで構成される。

2.1 統合特徴エンコーディング

3D 神経画像や表形式データなどの異種入力は、モダリティ固有のエンコーダ（$E_m$）を用いて共有潜在空間にマッピングされる。欠損モダリティはゼロプレースホルダーとして表現され、利用可能性マスクを介してクロスモーダルアテンション機構から除外される。

2.2 プロトタイプアンカー型表現アライメント（PRA）

表現シフトを軽減するため、PRA は融合前に部分集合不変なセマンティクスを強制する。その動作は以下の通りである：

• 学習可能なグローバルプロトタイプ: 各モダリティは、一貫したセマンティック空間を確立するために、学習可能なグローバルプロトタイプ（$P_m$）にアンカーされる。
• 利用条件付きトークン: フレームワークは、モダリティが観測されているか欠損しているかを明示的にエンコードする 2 つの学習可能なトークン（$t_{obs}$ および $t_{mis}$）を使用する。これらのトークンは、グローバルプロトタイプに連結されてクエリ（$q_{i,m}$）を形成する。
• マスク付きクロスアテンション: マルチヘッドクロスアテンション機構は、観測されたモダリティからのみの特徴を使用して、ターゲットモダリティの表現を洗練させる。観測マスクから導出された加法バイアスにより、欠損モダリティがアテンション計算に寄与しないように保証される。
• 適応的較正: 観測されたモダリティについては、元の特性をアライメントされた特性と適応的に融合させ、部分集合誘発ドリフトを軽減する。欠損モダリティについては、特性を観測された文脈からのみ合成する。

2.3 不確実性認識型エキスパート積（UA-PoE）

PRA に続き、フレームワークは各モダリティを、エキスパート積（PoE）融合スキーム内のガウスエキスパートとして扱う。

• ガウスモデリング: 各モダリティのアライメントされた表現は、軽量ヘッドを介して対角ガウス分布（$N(\mu, \sigma^2)$）にマッピングされる。
• 暗黙的不確実性による重み付け低下: 重要なのは、PRA によって合成された特徴に基づくものを含め、すべての $M$ 個のエキスパートが融合に参加することである。合成された特徴はより高い認識的不確実性（epistemic uncertainty）を伴うため、対応するエキスパートは自然に大きな分散（$\sigma^2$）を学習する。閉形式の PoE 融合において、分散が高いことは精度が低いことを意味し、明示的な不確実性しきい値を必要とせずに、信頼性の低い（補完された）モダリティの寄与を自動的に低下させる。
• 予測: 融合された事後分布は、モンテカルロ（MC）サンプリングを介してサンプリングされ、最終的な分類確率を生成する。

2.4 損失関数

モデルは、クロスエントロピー損失と標準正規事前分布に対するカルバック・ライブラー（KL）発散ペナルティの組み合わせを用いて訓練される。この正則化は、過信なエキスパートを防ぎ、融合分布が適切に較正された状態に保たれるように促す。

3. 主な貢献

• 利用可能性の明示的モデリング: 暗黙的補完に依存する先行研究とは異なり、PRA-PoE は学習可能なトークンを用いてモダリティの利用可能性を明示的にエンコードし、特徴レベルで観測データと欠損データを区別する。
• 表現アライメント: PRA モジュールは、モダリティ埋め込みをグローバルプロトタイプにアンカーし、利用条件付きアテンションを介してそれらを洗練させることで、文脈依存の表現シフトを軽減する。
• 不確実性認識型融合: UA-PoE メカニズムは、合成された特徴を融合プロセスに統合するが、分散ベースの精度重み付けを通じてその影響を自動的に抑制し、ノイズの多い補完値からの負の転移を防ぐ。
• 臨床的に現実的な評価プロトコル: このフレームワークは、自然に欠損したデータで訓練し、完全なケースやランダムなドロップアウトだけでなく、稀な長尾パターンを含むすべての非空モダリティ組み合わせでテストするプロトコル下で評価される。

4. 実験結果

著者は、PRA-PoE を 2 つの大規模ベンチマーク、ADNI（CN vs. MCI vs. AD）および OASIS-3（CN vs. AD）で評価した。

• 性能: PRA-PoE は、すべての非空モダリティ部分集合において、mmFormer、ShareSpec、AnyMod、各種 MoE フレームワークを含む最先端のベースラインを常に上回った。
  • ADNI において、最強のベースライン（MoE-retriever）に対して、平均精度で5.4% の相対改善、AUC で 4.0% の改善を達成した。
  • OASIS-3 において、最強のベースラインに対して平均 F1 スコアで10.9% の相対改善を達成した。
• 効率性: このモデルはパラメータ効率が高く（1380 万パラメータ）、計算量も軽量（184 億 FLOPs）であり、推論速度はサンプルあたり 8.1 ミリ秒で、低遅延展開に適している。
• アブレーション研究: PRA を除去すると最大の性能低下（平均 ACC が 64.1% から 61.0% に低下）が生じ、分布シフトの軽減におけるその重要な役割が確認された。UA-PoE を除去しても性能が低下し、不確実性認識型融合の必要性が実証された。

5. 意義と主張

本論文は、PRA-PoE が臨床設定におけるマルチモーダル学習の重要なギャップ、すなわち任意かつ不均一な欠損パターン下での現在のモデルの汎化能力の欠如に対処していると主張している。モダリティの利用可能性を明示的にモデル化し、不確実性を融合メカニズムに直接統合することで、このフレームワークは、稀または不完全なデータ部分集合に遭遇した場合でも、強健な予測を提供する。

著者は、PRA-PoE を実用的な臨床応用への一歩として位置づけ、現実世界のコホートで見られるモダリティ組み合わせの「長尾」分布を処理する能力に言及している。この研究は、将来の拡張には、汎化性をさらに評価するための縦断的モデリングや外部多施設検証が含まれる可能性があることを示唆している。