技術要約：Together, Then Apart (TTA) によるマルチモーダル生存解析

1. 問題提起

マルチモーダル生存解析は、病理組織学的全スライド画像（WSI）とゲノムプロファイルという、異種性の高い生物学的データを統合することで、がんの予後予測を改善することを目指している。現在の最先端手法の多くは、クロスモーダルな相関関係を捉えるために、これらのモダリティを共通の潜在空間に整列（アライメント）させることに依存しているが、著者らは決定的な限界を指摘している。それが**過剰な整列による崩壊（over-alignment collapse）**である。

攻撃的な整列は、異質な信号（例：WSIにおける空間的な形態学的パターンと、疎な遺伝子レベルの変動）を、不適切な段階で単一の表現へと強制的に押し込めてしまう。このプロセスは、生存予測に不可欠なモダリティ固有の証拠を抑制する可能性がある。経験的な観察によれば、このような過剰な整列は、特徴的な信号を希釈し、表現の多様性を減少させることで、マルチモーダルモデルが強力な単一モダリティのベースライン（特にWSI単独モデル）よりも性能を下回る原因となる。共有表現と固有表現を解きほぐそうとする既存の手法は、これらの目的を独立して扱っており、意味的な合意を促進しながらモダリティのアイデンティティを保持するという統一された原理を欠いている。

2. 手法：TTAフレームワーク

著者らは、効果的なモデルはまずモダリティ間の共通パターンを発見し、その後にモダリティ固有の信号を保持しなければならないという原則に基づいた、表現学習フレームワークであるTogether, Then Apart (TTA) を提案している。このフレームワークは、主に4つのコンポーネントで構成される。

2.1 トークン化

• WSIs: 画像はパッチに分割され、学習済み画像エンコーダー（例：UNIまたはResNet50）を用いてエンコードされ、病理トークンが生成される。
• ゲノミクス: 遺伝子発現プロファイルは、コンパクトで解釈可能なゲノム因子を作成するために、パスウェイレベル（例：Hallmark pathways）のトークンへと集約される。

2.2 「Together」ステージ：UOTによるプロトタイプ・アライメント

このステージでは、共通の生存関連構造を捉えるために、両方のモダリティを共有されたプロトタイプの集合（$K$ 個の学習可能なベクトル）に整列させる。

• 不均衡最適輸送 (Unbalanced Optimal Transport: UOT): トークン同士を直接マッチングさせる代わりに、モデルはUOTを用いて両方のモダリティのトークンを共有プロトタイプバンクへとマッピングする。これにより、不確実な、あるいはノイズの多いトークンを、不適切なマッチングを強いるのではなく、拡散させたり「シンク（吸収源）」へとルーティングしたりすることが可能になる。
• カリキュラム・マス ($\rho$): 学習の不安定性を制御するため、総輸送質量 ($\rho$) を小さな値から1.0へと徐々に増加させるカリキュラム戦略が採用されている。これにより、学習の初期段階では不確実性に対して寛容であり、後の段階では決定的なマッチングを強制するように設計されている。
• 結合割り当て: 病理トークンとゲノミクス・トークンは結合され、単一の輸送計画を通じて共有プロトタイプに割り当てられる。これにより、クロスモーダルな証拠が統一された幾何学の下で相互作用することが可能になる。
• インスタンスレベルの監督: UOTによる割り当ては、クロスエントロピー損失 ($\mathcal{L}_{instance}$) を通じて、トークンからプロトタイプへの予測を正則化するソフトな疑似ラベルとして機能する。

2.3 「Apart」ステージ：コントラスティブな多様化

整列の後、モデルはモダリティ固有の特徴を保持し、表現の崩壊を防ぐために、モダリティを明示的に分離する。

• モダリティ固有アンカー: モダリティの識別子として機能する学習可能なアンカー（病理用 $a^p$、ゲノミクス用 $a^g$）を導入する。
• アンカーの精緻化: 軽量なセルフアテンション・モジュールが、モダリティ固有のアンカーを付加することでプロトタイプ・トークンを精緻化し、表現がモダリティのアイデンティティを保持することを保証する。
• コントラスティブ正則化: 特徴量が自身のモダリティ・アンカーには近く、かつ他方のモダリティ・アンカーからは遠くなるように、InfoNCE型の損失 ($\mathcal{L}_{contrast}$) が適用される。これにより、モダリティが均質な表現へと崩壊することを防ぐ。

2.4 予測ヘッド

精緻化されたモダリティ・ストリームは、病理がゲノミクスを、またその逆をプロトタイプレベルでクエリすることを可能にする共注意（co-attention）モジュール（トランスフォーマー形式）を用いて結合される。得られた結合表現は、線形ヘッドへとマッピングされ、Cox部分尤度 ($\mathcal{L}_{surv}$) を用いて生存リスクスコアへと変換される。

全学習目的関数は以下の通りである：
$$\mathcal{L}_{total} = \mathcal{L}_{surv} + \lambda_{contrast}\mathcal{L}_{contrast} + \lambda_{inst}\mathcal{L}_{instance}$$

3. 主な貢献

1. 過剰な整列による崩壊の特定: 本論文は、攻撃的なクロスモーダル・アライメントがモダリティ固有の信号を抑制し、単一モダリティのベースラインと比較して性能低下を招くことを明らかにしている。
2. TTAフレームワーク: 「Together-Then-Apart」の原則を具現化した新しいアーキテクチャ。これは、共有プロトタイプとUOTによるクロスモーダルな整列と、アンカーとコントラスティブ正則化によるモダリティ固有の識別性の間でバランスを取る。
3. 堅牢なアライメント・メカニズム: 不均衡最適輸送とカリキュラム・マス・スケジュールの使用により、ノイズの多い対応関係、サンプル内の異質性、およびモダリティ間の不均衡を効果的に扱うことができる。
4. 解釈可能性: 学習されたプロトタイプ構造は、臨床結果に関連する解釈可能なクロスモーダル・パターンを明らかにする。

4. 実験結果

著者らは、ペアとなったWSIとゲノムデータを用いて、5つのTCGAがんコホート（BLCA, BRCA, STAD, CRC, KIRC）でTTAを評価した。

• 性能: TTAは、全体で最高値となる0.693の一致指数（C-Index）を達成し、2番目に優れたマルチモーダル手法（MMP）を**2.6%**上回り、単一モダリティのベースラインを大幅に上回った。
• アブレーション研究:
  • 「Apart」ステージを除去すると、CRCコホートにおいて性能が大幅に低下した（0.685から0.587へ）。これは、形態学的手がかりが支配的な場合、WSI固有の信号を保持することが極めて重要であることを示している。
  • 「Together」（整列）と「Apart」（多様化）の両方のステージは補完的であることが示された。両方を有効にすることで、これらのステージがないベースラインと比較して**5.0%**の改善が得られた。
  • カリキュラム・マス・スケジュール ($\rho$) とUOTによるソフトな割り当ては、ハードなクラスタリング（KMeans）や固定質量輸送と比較して、安定性と性能において重要であった。
• 層別化: カプラン＝マイヤー解析により、5つのコホートすべてにおいて高リスク群と低リスク群の間に統計的に有意な分離が確認された（$p < 0.05$）。

5. 意義と主張

本論文は、効果的なマルチモーダル生存モデルは、異質な信号を単一の表現空間へ無差別に押し込めるべきではないと主張している。代わりに、モダリティ間の共通の予後構造を捉えるためにまず整列させ、その後に独自のモダリティ固有の証拠を保持するために分離する戦略を採用すべきである。

著者らは、TTAを、クロスモーダルな整列とモダリティ固有の情報保持との間の緊張関係に対する解決策として位置づけている。多様な癌種にわたって最新のSOTA手法を一貫して上回る成果を示すことで、本研究は、共有された意味的アライメントとモダリティ固有の識別性のバランスを取ることが、マルチモーダル生物医学的表現学習における重要な設計原則であることを示唆している。さらなる研究を促進するために、コードは公開されている。