BrainAnytime: Anatomy-Aware Cross-Modal Pretraining for Brain Image Analysis with Arbitrary Modality Availability

「任意のモダリティ利用可能性を備えた脳画像解析のための解剖学意識的クロスモーダル事前学習 BrainAnytime」の技術的概要

問題定義

神経変性疾患、特にアルツハイマー病（AD）の臨床診断ワークフローは、「モダリティエスカレーション経路」に従います。臨床医は通常、ルーチンの構造的画像（例：T1 強調 MRI）から始め、鑑別診断を精緻化するために選択的にシーケンス（例：FLAIR、T2）を追加し、分子イメージング（例：アミロイド PET）は不確実な症例に留保します。その結果、現実世界のコホートにおける患者データは、不均質かつしばしば不完全なモダリティ部分集合によって特徴付けられます。

現在の AI モデルは一般的に固定された入力モダリティを前提としており、データ利用可能性が変化するとアーキテクチャの切り替えや再学習を必要とします。さらに、既存の大規模脳画像事前学習モデルは、この文脈において以下の 3 つの限界に直面しています：

1. 通常は MRI のみに依存しており、重要なバイオマーカーであるアミロイド PET への明示的な橋渡しが欠如している。
2. 固定されたモダリティの組み合わせを前提としており、現実世界のデータに見られる段階依存性の欠損と不一致を招く。
3. 標準的なマスク付きオートエンコーダ（MAE）事前学習は空間的に均一なマスクに依存しており、AD が均一な病理ではなく選択的な領域脆弱性（例：海馬）を示すという事実を無視している。

手法

著者らは、任意のモダリティ利用可能性の下で脳画像解析を支援するように設計された統合的な事前学習フレームワーク「BrainAnytime」を提案します。このフレームワークは、マルチシーケンス MRI およびアミロイド PET にまたがる 5 つのデータセット（A4、DOD-ADNI、AIBL、BraTS23、NACC）からの 34,899 件の 3D 脳スキャンで事前学習されています。共有された 3D マスク付きオートエンコーダアーキテクチャ内に、以下の 3 つの中核コンポーネントを統合しています：

1. Multi-MAE3D（3D マルチモーダルマスク付きオートエンコーダ）

• アーキテクチャ: 共有トランスフォーマーエンコーダが、利用可能なモダリティの任意の部分集合（T1、T2、FLAIR、PET）を処理します。
• トークナイズ: 各モダリティは、モダリティ固有の 3D 畳み込みパッチ埋め込みを使用します。
• 欠損データの処理: 欠損モダリティは完全にマスクされます。入力利用可能性に関わらず一定のトークン数を維持するため、可視トークン予算はディリクレ分布（Dir($\alpha$)）を用いて観測されたモダリティ間で再分配されます。
• デコーディング: 各モダリティには、すべてのパッチを再構築する軽量デコーダが備わっています。学習損失（$L_{MAE}$）は、パッチごとの正規化を用いた平均二乗誤差により、マスクされたパッチのみに計算されます。

2. 相互クロスモーダル蒸留（RCMD）

• 目的: 構造的 MRI と分子 PET の間の対応関係を学習すること。
• メカニズム: 指数移動平均（EMA）教師ネットワークがエンコーダアーキテクチャを共有します。ペアリングされた MRI-PET サンプルに対して、グループレベル表現（$z_{MRI}$ および $z_{PET}$）が平均プーリングを通じて計算されます。
• 損失: 2 つの対称的な MLP プredictor（$g_{M\to P}$ および $g_{P\to M}$）が、クロスモーダル教師特徴を予測するように学習されます。損失（$L_{RCMD}$）は、反対側のモダリティ空間における教師の特徴と、学生の予測特徴との間のコサイン類似度を最大化します。

3. 病理意識的カリキュラムマスク（PACM）

• 目的: 均一にマスクするのではなく、疾患に脆弱な解剖学構造を再構築において優先すること。
• 重要度スコアリング: 静的スコアは、AAL116 アトラスを介してマッピングされた神経病理学的事前知識（Braak 段階）から導出されます。動的スコアは、EMA 解剖学教師からのアテンションマップを集約することで得られます。これらが結合されてパッチ重要度スコアを生成します。
• カリキュラムスケジュール: 3 段階の戦略が採用されます：
  1. 初期段階：均一なランダムマスク。
  2. 中期段階：温度パラメータ（$\tau$）がコサイン減衰を通じてアニールされ、マスク分布を徐々に鋭化して高重要度領域をマスクすること（すなわち、モデルに重要な領域の再構築を強制すること）を促進します。
  3. 後期段階：固定温度。
• 選択: パッチは Gumbel-top-k トリックを用いて選択され、高重要度パッチがマスクされ、したがって再構築される可能性が高くなります。

学習と微調整:
総損失は $L = L_{MAE} + \lambda \cdot \mathbb{1}_{[paired]} \cdot L_{RCMD}$ です。下流タスクでは、軽量タスクヘッドと共に学生エンコーダのみが使用されます。欠損モダリティは推論中にゼロにされ、アテンションブロックされるため、モデルはアーキテクチャの変更なしに任意の部分集合を処理します。

主な貢献

1. 統合フレームワーク: 単一のモデルが、単一の T1 スキャンから完全なマルチモーダル検査まで、モダリティの任意の部分集合を受け入れることを可能にし、再学習やアーキテクチャの切り替えを不要とします。
2. クロスモーダル学習: 相互蒸留を通じて MRI と PET 間の構造的 - 分子的対応関係を明示的に学習し、構造的証拠と病理学的証拠の間のギャップを埋めます。
3. 解剖学意識的事前学習: 標準的な MAE における均一なマスクの限界に対処するため、モデルの再構築努力を AD に関連する神経解剖学へ向けるカリキュラムマスク戦略を導入します。
4. スケーラブルな事前学習: 臨床的な欠損パターンを模倣した大規模で不均質なデータセット（34,899 スキャン）での事前学習に成功しました。

実験結果

モデルは、5 つの臨床的に動機付けられたモダリティ設定（T1 のみから T1+T2+FLAIR+PET まで）にわたる 4 つの下流タスク（CN 対 AD、CN 対 MCI、MMSE 回帰、年齢予測）で評価されました。

• 性能: BrainAnytime は、モダリティ固有のモデル（例：3D ResNet、M3T）、双モダリティ融合手法、大規模脳基盤モデル（BrainIAC、SAM-Brain3D）、不完全なマルチモーダル学習アプローチ（Flex-MoE、FuseMoE）を上回りました。
• 主要指標:
  • CN 対 AD: 平均精度 89.4% を達成（次点のベースライン Flex-MoE の 84.2% に対し）、最も強力な欠損モダリティベースラインに対して 6.2% の相対改善を示しました。
  • CN 対 MCI: 平均精度 67.2% を達成（MoE-retriever の 60.6% に対し）、7.0% の相対改善でした。
  • 回帰: すべてのモダリティ設定において、MMSE および年齢予測で優れた性能を示しました。
• ロバスト性: 被験者内ロバスト性研究により、より多くのモダリティが追加されるにつれて性能が一貫して向上することが確認されました（例：CN 対 AD の F1 は T1 のみで 65.0% から完全入力では 80.4% に増加）。これは、モデルが利用可能なデータを効果的に活用できる能力を示しています。
• アブレーション: RCMD または PACM を個別に除去すると性能が低下し、クロスモーダル蒸留と解剖学意識的マスクの両方の必要性が確認されました。

意義

本論文は、BrainAnytime が、臨床的現実（段階的かつ不完全なデータ収集）と現在の AI パラダイム（固定入力モデル）の間の重要なギャップを埋めると主張しています。利用可能な画像を柔軟に受け入れる単一のモデルを可能にすることで、臨床的モダリティエスカレーション経路と整合します。このフレームワークは、クロスモーダル蒸留と病理意識的マスクによる事前学習が、特にデータが不完全またはモダリティが欠損しているシナリオにおいて、既存のベースラインを大幅に上回るロバストな基盤モデルを生み出すことを示しています。このアプローチは、すべての患者に対して完全なマルチモーダルデータが稀にしか利用できない現実の臨床現場における AI の展開に対する実用的な解決策を提供します。