技術要約：マルチモーダル医療画像分類のためのビジョン基盤モデル

問題提起

臨床診断は、しばしばマルチモーダルな画像（例：マルチシーケンスMRI、ペアとなる病理組織染色）に依存している。しかし、あらゆる可能なモダリティの組み合わせに対して専用のディープラーニングモデルを訓練することは、アノテーション付きの医療データの希少性の観点から非現実的である。さらに、臨床現場では、撮像プロトコルが施設ごとに異なり、患者の体動、時間の制圧、あるいは撮像プロトコルの相違により、推論時にモダリティが欠落することが頻繁にある。従来のアプローチは、通常、ランダムな初期化からタスク固有のネットワークを訓練し、複雑な融合スキームや欠損モダリティを扱うための特殊なメカニズムを採用している。ビジョン基盤モデル（FM）は単一画像の医療タスクにおいて成功を収めているが、マルチモーダルな設定におけるその有効性（特に、異なる融合戦略や訓練レジームにおける初期化の恩恵）については、まだ検証されていない。

手法

著者らは、3つの異なるマルチモーダル医療画像タスクにおいて、基盤モデルによる初期化とランダム初期化の系統的な比較を行った：

1. グリオーマ（神経膠腫）のサブタイプ分類: マルチシーケンス脳MRI（T1w, T2w, T1ce, FLAIR）。
2. HER2スコアリング: ペアとなる病理組織染色（H&EおよびIHC）。
3. 肝病変分類: マルチフェーズ腹部MRI（8フェーズ）。

実験設計

本研究では、3つの初期化戦略を評価した：

• ランダム: 標準的なランダム重み初期化（ResNet-50およびViT-B/14アーキテクチャを使用）。
• DINOv2: 自然画像で訓練された汎用目的のビジョンFM。
• MedSigLIP: 生物医学的な画像・テキストペアで訓練された医学ドメインのビジョンFM。

これらは、2つの融合戦略を用いてテストされた：

• 早期融合 (Early Fusion): モダリティ間でのアテンションを伴う、モダリティ認識型のトークン化（具体的にはDINOv2を用いたMM-DINOv2アーキテクチャ）。
• 後期融合 (Late Fusion): モダリティごとの独立したバックボーンと特徴量の結合。

訓練戦略には以下が含まれる：

• 教師あり微調整 (Supervised Fine-Tuning, FT): ラベル付きデータを用いたフルファインチューニング。
• 半教師あり学習 (Semi-Supervised Learning, SSL): 利用可能なすべての画像に対する、教師あり損失と自己教師あり目的関数（DINO/iBOT）の共同最適化。
• 線形プロービング (Linear Probing): 固定された基盤モデルの特徴量に対して分類器を訓練。

評価シナリオ

性能は、主要指標としてマシューズ相関係数（MCC）を用い、AUROCおよび感度とともに測定された。モデルは以下の4つの条件下で評価された：

1. フルデータ: 完全なモダリティと完全なラベルセット。
2. ラベル効率: 訓練ラベルを10%、25%、50%にサブサンプリング。
3. 欠損モダリティへの堅牢性: 訓練中にマスクされた入力を一度も見ていない状態で、推論時に一つのモダリティを除外。
4. クロスサイト汎化: グリオーマのタスクにおいて、分布外（OOD）の病院コホート（TCGA）でテスト。

主な結果

1. フルデータ性能

基盤モデルの初期化は、すべてのタスクおよび構成において、ランダム初期化と同等またはそれを上回る性能を示した。

• 肝病変 (LLD-MMRI): 基盤モデルの初期化は、ランダム初期化を大幅に上回った。最良のFM構成（MedSigLIP、後期融合、SSL）は、最強のランダム・ベースライン（ResNet-random）に対してMCCを+0.21改善し、クラスあたりの平均感度を54%から76%に向上させた。
• グリオーマおよびHER2 (BCI): FMの初期化は、ほとんどの構成において強力なランダム・ベースライン（例：ResNet-random）の性能に匹かに、統計的に有意な損失もなかった。

2. ラベル効率

FM初期化の優位性は、ラベル付きデータが希少になるにつれて持続し、しばしば拡大した。

• LLD-MMRI: ラベルが10%のとき、MedSigLIPのレー融合SSLは、対応するランダムモデルに対してMCCで+0.27の差をつけた。
• BCI: 微調整の下で、MedSigLIPのレー融合は、ラベル10%においてMCCで+0.40の差をつけた。
• グリオーマ: 10%のラベルでは同等であったが、FM初期化は、特に半教師あり構成において、25%および50%のラベルで顕著な利点を示した。

3. 欠損モダリティへの堅羅性

これは最も差異が顕著な領域であった。ランダムに初期化されたモデルは、モダリティが欠落すると「崩壊」（性能がチャンスレベル付近まで低下）することが多かったが、FM初期化モデルは堅牢性を維持した。

• LLD-MMRI: 単一フェーズのドロップアウト下で、ランダムモデルは感度が54%から29%に低下したが、MedSigLIPのレー融合は感度73%付近を維持した。
• BCI: IHCを除去すると、ランダムモデルの感度はチャンスレベル（0.25）まで低下したが、MedSigLिप्टは0.72を維持した。
• メカニズム: この堅牢性は2つのソースに由来する：事前訓練された特徴量自体（より汎用性が高い）と、後期融合アーキテクチャ（ランダムな重みであっても、早期融合やチャンネル結合よりも劣化が少ない）である。特筆すべきは、最強のFMレー融合バリアントは、訓練中にマスクされた入力を一度も見ていないにもかかわらず、この堅牢性を達成したことである。

4. クロスサイト汎化

分布外のTCGAグリオーマコホートにおいて、FM初期化の恩恵は半教師あり構成に集中していた。

• 半教師ありFMバリアントは、ランダムな対応物に対してMCCを+0.07から+0.34改善した。
• 早期融合の半教師ありバリアント（MM-DINOv2）は、+0.34 MCCという大幅な利得を示した。
• 完全な教師あり微調整を行ったFM構成は、この特定の分布外タスクにおいて、ランダム初期化に対して有意な優位性を示さなかった。

意義と主張

本論文は、新しいマルチモーダル医療画像分類器において、基盤モデルの初期化を、ランダム初期化ではなくデフォルトの選択肢にすべきであると主張している。

• 臨床的関連性: この戦略は、臨床現場で最も一般的な2つのシナリオ、すなわち「アノテーションの不足」と「不完全な撮像プロトコル」において最も価値がある。
• 汎化: FMはモダリティに依存しない事前分布として機能し、データが限られている場合や入力が不完全な場合に、モデルの汎化を助ける。
• アーキテクチャへの独立性: FMの恩恵は、異なる融合戦略（早期 vs 後期）や訓練レジームにわたって観察されるが、半教師あり学習を組み合わせたFMが、堅牢性と汎化において最強の利得をもたらす。
• 効率性: 事前訓練されたバックボーンを使用することで、専門的な失敗モード対策（例：専用の欠損モダリティ対策メカニズム）の必要性を最小限に抑え、初期化の選択を通じて「アウト・オブ・ザ・ボックス」で堅牢性を提供できる。

著者らは、大規模で完全なデータセットが利用可能な場合にはランダム初期化も依然として実行可能であるが、マルチモーダルな医療画像開発においては、例外ではなくルール（標準）となるべきであると結論付けている。