論文サマリー：Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers (SPECTRE)

この論文は、3 次元（3D）コンピュータ断層撮影（CT）画像のための、完全なトランスフォーマーベースの基盤モデル「SPECTRE」を提案するものです。著者らは、大規模な自己教師あり学習（SSL）と視覚 - 言語アライメント（VLA）を組み合わせることで、汎用的で高性能な 3D 医療画像表現を学習することに成功しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

3D CT 画像の基盤モデル構築には、従来の 2D 画像や他の 3D モダリティとは異なる特有の課題が存在します。

• トークン数の爆発的増加: 3D ボクセルをパッチに分割すると、解像度に対してトークン数が立方的に増加し、トランスフォーマーの自己注意機構（$O(N^2)$）の計算コストが膨大になります。
• 幾何学的な異方性（Anisotropy）: CT スキャンは、スライス方向と平面方向でボクセル間隔が異なることが多く、等方的な位置エンコーディングや単純な並進不変性を仮定すると、スキャン間の幾何学的関係を正しく表現できません。
• 弱い・ノイズの多い臨床的教師信号: 臨床データは、自由テキストの放射線レポートやスキャンレベルのラベルなど、階層的でノイズの多い教師信号に依存しており、従来の対照学習（Contrastive Learning）のレシピがそのまま機能しない場合があります。
• データとリソースの制約: 3D 画像はメモリ制約が厳しく、大規模なバッチサイズや負例（ネガティブサンプル）の確保が困難です。また、医療レポートでは複数の病変が共存するため、単純な「正対負」の対照学習が機能しにくいという問題もあります。

既存のモデルは、2D への適応や特定の領域（胸部のみなど）に特化しており、3D 全体を網羅し、かつスケーラブルなトランスフォーマーアーキテクチャの欠如が課題でした。

2. 提案手法：SPECTRE

SPECTRE は、これらの課題に対処するために設計された、2 段階の事前学習パイプラインと、3D 固有のアーキテクチャを採用しています。

2.1. アーキテクチャ設計

• 2 段階のトランスフォーマー構造:
  • Local ViT ($ViT_\ell$): 高解像度の 3D ボリュームから局所的な特徴を抽出します。計算効率を高めるため、3D ウィンドウ内でのみ注意機構を適用します。
  • Global ViT ($ViT_g$): 局所ウィンドウから得られたトークンを集約し、スキャン全体の文脈（コンテキスト）をモデル化します。これにより、大規模な 3D 注意計算を計算的に実行可能にします。
• 3D 固有のトークン化と位置エンコーディング:
  • 異方性パッチ: ボクセル間隔の特性（スライス方向が厚いなど）を考慮し、$16 \times 16 \times 8$ のアノトロピックなパッチサイズを採用しています。
  • 3D 回転位置エンコーディング（3D RoPE）: 絶対位置ではなく相対位置を回転行列で表現し、解像度やウィンドウサイズの変化に対する頑健性を確保しています。また、DINOv3 の手法を借用し、位置座標にランダムなスケーリング（Jittering）を適用することで、異なるスキャン間隔への適応性を高めています。

2.2. 事前学習戦略（2 段階パイプライン）

1. 第 1 段階：自己教師あり学習（SSL）による幾何学的特徴の学習
   • DINOv3 风格の自己蒸留: マスクされたパッチを予測するタスク（iBOT）や、教師 - 学生間のグローバルな一貫性を保証する DINO タスク、および埋め込みの均一性を促す KoLeo 正則化を組み合わせます。
   • 目的: ラベルなしの CT データから、解剖学的な構造や幾何学的な整合性を捉えた堅牢な視覚表現を学習します。
2. 第 2 段階：視覚 - 言語アライメント（VLA）による臨床意味の注入
   • SigLIP 損失の採用: 従来の CLIP 的なソフトマックスベースの損失ではなく、シグモイド関数に基づく二値交差エントロピー損失（SigLIP）を使用します。これは、1 つのスキャンが複数の記述（Findings, Impressions など）に対応する「1 対多」の関係や、レポートのノイズに対して頑健であるためです。
   • データ: 公開されている CT データセットと対応する放射線レポート（Findings/Impressions 区画）を使用し、Qwen3-0.6B（LoRA 付き）でテキストをエンコードして画像と対照します。
   • 目的: 学習された特徴に臨床的な意味（病変の種類、重症度など）を付与し、テキスト検索や推論タスクに対応可能な表現にします。

3. 主要な貢献

1. 完全なトランスフォーマーベースの 3D CT 基盤モデル: 畳み込み層を一切使わず、3D 幾何学に特化した純粋なトランスフォーマーアーキテクチャを構築しました。
2. 大規模なオープンデータでの学習: 私有データに依存せず、公開されている多様な CT データセット（胸部、腹部など）のみで学習し、高性能な汎用表現を実現しました。
3. スケーラブルな設計: 局所注意と大域注意を組み合わせるハイブリッド構造により、大規模な 3D ボリュームの処理を計算的に可能にしました。
4. オープンソース化: モデル、トレーニングコード、事前学習レシピをすべて公開し、研究コミュニティへの貢献を意図しています。

4. 実験結果

SPECTRE は、ゼロショット評価と微調整（Fine-tuning）評価の両方で、既存の CT 基盤モデルを上回る性能を示しました。

• がんバイオマーカー予測（ゼロショット kNN 分類）:
  • 6 つのベンチマーク（LUNA16, DLCS, NSCLC-Radiomics など）において、4 つのタスクで最高性能を記録しました。
  • 凍結されたエンコーダー埋め込みを用いた kNN 分類器でも、既存のモデル（CT-FM, Merlin, MedImageInsight など）を凌駕し、表現の転移可能性の高さを示しました。
• セマンティックセグメンテーション:
  • エンコーダーのみのモデル（SEoMT）として nnU-Net に統合し評価。KiTS23（腎臓・腫瘍）、LiTS（肝臓）、WORD（腹部臓器）のベンチマークで、既存のトランスフォーマーベースのセグメンテーションモデル（SwinUNETR, nnFormer など）をすべて上回り、畳み込みベースの nnU-Net と同等かそれ以上の性能を達成しました。
  • 複雑なデコーダーなしでも、滑らかで解剖学的に整合性の高い予測が可能であることを示しました。
• ゼロショットテキスト - 画像検索:
  • CT-RATE および Merlin データセットにおいて、CT-CLIP や Merlin などの先行モデルを大幅に上回る Recall@K 性能を達成しました。
  • 特に「Impressions（所見の解釈）」セクションからの検索において顕著な性能を発揮し、レポートの構造的な違いやノイズに対する頑健性を示しました。

5. 意義と結論

SPECTRE は、3D 医療画像における基盤モデルの構築において重要なマイルストーンです。

• 汎用性とスケーラビリティ: 特定のタスクや領域に特化せず、解剖学的な多様性と臨床的な意味の両方を捉えることができる汎用的な 3D 表現を学習しました。
• オープンな基盤: 私有データに依存しない学習アプローチと、完全なオープンソース化により、医療機関や研究機関が低コストで高性能な 3D 画像解析ツールを構築・利用する道を開きました。
• 技術的示唆: 3D 医療画像において、幾何学的な異方性を明示的にモデル化し、SSL と VLA を段階的に組み合わせるアプローチが、データ効率と表現能力を最大化することを実証しました。

今後は、より複雑なデコーダーとの組み合わせや、より多様なモダリティへの拡張が期待されますが、SPECTRE は 3D 医療画像の基盤モデル開発における新しい標準となる可能性を秘めています。