技術要約：CT基盤モデルの解剖学的コンテキスト化適応（ACA）

問題提起

CTビジョン・ランゲージ基盤モデル（MerlinやCT-CLIPなど）は、ボリューム全体の表現を用いて学習することで、ダウンストリームタスクにおいて強力なゼロショット性能を示してきました。しかし、これらのモデルは通常、3D CTボリューム全体を単一の埋め込みへと凝縮するため、微細な解剖学的信号が希薄化してしまいます。対照的に、既存の細粒度ビジョン・ランガージュ事前学習（FVLP）手法は、解剖学に特化した視覚的特徴を特定のテキスト記述と整合させますが、ホールボリューム・モデルが提供するグローバルなコンテキストをしばしば破棄してしまいます。さらに、現在のFVLP手法は一般にモデル全体の再学習を必要とするため、計算コストが高く、スケーラビリティに欠けます。凍結された基盤モデルを適応させ、全件の再学習コストをかけることなく、解剖学的レベルの整合性を達成しつつグローバルなコンテキスト情報を保持・強化できるフレームワークが求められています。

手法：解剖学的コンテキスト化適応（ACA）

著者らは、凍結されたCT基盤モデルの表現を解剖学的レベルのビジョン・ランゲージ整合性に適応させるための軽量なフレームワークである、**解剖学的コンテキスト化適応（Anatomy Contextualized Adaptation: ACA）**を提案しています。この手法は、3つのコアコンポーネントで構成されています。

1. 埋め込みの構築:

   • 視覚的（Visual）: 本フレームワークは、TotalSegmentatorを使用してCTボリュームを44の解剖学的構造に分解します。これらのセグメンテーションマスクは、凍結された基盤モデルのバックボーン（MerlinのI3D ResNet152またはCT-CLIPのCT-ViT）の空間特徴マップ上に投影されます。各解剖学的構造に対応する特徴量は、解剖学的レベルの埋め込みを作成するために平均プーリングされます。
   • テキスト的（Text）: 放射線科レポートから解剖学固有の所見が、大規模言語モデル（Qwen3-4B-Instruct）を用いて抽出されます。これらの所見は、それぞれの基盤モデルの凍結されたテキストエンコーダーを使用してエンコードされ、解剖学的レベルのテキスト埋め込みを生成します。また、完全なレポートから、個別のスキャンレベルのテキスト埋め込みも生成されます。
   • 位置エンコーディング: 解剖学的構造のボクセル空間における重心間の$\ell_2$距離に基づき、ボリュームの対角線によって正規化された、解剖学的構造間の空間位置エンコーディングが計算されます。

2. 解剖間トランスフォーマー（Inter-Anatomy Transformer）:

   • 解剖学的な相互関係を捉えるために、解剖学的埋め込みは学習可能な解剖間トランスフォーマーに渡されます。
   • トランスフォーマーに入る前に、各埋め込みは学習された空間位置エンコーディングと学習可能な解剖タイプ埋め込みによって拡張されます。
   • このモジュールは、各解剖学的な埋め込みを、スキャン内に存在する全構造へアテンションを向けることでコンテキスト化し、これによりモデルが臓器間の関係性（例：相対的なサイズの比較）を学習することを可能にします。

3. 結合損失関数:

   • 解剖レベル損失 ($\mathcal{L}_{anatomy}$): 各コンテキスト化された解剖学的埋め込みを、対応する抽出されたテキスト記述と整合させるコントラスティブ損失です。この損失は、偽陰性を扱うためにソフトターゲット行列を採用しており、異なる患者からの「正常」な事例をポジティブペアとして扱うことで、意味的に同一な健康な構造に対してペナルティを与えないようにしています。
     ло スキャンレベル損失 ($\mathcal{L}_{scan}$): コンテキスト化された解剖学的埋め込みから派生した、平均プーリングされたスキャンレベルの視覚的埋め込みを、完全な放射線科レポートの埋め込みと整合させるコントラスティブ損失です。これは、モデルがスキャン全体のコヒーレントなビューを維持することを保証するためのグローバルな監督信号を提供します。
   • 総目的関数は、これら2つの損失の合計です ($\mathcal{L}_{total} = \mathcal{L}_{anatomy} + \lambda \mathcal{L}_{scan}$)。

主な貢献

• 軽量な適応: ACAは、凍結されたCT基盤モデルを、軽量な学習可能モジュール（トランスフォーマーとプロジェクションヘッド）のみを用いて適応させ、既存のFVLP手法で必要とされるエンドツーエンドの再学習に伴う計算コストを回避します。
• コンテキスト化された細粒度整合: 前述の細粒度手法は解剖学を独立したものとして扱いますが、ACAは解剖間の相互関係を明示的にモデル化する解剖間トランスフォーマーを導入し、グローバルなコンテキストを無視するという限界に対処しています。
• 二重の粒度による監督: 本フレームワークは、解剖レベルのコントラスティブ学習とスキャンレベルのレポート整合をユニークに組み合わせることで、特定の臓器の病理とグローバルな臨床コンテキストの両方を同時に学習することを可能にします。

結果

本フレームワークは、それぞれの凍結された基盤モデルをバックボーンとして使用し、2つの大規模データセット、Merlin（腹部CT）およびCT-RATE（胸部CT）を用いて評価されました。

• 性能向上: ACAは、ゼロショットでの所見分類において、凍結された基盤モデルのベースラインおよび既存の細粒度適応手法（MLP、fVLM、ViSD-Boostによる適応を含む）を一貫して上回りました。
  • Merlinデータセットにおいて、ACAはイン・ディストリビューションのマクロ平均AUROCを、0.7729（Merlinベースライン）から0.8213へと向上させました。
  • CT-RATEデータセットにおいて、ACAはイン・ディストリビューションのAUROCを、0.7082（CT-CLIPベースライン）から0.7311へと向上させました。
  • アウト・オブ・ディストリビューションの設定でも顕著な利得が観察されました（例：CT-RATEテストセットに対するMerlin学習済みACA：0.7400 vs 0.6919 ベースライン）。
• アブレーション研究: 解剖レベルの損失またはスキャンレベルの損失のいずれかを取り除くと、性能が低下したことから、局所的な解剖学的整合とグローバルなコンテキスト監督の両方が必要であることが確認されました。
• 解剖学ガイド付きプーリング: 特定の所見に対して解剖学的に関連する構造にプーリングを制限する推論時の戦略は、特にスキャンレベルの監督がないモデルにおいて、性能をさらに向上させました。
• 学習された関連性: アテンションウェイトの分析により、トランスフォーマーがコントラスティブ学習のみから、妥当な解剖学的関連性（例：Merlinにおける胃・小腸・結腸の連続性、CT-RATEにおける肺・食道の関係）を学習したことが明らかになりました。これは、学習データの解剖学的範囲を反映しています。
• ケーススタディ: **脾腫（splenomegaly）**の検出において、ACAは周囲の臓器に対する脾臓の相対的なサイズを比較することで、病的な肥大を正しく特定しましたが、独立した細粒度ベースラインはこのような相対的な評価を行うことができませんでした。

意義と主張

本論文は、ACAが医療画像における表現学習を改善するための実用的かつ計算効率の高い経路を提供すると主張しています。埋め込みをキャッシュしておけば、1時間未満の学習で凍結された基盤モデルを解剖学的に根ざしたビジョン・ランゲージタスクに効果的に適応できることを示すことで、著者らは、最先端の細粒度性能を達成するためにエンドツーエンドのフル再学習が厳密に必要ではないと論じています。

著者らは、ACAを、ホールボリューム・モデルの広範なグローバルコンテキストと、細粒度な整合性の特異性の間の溝を埋める解決策として位置づけています。彼らは、他の細粒度手法（fVLM、ViSD-Boost）との比較は、一致した「凍結された埋め込み」の設定下で行われている点に注意を促していますが、結果は彼らの適応戦略の有効性を支持しています。本研究はゼロショットの所見分類に限定されており、セグメンテーションやレポート生成は今後の課題として残されています。