技術要約: 医学画像セグメンテーションにおけるSAM3のためのCM-TTA

問題提起

Segment Anything Model 3 (SAM3) のような視覚言語モデルは、自然画像に対して強力なゼロショット汎化性能を示す一方で、画像の原理やスタイルの大幅なドメインギャップにより、医学分野では性能が著しく低下します。既存のテスト時適応（TTA）手法は、医学的文脈において主に2つの制限に直面しています：

1. 不適切な評価指標: 既存の視覚言語TTAアプローチは、画像レベルの不確実性最小化（例：エントロピーや分散）に大きく依存しています。これらの指標は、精密な医学的セグメンテーションに不可欠な領域レベルのセマンティックな正当性を反映できないことが多くあります。
2. 継続的適応における不安定性: 既存の手法は通常、瞬時的に更新されたパラメータのみを追跡するため、現在のテストバッチに対して敏感であり、信頼できる高密度な教師信号（グラウンドトゥルース）が得られない長期的なワンパス適応において不安定になりやすい傾向があります。

手法: CM-TTA

著者らは、Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation (CM-TTA) を提案しています。このフレームワークは、学習可能なテキストプロンプト・トークン埋め込み（$T$）のみを更新し、ビジョンエンコーダ、テキストエンコーダ、およびデテクターを凍結した状態で、プロンプトチューニングを通じてSAM3を未知の医学ドメインに適応させます。本手法は、各テストサンプルを正確に一度だけ処理する、ワンパスの継続的TTAプロトコル下で動作します。

フレームワークは、以下の3つのコアコンポーネントで構成されています：

1. Concept Alignment Contrast (CAC)

従来の不確実性指標におけるセマンティックなガイダンスの欠如に対処するため、CACはテキスト誘導型の品質スコアを導入します。

• メカニズム: 複数の拡張ビューを持つテスト画像に対して、テキストプロンプトの埋め込みと、予測された前景および背景領域の視覚的特徴との間のコサイン類似度を計算します。
• スコア計算: CACスコア（$C_i$）は、前景テキスト類似度と背景テキスト類似度の差として定義されます：$C_i = \text{sim}(\bar{z}_{i,fg}, t_i) - \text{sim}(\bar{z}_{i,bg}, t_i)$。
• 機能: この指標は、予測の品質を評価するために、テキスト駆動のセマンティックな一貫性を明示的に活用します。最も高いCACスコアを持つ拡張ビューが、後続の適応ステップのための最適なビュー（$X^*_i$）として選択されます。

2. Long-Short Prompt Memory (LSPM)

急速な局所適応と長期的な安定性のバランスをとるために、著者らはデュアルメモリモジュールを設計しました：

• Short Prompt Memory (SPM): 最近のプロンプトとその対応する最適なCACスコアのFIFO（先入れ先出し）バンクを保持します。これらはCACスコアを重みとして融合され、動的な短期プロンプト（$T^{short}_i$）を生成し、局所的な分布シフトへの機敏な適応を促進します。
• Long Prompt Memory (LPM): 指数移動平均（EMA）を介して短期プロンプトから更新されるグローバルプロンプト（$T^{long}_i$）を保持します。これは安定したセマンティックアンカーとして機能し、破滅的忘却を防ぎ、時間の経過に伴う安定性を確保します。

3. Densely Supervised Prompt Update (DSPU)

グラウンドトゥルースなしでプロンプト埋め込みを最適化するために、著者らは高密度教師あり戦略を提案しています：

• 強化された疑似ラベル: 安定した長期プロンプト（$T^{long}_i$）をCACで選択された最適なビュー（$X^*_i$）に適用し、ソフトな疑似ラベル（$P'_i$）を生成します。
• 損失関数:
  • 高密度教師あり損失 ($\mathcal{L}_d$): ソフトDice損失を用い、すべての拡張ビューからの予測（短期プロンプトを使用）が強化された疑似ラベルと一致するように促します。
  • コントラスト損失 ($\mathcal{L}_c$): CACスコアを最大化し、テキストと視覚のセマンティックな整合性を強化します。
  • エントロピー損失 ($\mathcal{L}_e$): ピクセル単位のエントロピーを最小化し、確信度の高い予測を促します。
• 適用: 低品質な予測に対するエラーの強化を避けるため、$\mathcal{L}_c$ と $\mathcal{L}_e$ はCACによって選択された最適なビューに対してのみ適用されます。総損失は $\mathcal{L} = \mathcal{L}_d + \alpha\mathcal{L}_c + \beta\mathcal{L}_e$ です。

主な貢献

1. 新しい指標 (CAC): 医学的セグメンテーションにおいて信頼できる拡張ビューを選択するために、従来の画像レベルの不確実性指標（エントロピー、分散、KLD）よりも優れた、テキスト・ビジュアルのセマンティック一貫性指標。
2. 安定した適応アーキテクチャ (LSPM): 局所適応のための動的な短期メモリと、グローバルな安定性のためのモーメンタム更新による長期メモリを組み合わせることで、継続的TTAにおける可塑性と安定性のジレンマを解決するメカニズム。
3. 効率的な高密度教師あり学習 (DSPU): グラウンドトゥルースなしで短期プロンプトの適応を指導するために、安定した長期プロンプトから高品質な疑似ラベルを生成する戦略。
4. パラメータ効率性: 本手法はプロンプト埋め込み（1.02Kパラメータ）のみを更新するため、正規化層（TENT）や低ランクアダプター（TTL）を更新する手法よりも桁違いに少ないパラメータで動作します。

実験結果

本フレームワークは、2つの医学データセット、Promise12（前立腺セグメンテーション）および ISIC2018（皮膚病変セグメンテーション）で評価されました。

• 性能: CM-TTAは、既存のTTA手法（TENT、TPT、TTL、ZEROを含む）および非適応のSAM3ベースラインを大幅に上回りました。
  • Promise12: ダイススコア 73.96%（最良のベースラインであるTPTの72.05%と比較）を達成し、平均対称表面距離（ASSD）を 10.91ピクセル に減少させました。
  • ISIC2018: ダイススコア 82.34%（最良のベースラインであるZEROの80.10%と比較）を達成し、ASSDを 9.39ピクセル に減少させました。
• 効率性: 本手法は、推論時間にほとんど影響を与えず（未適応のSAM3の0.31秒に対し0.57秒）、最小限の学習可能パラメータを必要としました。
• アブレーション研究: 各コンポーネント（CAC、LSPM、DSPU）が性能に漸進的に寄与していることが確認されました。CACは代替のビュー選択指標よりも優れていることが示され、ハイパーパラメータ（メモリ長 $L=16$、コントラスト重み $\alpha=1.0$）はデータセット間で汎用性があることが分かりました。

意義と主張

本論文は、医学ドメインにおけるテキスト駆動型セグメンテーションモデルに適用した場合、従来の不確実性ベースのTTAに内在する**過剰な自信（over-confidence）と確証バイアス（confirmation bias）**という重要な問題にCM-TTAが対処することを主張しています。マルチモーダルなセマンティック一貫性（CAC経由）を活用し、可塑性と安定性のトレードオフをナビゲート（LSPM経由）することで、本フレームワークは効率的で自己修正可能な適応ループを確立します。著者らは、本研究を、データ分布のシフトが一般的であり、テスト中にアノテーションが利用できない実世界の臨床現場への基盤モデル展開に向けた重要な一歩として位置づけています。また、このフレームワークを3Dボリューム医学セグメンテーションへ拡張することが今後の課題であると述べています。