Decoupling Language Guidance from Backbones for Text-Guided Medical Segmentation

技術要約：BTHA – テキスト誘導型医療画像セグメンテーションのためのバックボーン転送可能階層型アダプター

問題提起
テキスト誘導型の医療画像セグメンテーションは、病変の描出を改善するために、臨床的な意味論（例：病変の種類、位置）を活用することを目指している。しかし、既存の手法は通常、テキストエンコーダー、視覚的バックボーン、クロスモーダル融合メカニズム、およびデコーダーを単一のタスク固有のアーキテクチャに密結合させている。この密結合は、再利用性に重大な障壁を生み出す。すなわち、視覚的バックボーン（例：CNNからTransformerへの変更）やテキストエンコーダーを変更する場合、融合および監督経路の完全な再設計が必要になることが多い。さらに、既存のアプローチは、一様な学習目標を強制することなく、異なるスケール間の異種特徴を正規化するための堅牢な最適化戦略に欠けていることが多く、その結果、冗長または矛盾した信号を招く。

手法
著者らは、言語によるガイダンスを特定のバックボーンアーキテクチャからデカップル（分離）するように設計されたフレームワークである BTHA (Backbone-Transferable Hierarchical Adapter) を提案する。その核心となる理念は、異種エンコーダーからのマルチスケールの視覚的特徴とテキスト表現を受け取り、既存のデコーダーと互換性のある融合特徴を返す、安定した形状保存型の特徴レベルのインターフェースを確立することである。

本フレームワークは、主に2つのコンポーネントで構成される：

1. スケール適応型ゲート付き意味論的ガイダンス (SAGSG) アダプター:

   • 機能: これは特徴量側の融合モジュールであり、入力特徴量の空間次元やチャネル数を変更することなく、テキストの意味論をマルチスケールの視覚的特徴に注入する。
   • メカニズム: マスク付きクロスアテンションを採用しており、視覚的トークンがクエリとして機能し、テキストトークンがキーおよび値として機能する。パディングトークンをフィルタリングすることで、有効な臨床テキストのみがアテンションに影響を与えるように制御する。
   • ゲーティング: 事前学習済みの視覚的表現の破壊を防ぐため、SAGSGはデュアルゲート付き残差精緻化設計を利用する。
     • アテンションゲート: テキスト条件付きアテンションの視覚ストリームへの注入を制御する。$\tanh(0)$ を通じてゼロで初期化されており、モデルが意味論的注入の強度を段階的に学習できるようにする。
     • FFNゲート: 残差視覚経路を維持しながら、表現容量を増加させるためのフィードフォワード精緻化ブランチを制御する。
   • キャリブレーション: 精緻化の後にSE（Squeeze-and-Excitation）ブロックを配置し、冗長なクロスモーダル応答を抑制し、病変に敏感なチャネルを強調する。

2. 階層的な粗から密への監督戦略 (Hierarchical Coarse-to-Fine Supervision Strategy):

   • 機能: セグメンテーションの自然な階層に一致させるため、学習目的を3つの補完的なサブゴールに分解する学習側の戦略である。
   • グローバル整列 (Global Alignment): 投影されたグローバル特徴に対して画像・テキスト対照（ITC）損失を用い、画像とレポートが同一の異常を記述していることを保証し、意味論的なアンカーを提供する。
   • 粗い局在化 (Coarse Localization): 中間的な融合特徴（1/32、1/16、1/8の解像度）に補助的なセグメンテーションヘッドを付加する。これらのヘッドは、詳細を復元する前に、ネットワークに近似的な病変範囲を特定させるよう導く。
   • 境界認識精緻化 (Boundary-Aware Refinement): 最終的な予測には、領域の重なり、クラス不均衡、および境界の一貫性を最適化するために、Dice、Focal、Edge（Sobelベース）、およびLovász-hinge項を組み合わせた統一ハイブリッド損失を使用する。
   • 重み付け: 損失の定式化はスケール間で同一であるが、初期化重みは調整されている（例：深い特徴には高いDice重みを、浅い特徴には高い境界重みを割り当てる）。これにより、低解像度の特徴をオブジェクトレベルの意味論へ、高解像度の特徴を境界の精緻化へと暗黙的にバイアスさせる。

主な貢献

• バックボーン転送可能インターフェース: BTHAは、最小限の特徴レベルのインターフェースを定式化し、アーキテクチャの再設計なしに、ヘテロジニアスな視覚（CNN、Transformer）および言語バックボーンに対して同一のテキスト誘導型セグメンテーションモジュールの再利用を可能にする。
• 階層的監督: グローバルな意味論的整列、マルチスケールの補助的な局在化、および最終的な境界精緻化を分離し、異なる監督レベルに対して明確な役割を許容する、粗から密への監督戦略を提案した。
• SAGSGアダプター: スケール固有のゲーティングとチャネル再キャリブレーションを介してテキスト意味論を適応的に注入し、視覚的な完全性を維持する、形状保存型のクロスモーダル融合モジュールを設計した。
• 効率性と性能: BTHAは、プロンプトベースや大規模な基盤モデルに見られるような膨大なパラメータのスケーリングを回避しつつ、適度な計算オーバーヘッドで最先端の性能を達成している。

実験結果
著者らは、4つの公開データセット（MosMedData+ (CT)、QaTa-COV19 (X線)、SIIM-ACR (X線)、Kvasir-SEG (内視鏡)）でBTHAを評価した。

• バックボーンの転送可能性:
  • テキストエンコーダー: 固定されたConvNeXt-Tinyに対し、様々なテキストバックボーン（BioViL, CLIP, CXR-BERT, BioClinicalBERT）を用いてテストした結果、BTHAは一貫して最高または2番目に高いDiceスコアを達成し、特定のテキスト表現ドメインからの独立性を実証した。
  • 視覚エンコーダー: 固定されたCXR-BERTに対し、様々な視覚バックボーン（Swin-Transformer, ViT-Tiny, ResNet50, ConvNeXt-Tiny）を用いてテストした結果、BTHAは8つの設定のうち6つでベースラインを上回り、両方の畳み込みおよびTransformerベースの視覚的階層における有効性を証明した。
• SOTAとの比較:
  • BTHAは、視覚のみのベースライン（U-Net, UCTransNetなど）、SAMベースのモデル（MedSAM, SAM3など）、および既存の視覚・言語手法（LanGuideMedSeg, FMISeg）を上回った。
  • 平均して、BTHAは最強の視覚のみのベースラインに対して4.04%、最強のSAMベースのベースライン（SAM3）に対して2.03% Diceスコアを向上させた。
  • 決定的なことに、BTHAはこれらを実現しながら、SAM3のわずか**0.38%**のFLOPsという計算コストと、同等のテキスト誘導型ベースラインに対するわずかなパラメータ増加（6.0M）のみで達成した。
• アブレーション研究:
  • 階層的監督戦略単体では、Diceは90.89%から91.45%に向上した。
  • SAGSGアダプター単体では、階層的監督なしでは性能が悪化（88.12%）した。これは、保守的なアイデンティティ初期化を持つアダプターが、効果的にキャリブレーションされるためには、階層的損失による特定のガイダンスが必要であることを示している。
  • SAGSGと階層的監督の完全な組み合わせは、最高の性能（Dice 91.88%）をもたらし、特徴量側のアダプターと訓練側の監督の相補性を裏付けた。

意義と主張
本論文は、BTHAがテキスト誘導型医療画像セグメンテーションにおける転送可能性という重要な課題に対処していると主張している。言語ガイダンスモジュールをバックボーンアーキテクチャからデカップルすることで、著者らは、単一のアダプター設計が多様な医療画像モダリティおよびエンコーダーファミリーに対して効果的に再利用できることを実証した。その意義は、「アーキテクチャに縛られた」融合ブロックから、新しいバックボーンに適応するためのエンジニアリングオーバーヘッドを削減しつつ高い性能を維持する、モジュール化されたインターフェース駆動型のアプローチへと移行した点にある。著者らは、本手法が適度な計算オーバーヘッドで強力なベースラインを改善することを強調しており、自動化された、意味論的に情報に基づいた医療画像解析のための実用的なソリューションとなっている。