Dual-Adaptive SAM3: Hierarchical Routing over Low-Rank Expert Layers for Parameter-Efficient Medical Image Segmentation

技術要約：Dual-Adaptive SAM3 (DA-SAM3)

問題提起
Conceptを用いたSegment Anything Model (SAM3) は、自然言語によるインタラクションを通じて、オープンボキャブラリの医療画像セグメンテーションを実現する有望なパラダイムを提示している。しかし、このような大規模な視覚・言語基盤モデルを、特殊かつヘテロジニアス（異種混合的）な医療ドメインに適応させるには、効率性と専門性の間のクリティカルなトレードオフが存在する。単純なフルファインチューニングは、パラメータ効率が悪く、事前学習された知識の破滅的忘却を招くリスクがある。逆に、標準的なMixture-of-Experts (MoE) アプローチは、専門化（スペシャライゼーション）が可能である一方で、計算およびメモリのオーバーヘッドが極めて高く、リソース制約のある臨床現場でのスケーラビリティを制限する。既存のパラメータ効率の高いファインチューニング (PEFT) 手法は、静的で一様な適応を適用することが多く、医療概念の動的かつ階層的な性質に対処できていない。

手法
著者らは、極めて高いパラメータ効率で高精度なセグメンテーション精度を達成するために設計されたフレームワーク、Dual-Adaptive SAM3 (DA-SAM3) を提案する。このアプローチは、モデルの融合モジュール内の重要な深さ ($L/6, L/4, L/2$) におけるFeed-Forward Network (FFN) ブロックを置き換えることで、階層的なMoE適応戦略をSAM3アーキテクチャに統合する。本フレームワークは、主に以下の3つのコンポーネントで構成される：

1. 凍結されたエンコーダ (Frozen Encoders): 画像エンコーダ ($f_v$) とテキストエンコーダ ($f_t$) は、事前学習された一般的な知識を保持するために完全に凍結される。新たに挿入されたDual-Adaptive MoEレイヤーと、融合モジュール内のLayer Normalization (LN) パラメータのみが学習対象となる。
2. 動的エキスパートルーター (Dynamic Expert Router: DER): このタスク指向のメカニズムは、スパースなトークン単位のエキスパート選択を行う。これは、視覚的コンテンツとテキストの概念プロンプトの両方を共同で推論し、ゲーティング重みを生成する。ルーターは、概念トークンとプーリングされた視覚特徴の相互作用から導出されるグローバルなドメインコンテキストベクトル ($h_{ctx}$) と、ローカルなトークン特徴および元の概念セマンティクスを利用する。これは、コンテキストに応じた臨床的なコンサルテーションのプロセスを模倣しており、各トークンに対してトップ-$k$（ここで $k=2$）のエキスパートを選択する。
3. 分解されたパラメータ化エキスパート (Decomposed Parameterized Experts: DPE): パラメータ効率に対処するため、各エキスパートは完全な高密度ネットワークではなく、共有された凍結ベース重み（SAM3から継承した $W_0$）と、軽量で学習可能な低ランクデルタ ($\Delta W_i = A_i B_i^\top$) に分解されている。この設計により、標準的なMoE実装と比較してMoEのパラメータオーバーヘッドを80%以上削減している。

階層的専門化戦略
本フレームワークは、粗から精への臨床的推論プロセスを模倣するために、MoEレイヤーの階層的な配置を採用している：

• 初期段階 ($L/6$): 粗いグローバルなアライメントに焦点を当て、低レベルの視覚的プリミティブと入力概念を整合させる。
• 中間段階 ($L/4$): セマンティック構造の特定に特化し、マルチモーダルな特徴を統合して形態学的バリエーションを解決し、隣接する構造を区別する。
• 後期段階 ($L/2$): 精密な境界の洗練に焦とし、高解像度の特徴マップ上で動作して、境界を鋭利にし、領域的な曖昧さを解消する。

モデルは2段階の戦略を用いて訓練される。まず、ロードバランシングを伴うエキスパート専門化のためのウォームアップ段階があり、次に、より広範なデータセットに対するルーティング校正のためのファインチューニング段階が行われることで、オープンボキャブラリの汎化性能を高める。

主な貢献

1. 新規フレームワーク: DA-SAM3は、視覚・言語基盤モデルを医療画像に適応させるために、動的なマルチモーダルルーティングとパラメータ効率の高いエキスパート分解を統合した初のフレームワークである。
2. Dual-Adaptiveメカニズム: コンテキストを考慮したスパース選択を行うDynamic Expert Router (DER) と、劇的なパラメータ削減を実現するDecomposed Parameterized Experts (DPE) の導入。
3. 階層的設計: エキスパートが異なるネットワークの深さにおいて、それぞれ異なるタスク（アライメント、識別、洗練）を実行するように学習する特化した戦略であり、臨床的な意思決定プロセスを模倣している。

実験結果
4つの公開医療セグメンテーションベンチマーク（Synapse [腹部CT], MMWHS [心臓CT], BTCV [腹部CT], ACDC [心臓MRI]）を用いて広範な実験を行った。

• 性能: DA-SAM3は、主要な指標において既存の手法を約5%上回る、最先端（SOTA）の結果を達成した。Synapseデータセットでは、Dice Similarity Coefficient (DSC) が85.12%に向上し（SAM3ベースラインに対し4.37%の向上）、Hausdorff Distance (HD) は15.120mmから8.425mmへと減少した。
• 比較: 本モデルは、すべてのデータセットにおいて、フルファインチューニングされたSAM3、標準的なMoEベースライン、および他のタスク固有のアーキテクチャ（例：nnU-Net, Swin-UNETR）を一貫して上回った。
• 効率性: DPE設計は、標準的なファインチューニングの精度を維持または上回りつつ、MoEのパラメータオーバーヘッドを80%以上削減した。
• アブレーション研究: DERを除去（ランダムなルーティングに置換）するか、あるいはDPEを使用しない（フルエキスパートを使用）場合、性能の著しい低下が見られ、動的なルーティングとパラメータ効率の高い分解の両方の必要性が検証された。

意義
本論文は、DA-SAM3が、多用途で汎用的なAIモデルを臨床現場に展開するための実用的な経路を提供すると主張している。極めて高いパラメータ効率と高いセグメンテーション精度をうまく両立させることで、本フレームワークは、適応可能でリソース効率の高い医療AIへの切実なニーズに応えている。結果は、階層的かつDual-Adaptiveな専門化を通じて臨床的な意思決定プロセスを模倣することで、大規模な基盤モデルを、フルファインチューニングや標準的なMoEの計算負荷なしに、多様な医療概念に向けて効果的に専門化できることを示唆している。