Dual-Adaptive SAM3: Hierarchical Routing over Low-Rank Expert Layers for Parameter-Efficient Medical Image Segmentation

기술 요약: Dual-Adaptive SAM3 (DA-SAM3)

문제 정의
Concept 기반의 Segment Anything Model (SAM3)은 자연어 상호작용을 통해 개방형 어휘(open-vocabulary) 의료 영상 분할을 수행할 수 있는 유망한 패러다임을 제공한다. 그러나 이러한 대규모 비전-언어 파운데이션 모델을 전문적이고 이질적인 의료 영상 도메인에 적응시키는 과정에서, 효율성과 전문화 사이의 임계적인 트레이드오프(trade-off) 문제가 발생한다. 단순한 전체 미세 조정(full fine-tuning)은 매개변수 효율성이 낮고 사전 학습된 지식의 파괴적 망각(catastrophic forgetting) 위험이 있다. 반면, 표준 Mixture-of-Experts (MoE) 방식은 전문화 능력은 뛰어나지만, 과도한 계산 및 메모리 오버헤드를 초래하여 자원이 제한된 임상 환경에서의 확장성을 저해한다. 기존의 매개변수 효율적 미세 조정(PEFT) 방법들은 정적이고 균일한 적응을 적용하기 때문에, 의료 개념 이해의 동적이고 계층적인 특성을 해결하지 못하는 경우가 많다.

방법론
저자들은 극도로 높은 매개변수 효율성을 달상하면서 높은 분할 정확도를 달성하도록 설계된 프레임워크인 **Dual-Adaptive SAM3 (DA-SAM3)**를 제안한다. 이 접근 방식은 SAM3 아키텍처 내의 핵심적인 깊이($L/6, L/4, L/2$)에 위치한 피드 포워드 네트워크(FFN) 블록을 대체하는 계층적 MoE 적응 전략을 통합한다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어진다:

1. 동결된 인코더 (Frozen Encoders): 이미지 인코더($f_v$)와 텍스트 인코더($f_t$)는 사전 학습된 일반 지식을 보존하기 위해 완전히 동결된 상태를 유지한다. 오직 새롭게 삽입된 Dual-Adaptive MoE 레이어와 퓨전 모듈 내의 레이어 정규화(Layer Normalization, LN) 매개변수만이 학습 대상이다.
2. 동적 전문가 라우터 (Dynamic Expert Router, DER): 이 태스크 인지 메커니즘은 희소한 토큰 단위 전문가 선택(token-wise expert selection)을 수행한다. 이는 시각적 콘텐츠와 텍스트 개념 프롬프트를 공동으로 추론하여 게이팅 가중치를 생성한다. 라우터는 개념 토큰과 풀링된 시각적 특징 간의 상호작용으로부터 유도된 글로벌 도메인 컨텍스트 벡터($h_{ctx}$)와 로컬 토큰 특징, 그리고 원래의 개념 의미론을 함께 활용한다. 이는 문맥에 민-감한 임상 협진 과정을 모사하며, 각 토큰에 대해 상위-$k$개의 전문가(여기서 $k=2$)를 선택한다.
3. 분해된 매개변수 전문가 (Decomposed Parameterized Experts, DPE): 매개변수 효율성을 해결하기 위해, 각 전문가는 완전한 밀집 네트워크가 아니라 공유된 동결 베이스 가중치($W_0$, SAM3로부터 상속됨)와 경량화된 학습 가능 로우-랭크 델타($\Delta W_i = A_i B_i^\top$)로 분해된다. 이 설계는 표준 MoE 구현과 비교하여 MoE 매개변수 오버헤드를 80% 이상 감소시킨다.

계층적 전문화 전략
본 프레임워크는 임상의의 단계적 추론 과정을 모사하기 위해 MoE 레이어를 계층적으로 배치한다:

• 초기 단계 ($L/6$): 저수준의 시각적 프리미티브(primitives)를 입력된 개념과 정렬하는 거친 수준의 글로벌 정렬(coarse global alignment)에 집중한다.
• 중간 단계 ($L/4$): 형태학적 변이를 해결하고 인접 구조를 구별하기 위해 멀티모달 특징을 통합하는 의미적 구조 식별(semantic structure identification)을 담당한다.
• 후기 단계 ($L/2$): 고해상도 특징 맵에서 작동하여 경계를 날카롭게 다듬고 지역적 모호성을 해결하는 정밀 경계 정제(precision boundary refinement)에 집중한다.

모델은 두 단계 전략으로 학습된다: 전문가 전문화를 위한 로드 밸런싱(load balancing)을 포함한 웜업(warm-up) 단계, 그리고 개방형 어휘 일반화 능력을 높이기 위해 더 넓은 데이터셋에서 라우팅 교정(routing calibration)을 수행하는 미세 조정 단계가 이어진다.

주요 기여

1. 새로운 프레임워크: DA-SAM3는 비전-언어 파운데이션 모델을 의료 영상에 적응시키기 위해 동적 멀티모달 라우팅과 매개변수 효율적 전문가 분해를 통합한 최초의 프레임워크이다.
2. Dual-Adaptive 메커니즘: 문맥 인지적 희소 선택을 위한 동적 전문가 라우터(DER)와 급격한 매개변수 감소를 위한 분해된 매개변수 전문가(DPE)의 도입.
3. 계층적 설계: 전문가들이 서로 다른 네트워크 깊이에서 각기 다른 작업(정렬, 식별, 정제)을 수행하도록 학습되어 임상적 추론 과정을 모사하는 특화된 전략.

실험 결과
네 가지 공개 의료 분할 벤치마크(Synapse(복부 CT), MMWHS(심장 CT), BTCV(복부 CT), ACDC(심장 MRI))에 대해 광범위한 실험이 수행되었다.

• 성능: DA-SAM3는 주요 지표에서 기존 방법보다 약 5% 높은 성능을 보이며 최첨단(state-of-the-art) 결과를 달성했다. Synapse 데이터셋에서 Dice 유사 계수(DSC)를 85.12%로 향상시켰으며(SAM3 베이스라인 대비 4.37% 향상), Hausdorff Distance(HD)를 15.120mm에서 8.425mm로 감소시켰다.
• 비교: 모델은 모든 데이터셋에서 SAM3 전체 미세 조정 모델, 표준 MoE 베이스라인, 그리고 기타 태스크 특화 아키텍처(예: nnU-Net, Swin-UNETR)를 일관되게 능가했다.
• 효율성: DPE 설계는 표준 미세 조정의 정확도를 유지하거나 능가하면서도 MoE 매개변수 오버헤드를 80% 이상 줄였다.
• 절제 연구(Ablation Studies): DER을 제거하거나(랜덤 라우팅으로 대체) DPE를 제거했을 때(전체 전문가 사용) 성능이 크게 하락하여, 동적 라우팅과 매개변수 효율적 분해의 필요성을 입증했다.

의의
본 논문은 DA-SAM3가 다재다능한 범용 AI 모델을 임상 현장에 배치할 수 있는 실질적인 경로를 제공한다고 주장한다. 극도로 높은 매개변수 효율성과 높은 분할 정확도의 균형을 성공적으로 맞춤으로써, 본 프레임워크는 적응 가능하고 자원 효율적인 의료 AI에 대한 핵심적인 요구를 해결한다. 결과는 계층적, 이중 적응형 전문화를 통해 임상적 의사결정 과정을 모사함으로써, 대규모 파운데이션 모델을 전체 미세 조정이나 표준 MoE의 계산적 부담 없이 다양한 의료 개념에 효과적으로 특화시킬 수 있음을 시사한다.