Decoupling Language Guidance from Backbones for Text-Guided Medical Segmentation

기술 요약: BTHA – 텍스트 유도형 의료 영상 분할을 위한 백본 전이 가능 계층적 어댑터

문제 정의
텍스트 유도형 의료 영상 분할은 임상적 의미론(예: 병변 유형, 위치)을 활용하여 병변의 경계를 정밀하게 묘사하는 것을 목표로 한다. 그러나 기존 방법들은 일반적으로 텍스트 인코더, 시각적 백본, 교차 모달 융합 메커니즘, 그리고 디코더를 하나의 작업 특화된 아키텍처로 강력하게 결합한다. 이러한 밀접한 결합은 재사용성에 상당한 장벽을 만든다. 즉, 시각적 백본(예: CNN에서 트랜스포머로)이나 텍스트 인코더를 변경하려면 융합 및 감독 경로를 완전히 재설계해야 한다. 또한, 기존 접근 방식은 서로 다른 스케일 간의 이질적인 특징들을 균일한 학습 목표를 강제하지 않으면서도 정규화할 수 있는 견고한 최적화 전략이 부족하여, 중복되거나 상충되는 신호를 초래하는 경우가 많다.

방법론
저자들은 언어 가이드를 특정 백본 아키텍처로부터 분리하도록 설계된 프레임워크인 BTHA(Backbone-Transferable Hierarchical Adapter)를 제안한다. 핵심 철학은 이질적인 인코더로부터 오는 다중 스케일 시각적 특징과 텍스트 표현을 수용하고, 기존 디코더와 호환 가능한 융합된 특징을 반환하는 안정적이고 형상 보존적인(shape-preserving) 특징 수준 인터페이스를 구축하는 것이다.

이 프레임워크는 두 가지 주요 구성 요소로 이루어진다:

1. 스케일 적응형 게이트ed 세만틱 가이던스(SAGSG) 어댑터:

   • 기능: 이는 입력 특징의 공간적 차원이나 채널 수를 변경하지 않으면서 텍스트 의미론을 다중 스케일 시각적 특징에 주입하는 특징 측면의 융합 모듈이다.
   • 메커니즘: 마스크드 교차 주의(masked cross-attention)를 채택하여 시각적 토큰이 쿼리(query) 역할을 하고 텍스트 토큰이 키(key)/값(value) 역할을 하게 하며, 패딩 토큰을 필터링하여 유효한 임상 텍스트만이 어텐션에 영향을 미치도록 보장한다.
   • 게이팅(Gating): 사전 학습된 시각적 표현의 파괴를 방지하기 위해, SAGSG는 이중 게이트 잔차 정제(dual-gated residual refinement) 설계를 사용한다.
     • 어텐션 게이트(Attention Gate): 텍스트 조건부 어텐션이 시각적 스트림에 주입되는 정도를 제어한다. $\tanh(0)$를 통해 0으로 초기화되어, 모델이 의미론적 주입의 강도를 점진적으로 학습할 수 있게 한다.
     • FFN 게이트(FFN Gate): 잔차 시각 경로를 보존하면서 표현 능력을 높이기 위해 피드 포워드 정제 브랜치를 제어한다.
   • 교정(Calibration): 정제 후에는 SE(Squeeze-and-Excitation) 블록이 뒤따라 중복된 교차 모달 반응을 억제하고 병변 민감 채널을 강조한다.

2. 계층적 조-세(Coarse-to-Fine) 감독 전략:

   • 기능: 학습 목표를 분할(segmentation)의 자연스러운 계층 구조에 맞추어 세 가지 상호 보완적인 하위 목표로 분해하는 학습 측면의 전략이다.
   • 전역 정렬(Global Alignment): 투영된 전역 특징에 대해 이미지-텍스트 대조(Image-Text Contrastive, ITC) 손실을 사용하여 이미지와 보고서가 동일한 이상 징후를 설명하도록 함으로써 세만틱 앵커를 제공한다.
   • **조선 정위(Coarse Localization): 이는 중간 융합 특징(1/32, 1/16, 1/8 해상도)에 보조 분할 헤드를 부착하여, 네트워크가 세부 사항을 복구하기 전에 대략적인 병변 범위를 찾도록 유도한다.
   • 경계 인식 정제(Boundary-Aware Refinement): 최종 예측은 영역 중첩, 클래스 불균형, 경계 일관성을 최적화하기 위해 Dice, Focal, Edge(Sobel 기반), Lovász-hinge 항을 결합한 통합 하이브리드 손실을 활용한다.
   • 가중치 설정: 손실 공식은 모든 스케일에서 동일하지만, 초기화 가중치는 조정된다(예: 깊은 특징에는 더 높은 Dice 가중치를, 얕은 특징에는 더 높은 경계 가중치를 부여). 이는 저해상도 특징은 객체 수준의 의미론에, 고해상도 특징은 경계 정제에 편향되도록 암시적으로 유도한다.

주요 기여

• 백본 전이 가능 인터페이스: BTHA는 아키텍처 재설계 없이 다양한 비전(CNN, Transformer) 및 언어 백본에 대해 동일한 텍스트 유도형 분할 모듈을 재사용할 수 있게 하는 최소한의 특징 수준 인터페이스를 정립한다.
• 계층적 감독: 전역 세만틱 정렬, 다중 스케일 보조 정위, 최종 경계 정제로 분리된 조-세 감독 전략을 제안하여 각 감독 수준에 따른 뚜렷한 역할을 부여한다.
• SAGSG 어댑터: 스케일별 게이팅 및 채널 재교정을 통해 텍스트 의미론을 적응적으로 주입함으로써 시각적 무결성을 유지하는 형상 보존형 교차 모달 융합 모듈을 설계하였다.
• 효율성 및 성능: 거대한 파라미터 스케일링을 요구하는 일부 프롬프트 기반 또는 대규모 파운데이션 모델과 달리, 적절한 계산 오버헤드로 최첨단(SOTA) 성능을 달 achieves 한다.

실험 결과
저자들은 네 가지 공개 데이터셋인 MosMedData+ (CT), QaTa-COV19 (X-ray), SIIM-ACR (X-ray), Kvasir-SEG (Endoscopy)에서 BTHA를 평가하였다.

• 백본 전이 가능성:
  • 텍스트 인코더: 고정된 ConvNeXt-Tiny와 다양한 텍스트 백본(BioViL, CLIP, CXR-BERT, BioClinicalBERT)을 사용하여 테스트했을 때, BTHA는 일관되게 최고 또는 차석의 Dice 점수를 기록하며 특정 텍스트 표현 도메인으로부터의 독립성을 입증했다.
  • 비전 인코더: 고정된 CXR-BERT와 다양한 비전 백본(Swin-Transformer, ViT-Tiny, ResNet50, ConvNeXt-Tiny)을 사용하여 테스트했을 때, BTHA는 8개 설정 중 6개에서 베이스라인을 능가하여 컨볼루션 및 트랜스포머 기반의 시각적 계층 구조 모두에서 효과적임을 증명했다.
• SOTA와의 비교:
  • BTHA는 비전 전용 베이스라인(예: U-Net, UCTransNet), SAM 기반 모델(예: MedSAM, SAM3), 그리고 기존 비전-언어 방법(예: LanGuideMedSeg, FMISeg)보다 우수한 성능을 보였다.
  • 평균적으로 BTHA는 가장 강력한 비전 전용 베이스라인보다 Dice 점수를 4.04% 향상시켰으며, 가장 강력한 SAM 기반 베이스라인(SAM3)보다 2.03% 향상시켰다.
  • 결정적으로, BTHA는 SAM3의 **0.38%**에 불과한 FLOPs를 요구하며, 유사한 텍text-guided 베이스라인 대비 미미한 수준의 파라미터 증가(6.0M)만으로 이러한 이득을 달성했다.
• 절제 연구(Ablation Studies):
  • 계층적 감독 전략 단독으로는 Dice를 90.89%에서 91.45%로 개선했다.
  • SAGSG 어댑터 단독으로는 계층적 감독 없이는 성능이 낮았는데(88.12%), 이는 보수적인 아이덴티티 초기화 어댑터가 효과적으로 교정되기 위해서는 계층적 손실의 구체적인 가이드가 필요함을 나타낸다.
  • SAGSG와 계층적 감독의 전체 조합은 가장 좋은 결과(91.88% Dice)를 냈으며, 이는 특징 측면의 어댑터와 훈련 측면의 감독 사이의 상호 보완성을 확인시켜 준다.

의의 및 주장
본 논문은 BTHA가 텍스트 유도형 의료 영상 분할의 핵심 문제인 **전이 가능성(transferability)**을 해결한다고 주장한다. 언어 가이드 모듈을 백본 아키텍처로부터 분리함으로써, 저자들은 단일 어댑터 설계가 다양한 의료 영상 모달리티 및 인코더 패밀리에 걸쳐 효과적으로 재사용될 수 있음을 입증했다. 본 연구의 의의는 "아키텍처에 종속된" 융합 블록에서 벗어나, 높은 성능을 유지하면서도 새로운 백본에 적응하는 데 필요한 엔지니어링 오버헤드를 줄이는 모듈형, 인터페이스 중심의 접근 방식으로 나아갔다는 점에 있다. 저자들은 이 방식이 적절한 계산 오로헤드로 강력한 베이스라인들을 개선하며, 자동화되고 의미론적으로 정보가 풍부한 의료 영상 분석을 위한 실용적인 솔루션임을 강조한다.