TP-Seg: Task-Prototype Framework for Unified Medical Lesion Segmentation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 의료 병변 분할 (Medical Lesion Segmentation, MLS) 은 임상 진단, 병변 위치 확인, 치료 평가에 필수적인 작업입니다. 그러나 기존 접근법은 대부분 특정 병변 유형 (예: 뇌종양, 폐렴, 피부 병변 등) 에 맞춰 별도의 모델을 훈련시키는 '단일 작업 - 단일 모델' 패러다임을 따릅니다. 이는 파라미터 중복, 높은 훈련/배포 비용, 그리고 관련 작업 간 지식 전이 (Knowledge Transfer) 의 한계를 초래합니다.
• 기존 방법의 한계: 최근 단일 모델로 다양한 병변 분할을 수행하려는 '통합 (Unified)' 접근법들이 등장했으나, 주로 이질적인 태스크와 모달리티 (MRI, CT, OCT 등) 간에 **공유 인코더 (Shared Encoder)**만 사용하는 방식에 의존합니다.
  • 특징의 얽힘 (Feature Entanglement): 서로 다른 모달리티와 병변 특성을 공유 인코더가 동시에 처리하려다 특징이 혼재됩니다.
  • 경쟁 간섭 (Gradient Interference): 태스크 간 일관되지 않은 특징 분포로 인해 경사 하강 시 간섭이 발생하여 최적화가 방해받습니다.
  • 태스크 무감각한 디코더: 기존 디코더는 태스크별 의미론적 (Semantic) 차이를 명시적으로 모델링하지 않아, 전경 (Foreground) 과 배경 (Background) 의 관계를 정확히 파악하지 못하거나 병변의 형태적 변이에 적응하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 **TP-Seg (Task-Prototype Framework)**를 제안하여 위 문제들을 해결합니다. 이는 태스크 조건부 어댑터와 프로토타입 가이드 디코더라는 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. 태스크 조건부 라우팅 블록 (Task-Conditioned Routing Block, TCRB)

• 역할: 공유된 지식과 태스크별 특성을 효과적으로 균형 있게 학습하기 위해 설계된 파라미터 효율적 미세 조정 (PEFT) 모듈입니다.
• 구조:
  • 듀얼 패스 (Dual-Path) 구조: 각 태스크에 대해 **공유 전문가 (Shared Expert)**와 **태스크별 전문가 (Task-specific Expert)**를 동시에 가집니다.
  • 동적 라우팅: 학습 가능한 '스플릿 게이트 (Split Gate)'를 통해 각 태스크마다 공유 특징을 추출하는 단계와 태스크별 특징을 추출하는 단계가 언제 분리될지 (Layer $b^*$) 동적으로 결정합니다.
  • 작동 원리: 초기 레이어에서는 공유 특징을 주로 활용하고, 후기 레이어로 갈수록 태스크별 특징으로 전환되는 "공유 우선, 이후 태스크별" 패턴을 자동 학습합니다. 이는 특징 간 간섭을 줄이면서도 지식 공유를 유지합니다.

나. 프로토타입 가이드 태스크 디코더 (Prototype-Guided Task Decoder, PGTD)

• 역할: 디코딩 과정에서 태스크별 전경/배경 의미를 명시적으로 모델링하고 정밀한 분할을 수행합니다.
• 핵심 메커니즘:
  • 학습 가능한 태스크 프로토타입 (Learnable Task Prototypes): 각 태스크마다 전경 ($P^{fg}$) 과 배경 ($P^{bg}$) 을 나타내는 가변적인 프로토타입 벡터를 유지합니다. 이는 학습 중 지수 이동 평균 (EMA) 으로 업데이트되어 해당 태스크의 의미론적 '앵커 (Anchor)' 역할을 합니다.
  • 크로스 어텐션 (Cross-Attention): 프로토타입 쿼리가 공간 특징과 상호작용하여 태스크 인식 가능한 의미론적 맥락을 포착합니다.
  • 동적 컨볼루션 및 유사도 맵: 프로토타입 기반의 유사도 맵 ($S_\tau$) 을 생성하여 특징을 변조 (Modulation) 하고, 동적 컨볼루션 전문가 (Dynamic Convolutional Experts) 를 통해 태스크별 응답을 생성합니다.
  • 강화 (Reinforcement): 최종 예측 시 프로토타입 가이드 강화 항을 추가하여 전경과 배경의 경계를 더욱 명확하게 합니다.

3. 주요 기여 (Key Contributions)

1. TP-Seg 프레임워크 도입: 태스크 조건부 (Task-conditioning) 와 프로토타입 가이드 (Prototype-guided) 의미론적 모델링을 통해 다중 병변 분할을 통합한 간단하지만 효과적인 프레임워크를 제안했습니다.
2. 파라미터 효율적 듀얼 패스 모듈: 공유 및 태스크별 표현을 동시에 모델링하는 어댑터를 설계하여, 이질적인 태스크 간 간섭을 줄이고 지식 공유를 극대화했습니다.
3. 지속적 의미 기억 (Persistent Semantic Memory): 학습 가능한 태스크 프로토타입을 디코더에 도입하여, 태스크별 전경/배경 의미를 명시적으로 유지하고 가이드합니다.
4. 광범위한 실험 검증: 8 가지 의료 병변 분할 태스크 (OCT, MRI, CT, 초음파, 내시경 등 다양한 모달리티 포함) 에서 기존 특화 모델, 일반 모델, 통합 모델 대비 SOTA(State-of-the-Art) 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 8 가지 의료 병변 (습성 AMD, 뇌종양, 선암, 갑상선 결절, 대장 용종, 폐 감염, 유방 병변, 피부 병변) 및 다양한 모달리티.
• 성능 비교:
  • 통합 모델 (TP-Seg-Unified): 8 가지 태스크를 단일 모델로 동시 훈련했을 때 평균 Dice 86.63%, **mIoU 86.44%**를 기록했습니다.
  • 비교 대상: 기존 통합 모델 (SegGPT, Spider, SAM2-UNet, SR-ICL 등) 보다 일관되게 높은 성능을 보였습니다. 특히 SegGPT 대비 평균 Dice 에서 약 13.5%p, mIoU 에서 약 7.5%p 향상되었습니다.
  • 특화 모델 대비: 태스크별로 따로 훈련된 모델 (TP-Seg-General) 과 비교해도 통합 훈련 모델의 성능이 거의 비슷하거나 오히려 더 높은 경우가 있어, 통합 훈련이 과적합을 줄이고 일반화 능력을 향상시킴을 증명했습니다.
• 정성적 평가: 다양한 크기와 형태의 병변 (작은 병변, 모호한 경계, 복잡한 형태) 에서 경계 정밀도 (Boundary Fidelity) 와 오검출 (False Positive) 억제가 뛰어나며, 기존 모델들이 놓치는 미세한 병변까지 정확히 분할했습니다.
• 효율성: 태스크 수가 증가하더라도 파라미터 증가량은 미미하여 (약 1.27% 증가), 확장성 (Scalability) 이 뛰어납니다.

5. 의의 및 결론 (Significance)

• 임상적 적용 가능성: 단일 모델로 다양한 의료 영상 모달리티와 병변을 처리할 수 있어, 병원 환경에서의 모델 배포 비용을 크게 절감하고 유지보수를 용이하게 합니다.
• 기술적 혁신: 기존 통합 분할 모델이 겪었던 '특징 혼재'와 '태스크 간 간섭' 문제를 듀얼 패스 어댑터와 프로토타입 기반 디코딩을 통해 성공적으로 해결했습니다.
• 미래 방향: TP-Seg 는 의료 AI 의 범용성 (Generalization) 을 높이는 중요한 단계로, 향후 더 많은 병변과 모달리티를 포괄하는 범용 의료 진단 프레임워크 개발의 기초를 제공합니다.

요약하자면, TP-Seg 는 공유 지식과 태스크별 특성을 균형 있게 조절하는 어댑터와 태스크별 의미 기억을 활용하는 프로토타입 디코더를 결합하여, 단일 모델로 다양한 의료 병변을 고정밀하게 분할하는 새로운 표준을 제시한 연구입니다.