Seeing Through the Tool: A Controlled Benchmark for Occlusion Robustness in Foundation Segmentation Models

1. 문제 정의 (Problem)

• 배경: 임상 내시경 (Endoscopy) 환경에서 표적 구조물 (예: 용종) 은 수술 도구나 겹치는 조직에 의해 부분적으로 가려지는 (Occlusion) 경우가 빈번합니다.
• 현황: Segment Anything Model (SAM) 및 그 파생 모델 (MedSAM, SAM 2, MedSAM 2 등) 은 의료 영상 분할 분야에서 뛰어난 제로샷 (Zero-shot) 일반화 능력을 보여주었습니다. 그러나 기존 벤치마크는 대부분 깨끗하고 정제된 의료 영상을 기반으로 하여, 실제 수술 환경에서 발생할 수 있는 '가려짐'에 대한 강건성을 평가하지 못했습니다.
• 핵심 문제:
  • 기존 평가 지표 (전체 마스크 오버랩, Amodal DSC) 는 가려진 영역을 잘못 예측하더라도 (예: 수술 도구를 조직으로 잘못 인식하여 가상의 조직을 생성) 높은 점수를 받을 수 있어, 임상적으로 위험한 과분할 (Over-segmentation) 을 감추는 결함이 있습니다.
  • 내시경 환경에서 기구가 표적 조직을 가렸을 때, 모델이 가려진 영역을 어떻게 처리하는지 (가시 영역만 정확히 분할할 것인가, 아니면 가려진 영역까지 추론할 것인가) 에 대한 체계적인 연구가 부재합니다.

2. 방법론 (Methodology)

2.1. OccSAM-Bench (통제된 가려짐 벤치마크)

저자는 내시경 환경의 가려짐을 시뮬레이션하기 위해 OccSAM-Bench를 제안했습니다.

• 데이터셋: 3 개의 공개된 대장 용종 데이터셋 (CVC-300, CVC-ColonDB, ETIS-LaribPolypDB) 을 사용했습니다.
• 가려짐 생성 (Occlusion Generation):
  • 수술 도구 오버레이 (Surgical Tool Paste): Kvasir-Instrument 데이터셋의 실제 수술 도구 마스크를 용종 이미지에 붙여 가려짐을 생성합니다. (도구의 크기, 회전, 위치를 무작위화하여 동적인 수술 궤적을 모사).
  • 컷아웃 (Cutout): 타겟 영역의 일부를 잘라내어 정보 손실만 발생시키고 시각적 혼란은 제거하는 조건을 설정합니다.
  • 심각도 수준 (Severity Levels): 가려진 면적 비율 ($r$) 에 따라 Low (0-20%), Medium (20-40%), High (40-60%) 의 3 단계로 세분화하여 통제된 실험을 수행했습니다.

2.2. 3-영역 평가 프로토콜 (Three-Region Evaluation Protocol)

기존의 전체 마스크 (Full Mask) 평가의 한계를 극복하기 위해 예측을 3 가지 영역으로 분해하여 평가합니다.

1. 가시 영역 (Visible-only, $M_{vis}$): 가려지지 않고 실제로 보이는 표적 조직.
   • 목적: 모델이 가시 조직을 정확히 분할하면서도 수술 도구를 배경으로 올바르게 거부하는지 평가. (임상적 안전성 핵심 지표)
2. 비가시 영역 (Invisible, $M_{inv}$): 가려진 표적 조직.
   • 목적: 모델이 가려진 영역을 추론하는지 (Amodal completion) 평가. 하지만 높은 점수가 반드시 올바른 추론을 의미하는 것은 아니며, 과분할로 인한 우연일 수 있음.
3. 전체 영역 (Full Mask, $M_{full}$): 가시 + 비가시 영역의 합.
   • 비판: 가려진 영역을 잘못 예측하더라도 전체 겹침 비율이 높게 나올 수 있어 임상적으로 오해의 소지가 있음.

3. 주요 기여 (Key Contributions)

1. 통제된 가려짐 생성 프레임워크: 수술 도구 오버레이와 컷아웃을 통해 시각적 혼란과 정보 손실의 영향을 분리하여 평가할 수 있는 체계적인 파이프라인을 제시했습니다.
2. 새로운 평가 프로토콜: 가시/비가시/전체 영역으로 분해된 지표를 도입하여, 기존 평가가 감추던 모델의 행동 양상 (특히 임상적으로 위험한 과분할) 을 드러냈습니다.
3. 포괄적인 제로샷 벤치마크: 7 개의 최신 SAM 계열 모델 (SAM, SAM 2, SAM 3, MedSAM, SAM-Med2D, MedSAM2, MedSAM3) 을 3 개의 데이터셋에서 체계적으로 평가했습니다.

4. 실험 결과 (Results)

실험 결과, 모델들은 가려짐에 대해 두 가지 뚜렷한 행동 양상 (Archetypes) 을 보였습니다.

4.1. 행동 양상 분류

• 가려짐 인식 모델 (Occluder-Aware):
  • 모델: SAM, SAM 2, SAM 3, MedSAM3.
  • 특징: 수술 도구를 배경으로 인식하고 가시 영역의 조직 분할에 집중합니다. 가려진 영역으로 예측을 확장하지 않으므로, 가시 영역 DSC 는 높지만 비가시 영역 DSC 는 낮습니다.
  • 성능: 고강도 가려짐 조건에서도 SAM 3이 가장 우수한 가시 영역 분할 성능을 보였습니다.
• 가려짐 무관 모델 (Occluder-Agnostic):
  • 모델: MedSAM, MedSAM2.
  • 특징: 가려진 영역까지 예측을 확장하는 Amodal completion 경향을 보입니다. 가시 영역 DSC 가 낮아지더라도 비가시 영역 DSC 는 높게 유지됩니다.
  • 성능: MedSAM2는 가시 영역 DSC 를 유지하면서 비가시 영역 예측도 잘 수행하는 유일한 모델로, 비디오 기반 미세 조정 (Fine-tuning) 전략의 효과를 보여줍니다.
• 성능 저하 모델:
  • SAM-Med2D: 두 양상 모두에서 부진하며, 가시 영역과 비가시 영역 모두에서 성능이 급격히 떨어집니다.

4.2. 주요 발견

• 전체 마스크 평가의 함정: MedSAM 은 전체 DSC 기준으로는 경쟁력 있어 보였으나, 가시 영역 DSC 를 보면 가려진 영역 (도구) 을 조직으로 잘못 예측한 것으로 드러났습니다. 이는 임상적으로 치명적인 오류입니다.
• 도메인 적응의 역설: 의료 데이터로 미세 조정된 모델 (MedSAM, SAM-Med2D) 은 깨끗한 이미지에서는 잘 작동하지만, 가려짐이 발생하면 오히려 일반 SAM 모델보다 성능이 급격히 떨어지는 (Catastrophic degradation) 현상을 보였습니다. 이는 깨끗한 데이터에 과적합되어 가려짐이라는 분포 외 (Out-of-Distribution) 상황에 취약함을 시사합니다.
• 프롬프트 민감도: MedSAM 은 단일 점 (Point) 프롬프트 입력 시 성능이 거의 0 에 수렴하는 등 프롬프트 유형에 매우 민감한 반면, 박스 (Box) 프롬프트에서는 상대적으로 안정적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 함의: 내시경 수술 보조 시스템에서 모델 선택은 단순히 '깨끗한 이미지'에서의 성능이 아니라, **임상적 의도 (Clinical Intent)**에 따라 달라져야 합니다.
  • 안전한 로봇 수술/내시경 내비게이션: 가시 조직의 정확한 경계를 유지해야 하므로 Occluder-Aware (SAM 3 등) 모델이 적합합니다.
  • 숨겨진 해부학적 구조 추정: 가려진 조직의 형태를 추론해야 하는 진단 목적이라면 Occluder-Agnostic (MedSAM2 등) 모델이 유용할 수 있습니다.
• 향후 과제: 현재 연구는 2D RGB 데이터와 합성된 가려짐에 국한되어 있습니다. 실제 생체 내 (In-vivo) 의 복잡한 광학 물리 현상 (반사, 조직 변형 등) 과 다양한 모달리티를 포함한 평가로 확장해야 합니다.

요약하자면, 이 논문은 의료용 기초 분할 모델이 수술 중 가려짐 상황에서 어떻게 작동하는지 체계적으로 분석하고, 기존 평가 지표의 위험성을 지적하며, 임상 목적에 맞는 모델 선택의 중요성을 강조했습니다.