Benchmarking CNN- and Transformer-Based Models for Surgical Instrument Segmentation in Robotic-Assisted Surgery

본 논문은 로봇 보조 수술 영상에서 수술 기구 분할을 위해 UNet, DeepLabV3, SegFormer 등 다섯 가지 딥러닝 아키텍처를 SAR-RARP50 데이터셋에서 비교 평가하여 합성곱 기반 모델과 트랜스포머 기반 모델 간의 성능과 장단점을 분석했습니다.

핵심

이 논문은 로봇 수술 중 '수술 도구'를 카메라 화면에서 정확하게 찾아내는 기술을 연구한 내용입니다. 마치 수술실의 카메라가 "지금 손에 든 가위는 어디에 있고, 실은 어디에 있는지"를 실시간으로 알아내야 하는 상황과 비슷해요.

이 연구는 **"어떤 인공지능 (AI) 모델이 이 일을 가장 잘 해낼까?"**를 비교 실험한 것입니다. 마치 5 명의 요리사에게 같은 재료를 주고 가장 맛있는 요리를 만들게 한 뒤, 누가 가장 뛰어난지 평가하는 것과 비슷하죠.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 연구의 목적: "수술실의 눈"을 뜨게 하기

로봇 수술은 정밀하고 안전하지만, 수술 중에는 여러 가지 도구 (가위, 집게, 실, 클립 등) 가 복잡하게 얽혀 있습니다.

• 문제점: 수술실은 어둡고, 도구가 서로 가려지기도 하며, 실처럼 아주 얇은 것도 있어서 AI 가 구별하기 매우 어렵습니다.
• 목표: AI 가 수술 화면의 모든 픽셀을 보고 "이건 가위야, 이건 실이야"라고 정확하게 표시해 주면, 수술 중 사고를 막거나 로봇이 스스로 수술을 도와주는 '스마트 수술'이 가능해집니다.

2. 실험 방법: 5 명의 'AI 요리사' 대결

연구진은 SAR-RARP50이라는 실제 전립선 수술 영상 데이터를 사용했습니다. 그리고 이 데이터를 바탕으로 5 가지 다른 AI 모델 (UNet, UNet++, DeepLabV3+, Attention UNet, SegFormer) 을 훈련시켜 비교했습니다.

각 모델의 특징을 요리사에 비유하면 다음과 같습니다:

• UNet (기본 요리사):

  • 가장 기본적이고 간단한 레시피입니다.
  • 장점: 배우기 쉽고, 작은 재료 (작은 데이터) 로도 잘 요리합니다.
  • 단점: 복잡한 상황 (도구들이 뒤섞인 장면) 에서는 전체적인 맥락을 파악하는 데 약할 수 있습니다.

• UNet++ & Attention UNet (세심한 요리사):

  • 기본 요리사의 레시피를 업그레이드했습니다.
  • UNet++: 재료를 더 촘촘하게 연결해서 맛을 더 깊게 냅니다.
  • Attention UNet: "이 부분은 중요하니까 집중해!"라고 주의를 기울이는 기능이 있어, 가려진 도구나 얇은 실을 찾는 데 강점이 있습니다.

• DeepLabV3+ (다재다능한 마스터 셰프):

  • 핵심 기술: '멀티스케일 (다양한 크기)'을 한눈에 보는 안목이 있습니다.
  • 비유: 멀리서 본 큰 도구부터 가까이서 본 작은 실까지, 크기가 다른 모든 재료를 동시에 잘 파악합니다.
  • 결과: 이 연구에서 가장 좋은 점수를 받았습니다. 특히 얇은 실이나 작은 클립을 잘 찾아냈습니다.

• SegFormer (전체 구경꾼):

  • 핵심 기술: '트랜스포머 (Transformer)'라는 최신 기술을 썼습니다.
  • 비유: 한 조각의 재료를 보는 게 아니라, 수술실 전체의 분위기를 한눈에 파악합니다. "아, 저기 가위가 있다면 실은 아마 저쪽에 있겠지"라고 전체적인 맥락을 이해하는 능력이 뛰어납니다.
  • 결과: 전체적인 이해도는 좋았지만, 아주 얇은 실 같은 미세한 부분에서는 DeepLabV3+ 보다 조금 덜 정확했습니다.

3. 주요 발견: "정확함 vs 속도"의 줄다리기

연구 결과는 다음과 같은 교훈을 줍니다:

1. DeepLabV3+ 가 승리했다:

   • 얇은 실이나 작은 도구를 찾는 데 가장 뛰어났습니다.
   • 이유: 다양한 크기의 상황을 동시에 분석하는 능력이 탁월했기 때문입니다.
   • 실용성: 로봇 수술은 **속도 (지연 시간)**가 생명입니다. DeepLabV3+ 는 정확도도 높으면서 계산 속도도 빨라, 실제 수술실에 적용하기 가장 적합합니다.

2. SegFormer 는 '전체적인 이해'의 대가:

   • 수술 장면 전체를 이해하는 능력은 최고였습니다. 하지만 아주 미세한 부분 (실의 끝) 을 그리는 데는 조금 둔했습니다.
   • 단점: 계산량이 많아 속도가 느릴 수 있어, 실시간 수술보다는 수술 후 영상을 분석하는 용도로는 더 좋을 수 있습니다.

3. 기존 모델 (UNet 등) 은 여전히 훌륭:

   • 복잡한 최신 모델보다 단순하지만, 여전히 좋은 성능을 냈습니다. 데이터가 적을 때는 이 모델들이 더 나을 수도 있습니다.

4. 결론: 어떤 모델을 쓸까?

이 논문은 **"상황에 따라 최적의 도구가 다르다"**는 것을 보여줍니다.

• 실시간 로봇 수술이 필요하다면? 👉 **DeepLabV3+**가 최고입니다. (정확하고 빠르기 때문)
• 수술 장면을 전체적으로 분석하거나, 아주 복잡한 상황을 이해해야 한다면? 👉 SegFormer가 유망합니다.
• 데이터가 적거나 간단한 시스템이 필요하다면? 👉 UNet 계열이 여전히 강력한 선택지입니다.

한 줄 요약:

"수술실이라는 복잡한 무대에서, **DeepLabV3+**는 작은 실 하나까지 놓치지 않는 '정밀한 눈'을 가지고 있어 가장 실용적인 승자가 되었습니다. 반면 SegFormer는 수술실 전체의 흐름을 읽는 '지혜로운 눈'을 가졌지만, 속도가 조금 느려 아직은 보조 역할에 더 적합합니다."

이 연구는 앞으로 로봇 수술이 더 안전하고 똑똑해지기 위해, 어떤 AI 기술을 선택해야 할지 중요한 길잡이가 되어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 보조 수술 (Robotic-Assisted Surgery) 에서 수술 도구의 정확한 분할 (Segmentation) 은 도구 추적, 수술 워크플로우 분석, 자율적 의사결정 지원 등 맥락 인식형 컴퓨터 보조 개입을 가능하게 하는 핵심 요소입니다. 특히 로봇 보조 전립선 절제술 (RARP) 과 같은 복잡한 수술 환경에서는 다음과 같은 도전 과제들이 존재합니다.

• 복잡한 환경: 해부학적 공간의 제약, 도구 간의 중첩 및 가림 (Occlusion), 다양한 크기와 형태의 도구.
• 세부 구조의 어려움: 실 (sutures) 이나 클립 (clips) 과 같은 작고 얇은 구조물의 경계 인식.
• 데이터 불균형: 배경 영역이 지배적이며, 특정 도구 클래스의 샘플 수가 적음.
• 기존 접근법의 한계: 손으로 설계된 특징 (hand-crafted features) 이나 전통적인 알고리즘은 이러한 복잡한 수술 영상에서 성능이 제한적입니다.

2. 방법론 (Methodology)

2.1 데이터셋 및 전처리

• 데이터셋: SAR-RARP50 데이터셋을 사용하였으며, 이는 실제 RARP 수술 50 개 영상으로 구성되어 있습니다.
• 레이블링: 각 프레임은 10 개의 의미론적 클래스 (배경, 도구 부품, 클립/바늘, 봉합사 등) 로 밀집하게 (dense) 주석 처리되었습니다.
• 전처리:
  • 중복성 감소를 위해 매 10 번째 프레임만 샘플링.
  • 이미지와 마스크를 각각 384x384 크기로 리사이즈 (이중선형 및 최근접 이웃 보간).
  • 마스크가 비어있는 프레임 제거 및 색상 기반 레이블 매핑.

2.2 비교 대상 모델 (Architectures)

본 연구는 CNN 기반과 Transformer 기반의 5 가지 아키텍처를 비교 평가했습니다:

1. UNet: 대칭적인 인코더 - 디코더 구조와 스킵 커넥션을 갖춘 기본 베이스라인 모델.
2. UNet++: UNet 의 시맨틱 갭 (semantic gap) 을 해소하기 위해 중첩된 (nested) 스킵 커넥션을 도입한 모델.
3. DeepLabV3+: ResNet-34 백본과 Atrous Spatial Pyramid Pooling (ASPP) 을 사용하여 다중 스케일 컨텍스트를 포착하는 모델.
4. Attention UNet: 스킵 커넥션에 어텐션 게이트를 추가하여 관련 없는 배경 신호를 억제하고 중요한 도구 특징에 집중하는 모델.
5. SegFormer: 경량 계층적 비전 트랜스포머 (MiT-B0) 와 효율적인 MLP 디코더를 결합한 Transformer 기반 모델.

2.3 손실 함수 (Loss Function)

클래스 불균형과 작은 객체의 경계 포착 문제를 해결하기 위해 복합 손실 함수를 사용했습니다:

• Cross-Entropy Loss (LCE): 잘못 분류된 픽셀에 대한 패널티 부여.
• Dice Loss (LDice): 예측과 정답 간의 공간적 중첩 (overlap) 을 극대화하여 작은 영역 (봉합사 등) 의 성능 향상.
• 총 손실: $L_{total} = L_{CE} + L_{Dice}$

2.4 학습 설정

• 환경: Google Colab Pro (NVIDIA T4 GPU).
• 하이퍼파라미터: 10 에포크, 배치 크기 4, 입력 크기 384x384, Adam 옵티마이저 (학습률 1e-4).
• 검증: 학습 데이터의 20% 를 홀드아웃 (hold-out) 검증 세트로 사용.

3. 주요 결과 및 분석 (Results and Analysis)

3.1 성능 비교 (Dice Score)

• 최고 성능: **DeepLabV3+**가 모든 클래스에서 가장 높은 평균 Dice 점수를 기록했습니다. 특히 봉합사 (Class 8) 와 같은 미세한 구조물 분할에서 탁월한 성능을 보였습니다.
  • 이유: ASPP 모듈을 통한 효과적인 다중 스케일 컨텍스트 집계와 디코더의 정제 단계가 해상도를 유지하며 세부 정보를 보존했기 때문입니다.
• 2 위: SegFormer가 2 위를 기록했습니다. Transformer 의 자기 어텐션 메커니즘이 장기 의존성 (long-range dependencies) 과 전역 컨텍스트를 잘 포착하여 다양한 도구 크기와 방향에 대한 일반화 능력이 뛰어났습니다. 하지만 매우 얇은 구조물의 경계에서는 DeepLabV3+ 보다 약간 뒤처졌습니다.
• 기타 모델: UNet 과 Attention UNet 은 강력한 베이스라인 성능을 보였으나, 전역 컨텍스트 모델링 능력이나 고급 다중 스케일 표현 측면에서 DeepLabV3+ 나 SegFormer 에 비해 다소 제한적이었습니다.

3.2 계산 효율성 (Computational Performance)

• DeepLabV3+: 추론 속도가 빠르고 메모리 요구 사항이 낮아 로봇 보조 수술과 같은 실시간 (real-time) 배포 환경에 적합합니다.
• SegFormer: 전역 컨텍스트 모델링에 강점이 있지만, 자기 어텐션 연산으로 인해 계산 비용이 높고 메모리 사용량이 많아 오프라인 분석 시나리오에 더 적합할 수 있습니다.

4. 주요 기여 (Key Contributions)

1. 통합 벤치마크: SAR-RARP50 데이터셋을 기반으로 UNet, UNet++, DeepLabV3+, Attention UNet, SegFormer 등 5 가지 아키텍처에 대한 포괄적인 비교 평가를 수행했습니다.
2. 학습 전략 제안: 클래스 불균형과 구조적 세부 사항을 동시에 해결하기 위해 Cross-Entropy 와 Dice Loss 를 결합한 학습 전략을 구현하고 검증했습니다.
3. 실제 수술 환경 평가: 실제 수술 조건 (가림, 중첩, 다양한 크기) 하에서 소규모 및 중첩된 도구를 포착하는 모델의 강점과 약점에 대한 정량적 및 정성적 비교를 제공했습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 연구는 수술용 AI 응용 분야에서 CNN 기반 모델과 Transformer 기반 모델 간의 트레이드오프를 명확히 보여줍니다.

• **DeepLabV3+**는 정확도와 효율성 사이의 최적 균형을 이루어, 실시간 로봇 수술 시스템에서의 도구 분할에 가장 유망한 솔루션으로 제시됩니다.
• SegFormer는 전역적인 장면 이해와 일반화 능력에서 우수하지만, 계산 비용이 높다는 한계가 있습니다.
• 향후 방향: 현재 연구의 한계인 클래스 불균형 해결, 프레임 간 시간적 맥락 (temporal context) 부재, 그리고 하이브리드 아키텍처 (Transformer-CNN) 도입 등을 통해 향후 연구가 진행될 필요가 있음을 강조합니다.

결론적으로, 본 논문은 로봇 보조 수술 환경에서 수술 도구 분할을 위한 모델 선택에 대한 실용적인 통찰력을 제공하며, 특히 **DeepLabV3+**가 복잡한 수술 장면에서 미세한 구조물을 정확하게 분할하는 데 있어 가장 효과적인 아키텍처임을 입증했습니다.