Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion

1. 문제 정의 (Problem Definition)

• 배경: 지능형 수술실과 자율 수술 로봇 보조를 위해서는 자연어 명령을 통해 수술 장면과 상호작용하는 것이 필수적입니다. 특히, 자연어 설명에 기반하여 수술 기구를 특정하고 분할하는 '참조 분할 (Referring Segmentation)' 작업이 중요합니다.
• 현황 및 한계: 기존 연구들은 주로 정적인 시각적 단서 (외형, 색상) 나 사전 정의된 기구 이름 (예: "그랩퍼") 에 의존합니다. 그러나 수술 장면은 다음과 같은 이유로 이러한 접근법의 일반화를 어렵게 만듭니다.
  • 시각적 복잡성: 시야 가림 (Occlusion), 유사한 외형의 다중 기구, 출혈/연기/조명 불량 등 열악한 영상 조건.
  • 언어적 비표준화: 기관 및 지역에 따라 동일한 기구를 지칭하는 용어가 다르거나, 표준화된 이름이 없는 경우가 많음.
  • 정적 정보의 부족: 기구의 '무엇 (What)'에 집중하여, 수술 절차의 핵심인 '어떻게 움직이는지 (How it moves)'에 대한 동적 정보가 부족함.
• 핵심 문제: 정적 외형이나 이름만으로는 가려지거나 모호한 상황에서 수술 기구를 정확하게 식별하고 분할하는 것이 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 SurgRef라는 새로운 운동 기반 (Motion-guided) 참조 비디오 분할 프레임워크를 제안했습니다. 이 프레임워크는 기구의 외형이 아닌 **운동 (Motion)**을 중심으로 자연어 표현을 영상에 고정 (Grounding) 합니다.

가. 데이터셋: Ref-IMotion

• 구성: Cholec80, EndoVis-17/18, GraSP 등 기존 공개 데이터셋을 기반으로 구축된 대규모 데이터셋입니다.
• 특징:
  • 밀도 높은 시공간 마스크: 프레임 단위의 정확한 분할 마스크.
  • 운동 중심 표현 (Motion-centric Expressions): 358 개의 운동 기반 참조 문구를 수동으로 주석 달았습니다. (예: "오른쪽에서 들어와 담낭을 안쪽으로 당기는 도구")
  • 다양성: 복강경 및 로봇 보조 수술, 다양한 기관의 데이터를 포함하여 모델의 일반화 능력을 검증합니다.
  • 주석 생성: SS-G-VQA 등의 트리플릿 정보를 활용하거나, LLM 을 사용하여 기구, 행동, 객체, 공간 정보를 결합한 자연어 설명을 생성했습니다.

나. SurgRef 아키텍처

1. Backbone:
   • 시각: Swin Transformer 를 사용하여 다중 스케일 공간 특징을 추출합니다.
   • 언어: Frozen RoBERTa-base 를 사용하여 텍스트 임베딩을 생성합니다.
2. Language-Guided Query Initialization:
   • Mask2Former 의 객체 쿼리를 텍스트 임베딩으로 초기화하여, 언어에 기반한 쿼리 {q_i} 를 생성합니다.
3. Key-frame Selection Module (핵심 모듈):
   • 긴 수술 영상에서 시간적 중복성을 줄이고 효율성을 높이기 위해 도입되었습니다.
   • 언어 가이드 쿼리를 기반으로 각 프레임의 관련성 점수 (Relevance Score) 를 계산합니다.
   • 표현과 가장 밀접하게 관련된 상위 $T'$ 프레임 (예: 8 프레임) 만 선택하여 분할 디코더에 전달합니다. (예: "가위 이동" 표현 시, 가위가 움직이는 프레임만 선택)
4. Inter-frame Attention:
   • 선택된 키 프레임들 간의 시간적 운동 정보를 집계하기 위해 프레임 간 어텐션 (Inter-frame Attention) 을 적용합니다.
5. 손실 함수 (Loss):
   • 프레임 단위의 분류 및 마스크 예측 손실과, 시간적 일관성을 위한 비디오 레벨 손실을 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. Ref-IMotion 데이터셋 구축: 다양한 수술 절차와 모달리티를 아우르며, 밀도 높은 시공간 마스크와 운동 중심 참조 표현이 포함된 최초의 대규모 데이터셋을 공개했습니다.
2. SurgRef 프레임워크 제안: 정적 외형뿐만 아니라 **기구의 운동 (Entry trajectory, retraction, interaction)**을 명시적으로 모델링하여, 가림이나 모호한 상황에서도 강건한 참조 분할을 가능하게 했습니다.
3. 성능 및 일반화 입증: 다양한 수술 도구와 절차에서 SOTA(State-of-the-Art) 성능을 달성했으며, 훈련 데이터와 완전히 다른 수술 절차 (Zero-shot) 에 대해서도 뛰어난 일반화 능력을 보였습니다.

4. 실험 결과 (Results)

• SOTA 비교: EndoVis-IM17, IM18, GraSP-IM 등 여러 벤치마크에서 기존 방법 (VIS-Net, VISA, MPG-SAM 2 등) 을 능가하는 성능을 기록했습니다.
  • 예: EndoVis-IM17 에서 J&F 점수 89.42 (기존 최고 89.41 대비 소폭 상회, 다른 지표에서 우위).
• Zero-shot 일반화: GraSP-IM (전립선 절제술) 으로 학습된 모델을 CholecSeg8k-IM (담낭 절제술) 에 적용했을 때, 다른 도구와 해부학적 구조에도 불구하고 높은 성능을 유지하여 운동 기반 접근법의 강건성을 입증했습니다.
• 운동 표현의 효과: 운동 기반 표현으로 학습된 모델은 정적 표현 (외형, 위치) 으로 테스트하더라도 성능이 크게 향상되었습니다. 이는 운동 정보가 정적 특징 이해에도 도움이 됨을 의미합니다.
• Key-frame Selection 효과: 모든 프레임을 처리하는 것보다, 표현과 관련된 핵심 프레임만 선택하는 방식이 계산 효율성을 높이면서도 정확도 (J&F 89.42) 를 극대화했습니다.

5. 의의 및 결론 (Significance)

• 수술 AI 의 새로운 패러다임: 수술 기구 인식에 있어 "무엇인가 (What)"에서 **"어떻게 움직이는가 (How it moves)"**로 초점을 이동시켰습니다. 이는 수술 절차의 본질적인 이해를 가능하게 합니다.
• 임상 적용 가능성:
  • 수술 훈련: 자연어 명령으로 특정 도구나 행동을 질의하여 학습 효과를 높일 수 있습니다.
  • 수술 중 보조 (Intraoperative Assistant): 외과의사의 언어 명령에 반응하여 표적을 강조하거나 로봇을 안내할 수 있습니다.
  • 로봇 수술 자동화: "그랩퍼가 잡고 있는 곳을 자르라"와 같은 정밀한 의미론적 제어 (Semantic Control) 를 가능하게 합니다.
• 강건성: 시야 가림, 유사한 도구, 비표준 용어 등 실제 수술 환경의 불확실성을 극복할 수 있는 강력한 기반을 마련했습니다.

이 논문은 **운동 (Motion)**을 참조 분할의 핵심 단서로 활용함으로써, 언어 기반 수술 영상 이해의 새로운 기준을 제시하고 향후 지능형 수술 시스템 개발에 중요한 기여를 할 것으로 기대됩니다.