Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

기술 요약: 수술 중 포인트 트래킹 – 2025 적외선 수술 타투(STIR) 챌린지

문제 정의
수술 환경에서 정확한 포인트 트래킹은 세그멘테이션, 3D 재구성, 가상 조직 랜드마크 지정, 자율 프로브 기반 스캐닝, 하위 작업 자율성 등 다운스트림 의료 컴퓨터 비전 작업을 위한 기초적인 요구 사항입니다. 조직의 움직임과 위치에 대한 지식은 자동화된 숙련도 및 자율 스캐닝에 매우 중요하지만, 기존 방법들은 조직 변형, 폐쇄(occlusion), 변화하는 조명 조건과 같은 수술 비디오 특유의 어려움으로 인해 어려움을 겪는 경우가 많습니다. 2025 STIR 챌린지(STIRC2025)는 2D 및 3D 공간 모두에서 포인트 트래킹을 위한 알고리즘을 평가하고 발전시킴으로써 이러한 격차를 해소하기 위해 조직되었습니다.

방법론 및 데이터셋
본 챌린지는 da Vinci 5 시스템을 사용하여 수집된 32개의 스테레오 비디오 시퀀스로 구성된 STIR 챌린지 2025 (STIRC2025) 데이터셋을 활용했습니다. 이 데이터셋은 in vivo(돼지 피험체) 및 ex vivo(혼합 조직) 케이스를 모두 포함합니다.

• 주석 프로토콜: 인도시아닌 그린(ICG) 잉크로 조직에 타투를 새겨 그라운드 트루스(ground truth) 라벨을 생성했습니다. 내시경은 동작의 시작과 끝에서 적외선(IR) 이미지를 캡처하여 포인트 위치를 정의하였으며, 그 사이의 비디오는 백색광으로 기록되었습니다.
• 데이터 형식: 각 시퀀스는 시작 및 종료 IR 이미지, IR 잉크의 이진 세그멘테이션 마스크, 그리고 그에 대응하는 백색광 스테레오 비디오(1280 × 1024 픽셀)를 포함합니다.
• 3D 재구성: 3D 그라운드 트루스 위치는 세그먼트된 포인트들에 대해 정규화된 상호 상관(normalized cross-correlation)을 이용한 에피폴라 탐색(epipolar search)을 거친 후, 교정된 카메라 파라미터(기선, 초점 거리, 주점)를 이용한 역투영(back-projection)을 통해 계산되었습니다.

평가 지표
참가자들은 두 가지 주요 구성 요소에 대해 평가되었습니다:

1. 정확도: TAP-Vid에서 도입된 이상치에 강건한(outlier-resistant) 지표인 $\delta_{avg}$를 사용하여 측정하며, 이는 최종 프레임에서 특정 거리 임계값($l_i$) 내에 들어오는 추적된 포인트의 비율을 계산합니다.
   • 2D 임계값: 4, 8, 16, 32, 64 픽셀.
   • 3D 임계값: 2, 4, 8, 16, 32 밀리미터.
   • 포인트는 최종 프레임의 가장 가까운 그라운드 트루스 라벨과 매칭됩니다.
2. 효율성: 추론 지연 시간(inference latency)으로 측정됩니다. 평가는 실시간 수술 애플리케이션에 필수적인 최악의 성능을 포착하기 위해 95백분위수 및 99백분위수 지연 시간과 평균값을 중심으로 이루어졌습니다. 제출된 솔루션이 효율성 순위에 오르기 위해서는 정확도가 상위 성능 방법의 90%를 초과해야 했습니다.

주요 기여 및 제출물
7개의 팀이 챌린지에 참여하였으며, 모든 팀이 2D 솔루션을 제출했고 두 팀(NCT TSO 및 MFTIQProb)은 3D 솔루션을 제출했습니다. 논문은 다음과 같은 몇 가지 뚜렷한 방법론적 접근 방식을 상세히 설명합니다:

• 베이스라인 방법: Control (제로 모션), RAFT, CSRF, MFT (Multi-Frame Tracking), 그리고 RAFT와 RAFT-Stereo를 결합한 3D 베이스라인이 포함되었습니다.
• 참가자 혁신 사례:
  • BlueJays: 폐쇄를 처리하기 위해 이동 참조 프레임 전략과 대조적 랜덤 워크(contrastive random walks) 및 글로벌 매칭(GMFlow)을 사용하는 자기 지도 학습 방법을 제안했습니다.
  • CCG DGIST: 국부적 정확도와 장기적 강건성 사이의 균형을 맞추기 위해 조밀한 광학 흐름(dense optical flow)과 키포인트 기반 트래킹(SuperPoint, ALIKED, LightGlue, RoMA)을 결합한 하이브리드 프레임워크를 개발했습니다.
  • MFTIQProb: 후보 포인트에 대한 가우시안 분포와 가시성 처리를 위한 베이지안 업데이트를 사용하는 확률적 다중 포인트 트래킹 파이프라인을 도입했습니다.
  • MoriLabNU: 수술용 텍스처에 대해 특징 추출기를 미세 조정할 때 발생하는 파괴적 망각(catastrophic forgetting)을 방지하기 위해 탄성 가중치 통합(EWC)을 사용하여 복강경 트래킹에 MFT를 적응시켰습니다.
  • NCT TSO: 모션 모델링을 위한 칼만 필터링과 드리프트를 줄이기 위한 키프레임 특징 버퍼를 포함하는 LiteTracker(CoTracker3에서 유도됨) 기반의 파이프라인을 구축했습니다.
  • SRV: 큰 코스트 볼륨(cost volumes)을 피하기 위해 MFT의 광학 흐름 구성 요소를 WAFT(Warping-Along Field Transforms)로 교체했습니다.
  • UII VRI: 수술 도메인 미세 조정을 피하기 위해 시간적 어텐션(temporal attention)과 칼만 스무딩을 사용하는 동결된 일반 도메인 조밀 포인트 트래커(AllTracker)를 활용했습니다.

결과

• 2D 정확도: 전반적인 최고 성능 방법은 베이스라인인 MFT ($\delta_{avg} = 83.50$)였습니다. 참가자 제출물 중에서는 CCG DGIST가 1위 ($\delta_{avg} = 82.99$)를 차지했으며, MFTIQProb ($\delta_{avg} = 82.91$)와 MoriLabNU ($\delta_{avg} = 82.74$)가 그 뒤를 이었습니다.
• 3D 정확도: NCT TSO 팀이 모든 베이스라인을 능가하는 가장 높은 정확도 ($\delta_{avg} = 68.46$)를 달자했습니다. MFTIQProb가 2위를 기록했습니다 ($\delta_{avg} = 57.09$). 저자들은 상위 3D 방법들이 네이티브 3D 트래킹 아키텍처보다는 2D 트래킹과 스테레오 삼각측량의 필터링된 조합에 의존했다고 언급했습니다.
• 효율성: NCT TSO 팀이 프레임당 지연 시간 26.25 ms (95백분위수)로 효율성 부문에서 우승하며, 두 번째로 빠른 경쟁자(UII VRI, 140.52 ms)를 크게 앞질렀습니다.

의의 및 주장
본 논문은 STIRC2025 챌린지와 관련 데이터셋이 수술 로봇 및 컴퓨터 비전 커뮤니티를 위한 중요한 자원임을 강조합니다. 저자들은 챌린지가 다음의 중요성을 부각한다고 주장합니다:

1. 강력한 교차 검증: 베이스라인(MFT)이 많은 전문화된 제출물보다 더 나은 성능을 보였다는 사실은 일반화의 어려움과 공개된 테스트 세트에 과적합될 위험을 보여줍니다.
2. 효율성 대 정확도의 트레이드오프: 효율성 카테고리는 높은 정확도가 실시간 실행 가능성을 배제하지 않는다는 것을 입증하며, NCT TSO는 최고 수준의 3D 정확도와 가장 낮은 지연 시간을 모두 달야냈습니다.
3. 향 향후 방향: 저자들은 향후 연구가 의사 라벨링(pseudo-labeling), 수술적 특징을 이용한 자기 지도 학습, 그리고 완전한 3D 네이티브 아키텍처에 의존하지 않고도 장기 트래킹 및 재위치 추정이 가능한 저지연 모델 개발에 집중해야 한다고 완곡하게 제안합니다. 이는 여전히 해결되지 않은 과제로 남아 있습니다.

이 챌린지는 조직 트래킹을 위한 알고리즘을 테스트, 비교 및 반복 개선하기 위한 벤치마크 역할을 하며, 궁극적으로 로봇 보조 수술 애플리케이션을 지원하는 것을 목표로 합니다.