SurfSurg6D: Geometry Consistent Dense Correspondence for Textureless Surgical Instrument Pose Estimation

기술 요약: SurfSurg6D: 무문양 수술 기구 자세 추정을 위한 기하학적 일관성 밀집 대응

문제 제기
수술 기구 자세 추정은 자율 로봇 수술, 숙련도 평가, 그리고 워크플로우 표준화에 필수적입니다. 그러나 이 작업은 최소 침습 수술 (RMIS) 환경에서 상당한 도전에 직면해 있습니다: 기구는 종종 무문양이고 반사성이며, 조직에 의해 자주 가려지며, 케이블 구동 메커니즘로 인해 신뢰할 수 있는 깊이 센서나 운동학적 기준값이 부족합니다. 기존 일반 객체 자세 추정 방법들은 데이터 부족, 합성 이미지와 실제 이미지 간의 '도메인 격차', 그리고 시각적 특징의 부재와 빈번한 가려짐을 처리하지 못하는 템플릿 기반 또는 회귀 기반 접근법의 한계로 인해 이 분야에서 어려움을 겪습니다.

방법론
저자들은 대규모 합성 데이터셋 생성과 새로운 밀집 대응 프레임워크라는 두 가지 접근법을 제안합니다.

1. SynSurg6D 데이터셋 생성:
   데이터 부족 문제를 해결하기 위해 저자들은 6 가지 일반적인 수술 기구 (예: 바늘 드라이버, 가위, 집게) 의 렌더링된 이미지 6 만 장 이상을 포함하는 합성 데이터셋 SynSurg6D 를 구축했습니다. 생성 파이프라인은 다음과 같습니다:

   • 장면 재구성: EndoNeRF 데이터셋에서 EndoSurf 를 사용하여 내시경 환경의 3D 메쉬 모델을 재구성하여 사실적인 배경으로 활용합니다.
   • 물리 제약 샘플링: 기구는 임상적 트로카 삽입을 모방하는 원격 운동 중심 (RCM) 제약을 사용하여 배치됩니다. 파이프라인은 운동학적으로 타당한 범위 내에서 삽입 깊이, 축 방향 롤, 손목 굽힘 각도를 샘플링합니다.
   • 검증: 충돌 감지 (메쉬 침투) 및 가시성 제약 (기구가 너무 가려지거나 시야 밖인 샘플 거부) 을 통해 물리적 타당성을 보장합니다.
   • 렌더링: 시뮬레이션에서 실제로의 격차를 줄이기 위해 무작위 조명 및 배경 변이가 적용됩니다. 이 데이터셋은 RGB, 깊이, 분할, 정규 맵 및 6 자유도 (6-DoF) 자세 주석을 제공합니다.

2. SurfSurg6D 프레임워크:
   밀집 대응 패러다임 (Surfemb 와 유사) 을 기반으로 하여, 이 프레임워크는 이미지 픽셀과 기구 표면 점 사이의 2D-3D 대응을 학습함으로써 6-DoF 자세를 추정합니다. 이는 3D 표면 점을 인코딩하는 '기구 잠재 필드 (Instrument Latent Field)'와 픽셀 단위 임베딩을 예측하는 '이미지 인식 네트워크'로 구성됩니다. 저자들은 무문양 객체에서 성능을 향상시키기 위해 두 가지 핵심 메커니즘을 도입했습니다:

   • 거리 인식형 하드 네거티브 마이닝: 대조 학습에서 표준 네거티브 쌍은 종종 사소한 경우가 많습니다. 저자들은 거리 기반 페널티 전략을 도입하여 '하드' 네거티브 쌍 (매칭되지 않는 표면 점이 쿼리 점과 공간적으로 가까운 경우) 의 가중치를 높입니다. 이는 모델이 무문양 표면에서 혼란을 줄이기 위해 국소적으로 유사하지만 기하학적으로 구별되는 조각들을 구별하도록 강제합니다.
   • 기하학적 임베딩 일관성 손실: 임베딩 매니폴드가 단편화되는 것 (인접한 3D 점이 먼 잠재 벡터로 매핑되는 것) 을 방지하기 위해 일관성 손실이 추가됩니다. 이 손실은 임베딩 간의 거리가 표면 점 간의 기하학적 거리와 상관관계를 가지도록 강제하여 매끄럽고 연속적인 임베딩 필드를 보장합니다. 이는 RANSAC-PnP 자세 해결 단계 중 약간의 예측 오류에 대한 견고성을 향상시킵니다.

주요 기여

• SynSurg6D: 수술 로봇 공학에서 데이터 부족을 완화하고 자세 분포를 다양화하도록 설계된 다양한 모달리티와 정확한 6-DoF 주석을 가진 대규모 합성 데이터셋.
• SurfSurg6D: 하드 네거티브 마이닝과 임베딩 일관성 정규화를 통합한 밀집 대응 프레임워크. 이러한 메커니즘은 무문양 표면과 자기 가려짐의 도전을 특히 대상으로 합니다.
• 종합 평가: 제안된 방법이 최첨단 (SOTA) 회귀, 템플릿 기반, 그리고 대응 기반 방법보다 우수함을 입증하는 광범위한 실험.

실험 결과
이 방법은 SurgRIPE, EndoVis2018, SurgPose 세 가지 벤치마크에서 평가되었습니다.

• SurgRIPE (6-DoF 자세): SurfSurg6D 는 모든 방법 중 최고의 성능을 달성했습니다. "syn+real"학습 설정에서 ADD-10 정확도는 47.46%, 평균 정확도 (0-5mm) 는 60.12% 에 달하여 베이스라인 Surfemb (각각 45.01% 및 58.97%) 를 능가했습니다. 이러한 결과는 제안된 프레임워크뿐만 아니라 기존 방법들의 성능도 SynSurg6D 데이터셋이 지속적으로 향상시킨다는 것을 나타냅니다.
• EndoVis2018 및 SurgPose (2D 투영): 이 방법은 실제 임상 장면으로의 강력한 일반화를 보여주어 EndoVis2018 에서 0.7952 의 Dice 점수와 SurgPose 에서 0.6897 의 평균 정밀도 (mAP) 를 달성하여 다른 SOTA 접근법들을 능가했습니다.
• Ablation 연구: 결과는 하드 네거티브 마이닝이 가장자리 근처의 잘못된 대응을 줄여 주로 이동 정확도를 향상시키는 반면, 일관성 정규화는 임베딩 공간에서의 기하학적 매끄러움을 보장하여 회전 정확도를 향상시킴을 확인했습니다.
• 기반 모델: 기반 모델 (MegaPose, FoundPose) 을 사용한 제로샷 추론은 열악한 결과를 낳았으며, 도메인별 데이터 없이 무문양이고 반사성이 있는 수술 기구에 일반 모델을 적용하는 것이 어렵다는 점을 강조했습니다.

의의 및 주장
이 논문은 고품질 주석 데이터의 부족이 수술 기구 자세 추정의 주요 병목 현상이라고 주장합니다. SynSurg6D 를 도입함으로써 저자들은 자세 분포를 다양화하고 데이터 기반 접근법의 견고성을 강화하는 자원을 제공합니다. SurfSurg6D 프레임워크는 까다로운 수술 환경에서 정밀한 RGB 전용 자세 추정을 위한 견고한 솔루션을 제공합니다. 저자들은 그들의 접근 방식이 무문양 객체와 상당한 가려짐을 효과적으로 처리하며, 바운딩 박스 감지가 별도로 처리된다면 실제 RMIS 응용에 적합한 경쟁력 있는 추론 속도 (1.25 FPS) 를 달성한다고 강조합니다. 이 연구는 향후 개선 사항으로 관절화된 구성의 추적과 비디오 스트림의 유효 추론 속도를 더욱 높이기 위한 시간적 추적 모듈의 통합을 시사합니다.