Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

1. 문제 정의 (Problem Statement)

• 배경: 관강 내 수술 (위장관 및 비뇨기 계통) 은 최소 침습적 장점이 있지만, 기존의 유연한 내시경 도구의 기동성 부족과 높은 학습 곡선으로 인해 종양 절제 품질이 낮고 재발률이 높은 문제가 있습니다.
• 도전 과제:
  • 연속체 로봇의 제어 난이도: 연속체 로봇은 무한한 탄성 관절을 가지며 변형 가능하므로, 강체 로봇과 달리 운동학 모델링이 복잡하고 3D 형태 추정이 어렵습니다.
  • 센서 의존도의 한계: 기존에는 FBG (광섬유 브래그 격자) 나 EM 센서 등을 로봇에 직접 부착하여 상태를 측정했으나, 이는 비용이 많이 들고 내시경과 같은 좁은 공간에서의 안전성 및 수명 문제를 야기합니다.
  • 단안 비전의 한계: 수술 공간의 제약으로 인해 스테레오 내시경 대신 단안 내시경이 주로 사용되는데, 이를 기반으로 유연한 로봇의 3D 상태와 주변 조직의 기하학적 구조를 실시간으로 정밀하게 파악하는 것은 매우 어렵습니다.
  • 데이터 부족: 학습 기반 비전 알고리즘을 훈련시키기 위한 실제 임상 데이터 (Ground Truth 포함) 를 얻는 것이 불가능에 가깝고, 기존 시뮬레이션 플랫폼은 강체 도구에 최적화되어 있어 유연한 로봇 시나리오를 지원하지 못합니다.

2. 방법론 (Methodology)

저자들은 단안 내시경 이미지만을 입력으로 사용하여 로봇의 2D 위치, 3D 상태, 그리고 3D 깊이 정보를 동시에 추정하는 통합 프레임워크를 제안했습니다.

A. 하이브리드 학습 기반 지각 프레임워크

프레임워크는 크게 세 가지 모듈로 구성됩니다 (그림 2 참조):

1. 2D 유연 로봇 분할 (Segmentation):
   • 지식 증류 (Knowledge Distillation): 대규모 데이터로 사전 훈련된 강력한 비전 기반 모델 (Segment Anything Model, SAM) 을 'Teacher'로 활용합니다.
   • 경량화: SAM 의 예측 마스크를 'Pseudo Ground Truth'로 사용하여 U-Net 기반의 경량 'Student' 네트워크를 훈련시킵니다.
   • 자동 보정: 프레임 간 바운딩 박스를 자동 조정하여 수동 주석이 거의 필요 없는 효율적인 분할을 달성합니다.
2. 3D 로봇 상태 추정 (State Estimation):
   • 확률론적 모델링: 로봇의 3D 상태 (굽힘 각도, 요 (Yaw), 롤 (Roll) 등) 를 단일 값이 아닌 **행렬 피셔 분포 (Matrix Fisher Distribution)**로 모델링합니다.
   • 불확실성 추정: 이를 통해 상태 값뿐만 아니라 예측의 **불확실성 (Uncertainty)**을 함께 추정하여, 신뢰도가 낮은 상황 (예: 로봇이 가려진 경우) 을 감지할 수 있습니다.
3. 3D 깊이 추정 (Depth Estimation):
   • 조명 모델링 (Illumination Modeling): 내시경의 점광원 특성을 고려하여 조명 감쇠 (Attenuation) 와 표면 법선 (Normal) 을 모델링한 PPR (Per-Pixel Rendering) 필드를 도입했습니다.
   • Synthetic-to-Real Transfer Learning:
     • Teacher: 합성 데이터 (Ground Truth 포함) 로 훈련된 기초 모델.
     • Student: Teacher 의 지시 (Pseudo Supervision) 와 실제 임상 데이터 (Ground Truth 없음) 에 대한 **자기지도 학습 (Self-supervised loss, PPR 손실 함수)**을 통해 훈련됩니다. 이를 통해 실제 수술 장면에서도 정확한 깊이를 추정합니다.

B. 물리 기반 시뮬레이션 플랫폼 (Physically-realistic Simulator)

• 목적: 학습용 대규모 합성 데이터 생성 및 Ground Truth 확보.
• 특징:
  • Unity 엔진을 기반으로 유연한 로봇의 변형 (Piece-wise Constant Curvature 모델) 과 실제 조직의 3D 기하학을 모델링합니다.
  • 실제 내시경 (Olympus) 의 광원 및 카메라 파라미터를 정확히 반영합니다.
  • 실제 돼지 내장 조직 실험 데이터를 기반으로 한 텍스처 매핑과 깊이 정보를 합성 데이터에 적용하여 현실감을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 단안 지각 프레임워크: 연속체 로봇 시스템의 유연한 도구를 실시간으로 2D 분할, 3D 상태 추정, 3D 깊이 추정을 동시에 수행하는 최초의 통합 솔루션 제시.
2. 고충실도 시뮬레이션: 유연한 로봇과 관강 내 환경을 정밀하게 모델링하여, 학습 기반 알고리즘 훈련에 필요한 대규모 합성 데이터 생성 및 실제 로봇 상태와의 정합성을 확보.
3. 확률론적 상태 추정 및 불확실성 정량화: 단순한 상태 추정을 넘어 행렬 피셔 분포를 통해 불확실성을 정량화하여, 수술 중 안전성 확보에 기여.
4. 조명 기반 자기지도 학습: 실제 임상 데이터의 깊이 레이블 부재 문제를 해결하기 위해 조명 물리 모델을 활용한 PPR 손실 함수와 Teacher-Student 전이 학습 전략 도입.

4. 실험 결과 (Results)

• 2D 분할 성능: 제안된 경량 모델은 SAM 기반 Teacher 모델보다 추론 속도가 52.1 fps 로 매우 빠르며, Dice 점수 94.93% (왼쪽), 95.59% (오른쪽) 의 높은 정확도를 달성했습니다.
• 3D 상태 추정: 기존 키 포인트 기반, 스�keleton 기반, 회귀 기반 (Quaternion, Rot6D) 방법론 대비 평균 각도 오차가 **약 2.6° ~ 6.6°**로 가장 낮았으며, 불확실성 추정이 정확도 저하와 높은 상관관계를 보였습니다.
• 3D 깊이 추정: 합성 및 실제 데이터에서 RMSE 4.020 mm의 오차를 기록하여 기존 SOTA 모델 (Metric3D, EndoOmni 등) 보다 우수한 성능을 보였습니다.
• 시스템 레벨 평가 (실제 로봇 제어):
  • 원격 제어 보정: 로봇 상태 추정을 이용한 보정 기능 도입으로, 전문가의 궤적 추종 작업 시간이 71% 이상 (233s → 66s) 단축되었습니다.
  • 초보 사용자: 보정 없이 254s 가 걸리던 작업이 보정 후 72s로 단축되어 학습 곡선이 크게 완화되었습니다.
  • 3D 형태 모니터링: 로봇의 3D 형태와 조직 간 거리를 실시간으로 시각화하여 수술자의 공간 인식을 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 이 연구는 별도의 하드웨어 센서 추가 없이 단안 내시경 이미지만으로 유연한 로봇의 정밀한 3D 상태를 파악할 수 있음을 입증했습니다. 이는 수술 중 충돌 방지, 조직 손상 최소화, 그리고 초보 의사의 수술 능력 향상에 직접적으로 기여합니다.
• 기술적 혁신: 합성 데이터와 실제 데이터 간의 도메인 격차 (Domain Gap) 를 조명 모델링과 전이 학습으로 극복한 점은 의료 로봇 비전 분야에서 중요한 진전입니다.
• 미래 전망: 현재는 체외 (Ex-vivo) 실험 및 시뮬레이션에 국한되었으나, 향후 생체 내 (In-vivo) 임상 검증을 통해 실제 수술 환경에서의 안전성과 유효성을 입증한다면, 연속체 로봇을 이용한 차세대 최소 침습 수술의 표준 지각 시스템으로 자리 잡을 것으로 기대됩니다.

요약하자면, 이 논문은 단안 비전과 심층 학습, 물리 기반 시뮬레이션을 결합하여 유연한 로봇 수술의 가장 큰 난제인 '상태 인식'과 '공간 지각' 문제를 해결함으로써, 보다 안전하고 정밀하며 접근성 높은 로봇 수술을 실현 가능한 단계로 끌어올린 획기적인 연구입니다.