Markerless 6D Pose Estimation and Position-Based Visual Servoing for Endoscopic Continuum Manipulators

이 논문은 시뮬레이션 기반 학습, 스테레오 다중 특징 융합 네트워크, 그리고 자기지도형 시뮬레이션-현실 적응 전략을 결합하여 마커 없이 내시경 연속체 매니퓰레이터의 6 차원 포즈를 정밀하게 추정하고 폐루프 위치 기반 비주얼 서보잉을 가능하게 하는 통합 프레임워크를 제안합니다.

핵심

이 논문은 **내시경 수술용 '연성 로봇 팔'**을 더 정교하고 안전하게 움직이게 해주는 새로운 기술을 소개합니다.

이 내용을 일반인이 이해하기 쉽게, 일상적인 비유와 함께 설명해 드릴게요.

1. 문제 상황: "눈이 가려진 미로 속의 손"

우리가 흔히 보는 로봇 팔은 딱딱한 금속으로 만들어져 있어, 관절마다 센서가 달려 있어 "내가 지금 어디에 있고, 어떤 각도로 구부러졌는지"를 정확히 알고 있습니다. 하지만 이 논문에서 다루는 **연성 로봇 (Continuum Manipulator)**은 마치 미늘이 달린 지렁이나 코끼리 코처럼 부드럽게 구부러집니다.

• 문제점: 이 로봇은 몸통이 길고 유연해서, 로봇의 손끝 (도구) 이 몸통 안쪽에서 어떻게 구부러졌는지 정확히 알기가 매우 어렵습니다. 마치 눈을 가리고 긴 고무줄을 구부려서 끝이 어디에 있는지 맞추는 것과 같습니다.
• 기존 방식: 정확한 위치를 알기 위해 로봇에 추가 센서를 달거나, 로봇 끝에 **특수 마커 (바코드 같은 것)**를 붙여 카메라로 추적했습니다. 하지만 수술실에서는 마커를 붙이는 게 번거롭고, 센서를 추가하면 로봇이 너무 커져서 환자의 몸속 (장기 등) 에 넣기 어렵습니다.

2. 해결책: "눈만 믿고 움직이는 마법사"

이 논문은 **"마커도, 추가 센서도 없이, 오직 카메라 눈 (비전) 만으로 로봇의 정확한 위치를 파악하고 제어한다"**는 획기적인 방법을 제안합니다.

이를 위해 연구팀은 세 가지 핵심 기술을 개발했습니다.

① "가상 현실 (VR) 훈련장" (합성 데이터 생성)

실제 수술 데이터를 모으는 건 너무 위험하고 어렵습니다. 그래서 연구팀은 NVIDIA Isaac Sim이라는 고도화된 게임 엔진을 이용해 가상의 수술실을 만들었습니다.

• 비유: 마치 비행 시뮬레이터에서 조종사가 실제 비행 없이 수만 시간의 훈련을 하듯, 로봇 팔을 수만 번 가상으로 움직이게 했습니다. 이때 카메라가 찍은 사진과 로봇의 정확한 위치 (정답) 를 자동으로 만들어내어, 인공지능 (AI) 이 이를 배우게 했습니다.

② "다양한 단서를 모으는 탐정" (다중 특징 융합)

기존 AI 는 로봇의 '모양'만 보거나 '점'만 보고 위치를 유추했는데, 이는 깊이 감각이 부족해 실수가 많았습니다.

• 비유: 이 새로운 AI 는 수사관처럼 여러 단서를 동시에 활용합니다.
  1. 로봇의 전체 실루엣 (가위 모양)
  2. 로봇의 관절과 끝부분의 점들
  3. 로봇이 차지하는 상자 모양의 범위
  4. **입체감 (스테레오 카메라)**을 통해 깊이를 파악
     이 모든 정보를 한꺼번에 분석해서 "아, 로봇은 지금 이렇게 구부러져 있고, 저기 3D 공간에 위치해 있구나!"라고 정확히 추측합니다.

③ "한 번에 바로잡는 수정 기능" (렌더링 기반 정제)

AI 가 처음에 위치를 추측하면, 가끔 오차가 생깁니다. 기존 방식은 이 오차를 줄이기 위해 컴퓨터가 수백 번을 계산하며 수정했는데, 이는 너무 느려서 실시간 수술에 쓸 수 없었습니다.

• 비유: 이 논문은 한 번의 빠른 스냅샷으로 오차를 수정하는 기술을 썼습니다. AI 가 "내 추측이 이렇다"라고 말하면, 컴퓨터가 "그렇다면 이 각도에서 찍은 사진은 이렇게 보여야 해"라고 가상 사진을 즉시 그려보고, 실제 사진과 비교해서 "아, 1 밀리미터 정도 틀렸네"라고 한 번에 바로잡아줍니다. 이 과정이 매우 빨라 실시간 제어에 적합합니다.

3. 실전 테스트: "실제 수술실에서의 활약"

가상 세계 (시뮬레이션) 에서 훈련된 AI 를 실제 로봇에 적용할 때, 가상과 현실의 차이 (Domain Gap) 가 문제였습니다.

• 해결: 연구팀은 150 장의 실제 사진만 주고, AI 스스로 "내 추측이 맞다면 이렇게 그려져야 해"라고 비교하며 스스로를 수정하게 했습니다 (자기 지도 학습).
• 결과:
  • 위치 정확도: 로봇 끝이 목표 지점에 도달할 때, 오차가 약 0.83mm (머리카락 굵기보다 얇음) 로 줄었습니다.
  • 궤적 추적: 로봇이 사각형 모양의 길을 따라 움직일 때, **85%**나 더 정확하게 따라갔습니다.
  • 마커 없이도 가능: 마커를 붙인 로봇과 비교해도 성능이 거의 비슷했습니다.

4. 결론: 왜 이것이 중요한가?

이 기술은 환자의 몸속에 들어가는 로봇에 마커를 붙일 필요 없이, 오직 카메라 눈만으로도 정밀하게 수술 도구를 움직일 수 있게 합니다.

• 의미: 앞으로 내시경 수술에서 의사는 로봇이 정확히 어디에 있는지 눈으로만 확인하고, 로봇이 스스로 정확한 위치를 찾아 작은 종양 (5mm 이하) 을 제거하는 등 훨씬 더 정교하고 안전한 수술이 가능해질 것입니다.

한 줄 요약:

**"가상 현실에서 수만 번 훈련한 AI 가, 실제 수술실에서 마커 없이도 로봇 팔의 위치를 눈으로 정확히 파악해, 마치 마법처럼 정교하게 수술을 돕는 기술"**입니다.

기술 요약

이 논문은 **연속체 매니퓰레이터 (Continuum Manipulators)**를 위한 마커 없는 (Markerless) 스테레오 6D 포즈 추정 및 위치 기반 비주얼 서보링 (Position-Based Visual Servoing, PBVS) 통합 프레임워크를 제안합니다. 유연한 내시경 수술 시스템에서 발생하는 후크 (hysteresis), 탄성 (compliance), 그리고 제한된 말단 센싱으로 인한 제어의 어려움을 해결하기 위해, 외부 마커나 임베디드 센서 없이 순수한 비전 기반의 폐루프 제어를 실현했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 제어의 어려움: 케이블 구동 연속체 매니퓰레이터는 긴 힘줄 - 관 (tendon-sheath) 전달 경로로 인해 마찰, 백래시, 비선형성, 그리고 강한 채널 간 결합이 발생합니다. 이로 인해 모터 측의 측정값만으로는 말단 도구의 정확한 구성을 복원하기 어렵습니다.
• 기존 방법의 한계:
  • 임베디드 센서 (FBG, EM): 정확하지만 시스템 복잡성을 증가시키고 임상 적용에 제한이 있습니다.
  • 기존 비전 기반 접근법: 대부분 모노큘러 (단안) 이미지를 사용하거나 단일 특징 (마스크 또는 키포인트만) 에 의존하여 깊이 (depth) 모호성으로 인해 정확한 6D 포즈 추정이 어렵습니다.
  • 데이터 부족: 실제 수술 환경에서 6D 포즈의 정밀한 지상 진실 (Ground Truth) 라벨링은 매우 어렵습니다.
  • 실시간성 부족: 기존 렌더링 기반 정밀화 (render-and-compare) 방법은 반복 최적화를 필요로 하여 계산 부하가 크고 실시간 제어에 부적합합니다.

2. 제안된 방법론 (Methodology)

가. 물리 기반의 사실적 합성 데이터 생성 (Physics-Grounded Synthetic Data)

• 시뮬레이션 파이프라인: NVIDIA Isaac Sim 을 활용하여 연속체 매니퓰레이터를 가상의 강체 (Pseudo-Rigid-Body, PRB) 모델로 이산화하고 URDF 기반 물리 시뮬레이션을 수행했습니다.
• 자동 라벨링: 시뮬레이션 환경에서 픽셀 단위의 정밀한 6D 포즈, 세그멘테이션 마스크, 키포인트, 바운딩 박스 등을 자동으로 생성하여 대규모 학습 데이터를 확보했습니다.
• 도메인 랜덤화: 배경, 백본 색상, 재질 반사율 등을 무작위화하여 실제 환경과의 도메인 격차 (Sim-to-Real Gap) 를 줄였습니다.

나. 스테레오 인식 다중 특징 융합 네트워크 (Stereo-Aware Multi-Feature Fusion Network, MFFN)

• 다중 특징 통합: 단일 모달리티가 아닌 세그멘테이션 마스크, 키포인트, 히트맵, 바운딩 박스를 동시에 활용하여 기하학적 관측 가능성 (Geometric Observability) 을 극대화했습니다.
• 스테레오 어텐션: 좌우 카메라 뷰 간의 기하학적 일관성을 학습하기 위해 멀티헤드 어텐션 메커니즘을 도입하여 깊이 정보를 효과적으로 추출했습니다.

다. 순방향 렌더링 기반 정밀화 모듈 (Feed-Forward Rendering-Based Refinement)

• 반복 최적화 제거: 기존 방법의 반복적인 렌더링과 최적화 대신, **단일 순방향 통과 (Single Forward Pass)**로 렌더링된 기하학적 오차를 기반으로 잔여 포즈 보정값을 예측하는 경량 네트워크를 설계했습니다.
• 효율성: 기하학적 일관성을 유지하면서도 계산 비용을 획기적으로 줄여 실시간 제어 (약 87ms) 가 가능하도록 했습니다.

라. 자기지도식 시뮬레이션 - 현실 적응 (Self-Supervised Sim-to-Real Adaptation)

• 가짜 지상 진실 (Pseudo Ground Truth): 실제 라벨링 없이, 렌더링 기반 정렬 손실 (Alignment Loss) 을 최소화하여 추정된 포즈를 정제하고 이를 '가짜 GT'로 활용합니다.
• 적응 전략: 150 개의 라벨 없는 실제 이미지만으로 포즈 회귀 헤드를 미세 조정 (Fine-tuning) 하여 실제 환경에서의 편향을 보정했습니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 마커 없는 PBVS 프레임워크: 연속체 매니퓰레이터에 대해 외부 마커나 임베디드 센서 없이 순수 비전 기반 6D 포즈 추정으로 폐루프 제어를 수행한 최초의 연구입니다.
2. 고정밀 합성 데이터 파이프라인: 물리적으로 타당한 운동과 픽셀 단위 정밀 라벨을 제공하는 대규모 자동 데이터 생성 시스템을 구축했습니다.
3. 실시간 기하학적 정밀화: 반복 최적화 없이 단일 통과로 기하학적 일관성을 확보하여 실시간 PBVS 를 가능하게 한 새로운 정밀화 모듈을 제안했습니다.
4. 자기지도식 적응: 소량의 라벨 없는 데이터만으로도 시뮬레이션과 현실 간의 격차를 50% 이상 줄이는 효과적인 적응 전략을 제시했습니다.

4. 실험 결과 (Results)

가. 포즈 추정 정확도 (Pose Estimation Accuracy)

• 실제 환경 (1,000 샘플): 자기지도식 적응을 적용한 후, 평균 이동 오차 0.83mm, **회전 오차 2.76°**를 달성했습니다.
• 기존 SOTA 대비: 이전 최첨단 방법 (Zhou et al.) 대비 이동 오차는 34.6%, 회전 오차는 13.8% 개선되었으며, 추론 시간은 849ms 에서 180ms 로 대폭 단축되었습니다.
• 시뮬레이션 데이터: 스테레오 + 정밀화 모듈 적용 시 이동 오차 0.14mm, 회전 오차 0.44°의 높은 정확도를 보였습니다.

나. 폐루프 비주얼 서보링 성능 (Closed-Loop Visual Servoing)

• 궤적 추적 (Trajectory Tracking): 정사각형 궤적 추적 실험에서 제안된 모델 기반 서보링은 평균 이동 오차 2.07mm, 회전 오차 **7.41°**를 달성했습니다.
• 개방 루프 대비: 개방 루프 제어 대비 이동 오차 85%, 회전 오차 59% 감소 효과를 보였습니다.
• 마커 기반 서보링 대비: 물리적 마커를 사용하는 기준 시스템과 비교했을 때 이동 오차는 약 1mm 차이, 회전 오차는 약 5.4° 차이로, 마커 없이도 임상적으로 유의미한 수준의 정밀도를 달성했습니다.
• 반복성: 반복적인 포인트 도달 (Point-reaching) 작업에서 높은 반복성 (이동 표준편차 0.17mm, 회전 0.49°) 을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 물리 기반 시뮬레이션, 다중 특징 스테레오 융합, 순방향 기하학적 정밀화를 결합하여 연속체 매니퓰레이터의 마커 없는 정밀 폐루프 제어를 실현했습니다.

• 임상적 의의: 2mm 수준의 추적 정확도는 내시경 수술에서 흔히 발생하는 작은 병변 (diminutive lesions, ≤5mm) 의 정밀한 조작이 가능함을 의미하며, 실제 임상 적용 가능성을 높였습니다.
• 기술적 의의: 하드웨어 복잡성을 줄이면서도 높은 제어 성능을 달성하는 새로운 패러다임을 제시하여, 향후 자율 수술 로봇 개발의 중요한 기반이 될 것으로 기대됩니다.

한계점으로는 심각한 가림 (occlusion) 상황에서의 성능, 후크 (hysteresis) 를 명시적으로 모델링하지 않은 제어기, 그리고 210ms 의 추론 속도가 고주파수 실시간 제어에 여전히 제약이 될 수 있다는 점이 언급되었습니다.