SurgCalib: Gaussian Splatting-Based Hand-Eye Calibration for Robot-Assisted Minimally Invasive Surgery

본 논문은 케이블 구동 수술 로봇의 기구적 오차와 무균 유지 문제를 해결하기 위해 가우스 스플래팅 기반의 마커 없는 자동 손 - 눈 보정 프레임워크 'SurgCalib'을 제안하고, dVRK 벤치마크에서 높은 정확도로 검증된 결과를 제시합니다.

핵심

이 논문은 로봇이 수술을 할 때, 로봇의 '손'과 카메라의 '눈'이 서로의 위치를 정확히 이해하도록 맞춰주는 기술에 대해 설명합니다.

이 기술을 **'서그캘립 (SurgCalib)'**이라고 부르는데, 마치 로봇 수술실의 '나침반과 지도를 자동으로 맞춰주는 스마트 내비게이션' 같은 역할을 합니다.

이 내용을 일상적인 비유로 쉽게 풀어보면 다음과 같습니다.

---

1. 문제 상황: "눈과 손이 서로 말을 안 통해요"

로봇 수술 (다빈치 시스템) 은 의사가 조종하는 로봇 팔이 환자의 몸속에서 수술을 하고, 그 모습을 내시경 카메라가 보여줍니다.

• 로봇의 손 (팔): "내가 지금 여기 있어요!"라고 생각하지만, 실제로는 케이블이 늘어나거나 기계적 오차 때문에 정확하지 않은 위치를 보고합니다.
• 카메라의 눈: "그 손은 저기 있네?"라고 보지만, 로봇이 보고 있는 위치와 실제 위치가 맞지 않습니다.

이 두 가지 정보가 맞지 않으면, 로봇이 바늘을 잡으려다 실수하거나, 수술 도구가 환자의 건강한 조직을 건드릴 수 있습니다. 이를 해결하기 위해 **'손 - 눈 보정 (Hand-Eye Calibration)'**이 필요합니다.

2. 기존 방식의 문제점: "무거운 짐을 들고 가는 것"

기존에는 이 문제를 해결하기 위해 수술실 바닥에 **특수한 마커 (표지판)**를 붙이거나, 로봇이 정해진 복잡한 동작을 반복하게 했습니다.

• 비유: 마치 운전할 때 길 찾기를 하려면, 차에 무거운 GPS 장비와 지도를 직접 들고 다니며, 길가마다 있는 특정 표지판을 보고 방향을 잡는 것과 같습니다.
• 문제: 수술실은 '무균 상태'를 유지해야 하는 곳인데, 마커를 들이밀면 감염 위험이 생기고, 복잡한 동작을 시키면 수술 시간이 길어져 환자에게 부담이 됩니다.

3. 이 논문이 제안한 해결책: "서그캘립 (SurgCalib)"

이 연구팀은 마커도 없이, 복잡한 동작도 없이, 로봇이 임의의 움직임을 할 때 카메라 영상과 로봇의 데이터만 보고 자동으로 위치를 맞춰주는 기술을 개발했습니다.

핵심 기술 1: "가상 현실로 재현하는 3D 분자 (가우시안 스플래팅)"

기존에는 로봇의 모양을 단순한 선이나 도형으로만 그렸는데, 이 연구팀은 **'가우시안 스플래팅 (Gaussian Splatting)'**이라는 최신 기술을 썼습니다.

• 비유: 로봇 팔을 단순한 막대기 그림이 아니라, **수백만 개의 반짝이는 빛 입자 (구슬)**로 이루어진 정교한 3D 모델로 만드는 것입니다.
• 효과: 카메라에 비친 실제 로봇의 모습과, 이 3D 입자 모델로 만든 가상 로봇의 모습을 비교합니다. 마치 거울 속의 내 모습과 실제 내 모습을 비교하며 자세를 교정하듯이, 로봇의 위치를 아주 정밀하게 맞춥니다.

핵심 기술 2: "지렛대 원리 (RCM) 를 이용한 두 단계 교정"

로봇 수술의 가장 큰 특징은 **RCM(원거리 운동 중심)**입니다. 로봇 팔은 환자의 피부에 작은 구멍 (절개부) 을 통과해야 하므로, 그 구멍을 중심으로만 움직여야 합니다.

• 비유: 문 손잡이를 잡은 채로 문이 열리듯, 로봇 팔은 피부 구멍이라는 '지렛대 축'을 중심으로만 움직여야 합니다.
• 두 단계 전략:
  1. 1 단계 (대략적인 맞춤): 로봇이 움직이는 동안 축이 어디쯤 있는지 대략적으로 추정합니다. (아직은 정확하지 않음)
  2. 2 단계 (정밀 교정): 대략적인 축을 기준으로, 로봇이 움직일 때마다 "이건 축에서 너무 멀어!"라고 지적하며 정확한 축 위치와 로봇의 위치를 동시에 다듬습니다.

4. 결과: "정밀한 수술이 가능해졌습니다"

이 기술을 적용한 결과, 로봇이 보고 있는 손끝의 위치가 실제 위치와 2mm~5mm 이내로 매우 정확해졌습니다.

• 비유: 수술실이라는 좁은 공간에서, 로봇이 2~5mm 오차만 남기고 정확하게 바늘을 꽂을 수 있게 된 것입니다. 이는 기존 방식보다 훨씬 정확하고, 마커를 붙일 필요도 없으므로 수술 흐름을 방해하지 않습니다.

5. 요약: 왜 이것이 중요한가요?

이 연구는 로봇 수술의 '눈'과 '손'을 자동으로 맞춰주는 마법 같은 기술을 개발했습니다.

• 마커 불필요: 수술실에 불필요한 장비를 들이밀지 않아도 됩니다.
• 자동화: 로봇이 그냥 움직이기만 해도 자동으로 보정이 됩니다.
• 정밀도: 최신 3D 렌더링 기술을 써서 아주 정밀하게 위치를 잡습니다.

결국 이 기술은 로봇 수술이 더 안전하고, 더 정확하며, 더 쉽게 이루어지도록 돕는 핵심 열쇠가 될 것입니다. 마치 운전자가 복잡한 도로에서 내비게이션 없이도 차의 위치를 정확히 파악하고 안전하게 운전할 수 있게 해주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 로봇 보조 최소 침습 수술 (RAMIS, 예: da Vinci 시스템) 에서는 로봇 베이스와 카메라 프레임 간의 정확한 강체 변환 (Hand-Eye Calibration) 이 필수적입니다. 이는 시각 정보를 로봇 좌표계로 매핑하여 폐루프 제어, 증강 현실 (AR) 안내, 자율 수술 작업 등을 가능하게 합니다.
• 핵심 과제:
  • 정밀도 부족: 케이블 구동 방식의 수술 로봇은 케이블의 늘어짐 (stretch) 과 백래시 (backlash) 로 인해 엔코더 기반의 고유 감각 (proprioceptive) 측정값이 부정확합니다. 또한, 설정 관절 (SUJ) 이 수동 엔코더에 의존하여 실시간 업데이트가 안 되면 로봇 위치가 불확실해집니다.
  • 기존 방법의 한계: 기존 손 - 눈 보정 방법은 알려진 표식 (fiducial markers) 이나 특정 교정 패턴을 필요로 합니다. 이는 수술실 (OR) 환경에서 무균 원칙을 위반하거나 수술 워크플로우를 방해할 수 있어 임상 적용에 제약이 있습니다.
  • 물리적 제약 무시: 최근 딥러닝 기반의 포즈 추정 방법들은 종종 수술 로봇의 고유한 물리적 제약인 원격 운동 중심 (RCM, Remote Center of Motion) 을 고려하지 않아, 기구 축이 고정된 절개점을 중심으로 회전해야 한다는 기하학적 일관성이 깨지는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 SurgCalib이라는 자동화되고 마커가 필요 없는 (markerless) 프레임워크를 제안합니다. 이 방법은 3D 가우스 스플래팅 (Gaussian Splatting, GS) 을 기반으로 한 차분 가능 렌더링 (differentiable rendering) 파이프라인을 활용합니다.

주요 단계:

1. 초기 포즈 추정 (Pose Initialization):

   • 단안 카메라 영상과 원시 운동학 데이터 (joint angles) 를 입력받습니다.
   • 딥러닝 기반 키포인트 검출기 (MFC-tracker) 로 2D 키포인트를 추출하고, 운동학 모델로부터 3D 키포인트를 생성합니다.
   • EPnP 알고리즘을 사용하여 2D-3D 대응 관계를 통해 초기 기구 포즈를 추정합니다.

2. 3D 가우스 스플래팅 표현 (GS Representation):

   • 수술 기구를 강체 부분 (샤프트, 손목, 그리퍼) 단위로 분할된 3D 가우스 입자 집합으로 표현합니다 (Instrument-Splatting 활용).
   • 이 표현은 고충실도 텍스처 렌더링과 계산 효율성을 동시에 제공하며, 렌더링된 이미지와 실제 이미지 간의 차이를 통해 포즈를 직접 최적화할 수 있게 합니다.

3. RCM 기반 2 단계 최적화 (Two-Phase Pose Optimization):

   • 1 단계 (전역 RCM 정제): RCM 위치를 고정하지 않고, 각 에포크마다 업데이트되는 포즈 추정치를 기반으로 RCM 위치를 동적으로 재계산합니다. 이 단계에서는 RCM 손실을 제외하고 실루엣, 픽셀, 키포인트 손실만 사용하여 전역 기하학적 일관성을 확보합니다.
   • 2 단계 (프레임별 포즈 정제): 1 단계에서 추정한 RCM 위치를 고정된 기하학적 제약으로 간주합니다. 각 프레임별로 렌더 - 비교 (render-and-compare) 방식을 통해 RCM 손실 (기구 축이 RCM 을 통과하도록 하는 손실) 을 추가하여 최종 포즈를 정밀하게 보정합니다.

4. 손 - 눈 변환 계산:

   • 보정된 카메라 기준 포즈와 로봇 베이스 기준 포즈 쌍을 사용하여 최소 제곱법 (Kabsch-Umeyama 알고리즘) 으로 최종 손 - 눈 변환 행렬 ($cT_{rb}$) 을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 자동화 및 마커 불필요: 수동 특징 레이블링이나 설계된 교정 궤적이 필요 없으며, 임의의 단안 영상과 원시 운동학 데이터만으로 교정이 가능합니다.
2. Gaussian Splatting 의 최초 적용: 수술 로봇 손 - 눈 교정 문제에 3D 가우스 스플래팅을 처음 적용하여, 고충실도 렌더링과 차분 가능 최적화를 통한 강력한 포즈 최적화를 실현했습니다.
3. RCM 인지 2 단계 최적화 전략: RCM 물리적 제약을 명시적으로 통합하여, 시퀀스 전반에 걸쳐 기하학적 일관성을 유지하면서 운동학적 불확실성을 보상하는 전략을 제안했습니다.
4. 공식 벤치마크 검증: 공개된 dVRK 벤치마크 (SurgPose) 를 통해 정량적으로 성능을 평가하고, 2D 재투영 오차와 3D 도구 팁 위치 오차를 보고했습니다.

4. 실험 결과 (Results)

SurgPose 데이터셋 (da Vinci 1 세대 로봇) 을 사용하여 평가하였으며, Video 0 으로 교정 파라미터를 학습하고 Video 1~4 에서 검증했습니다.

• 2D 재투영 오차 (Tool-tip Reprojection Error):
  • 왼쪽 기구: 평균 12.24 픽셀 (약 2.06 mm)
  • 오른쪽 기구: 평균 11.33 픽셀 (약 1.90 mm)
• 3D 유클리드 거리 오차 (3D Tool-tip Euclidean Distance Error):
  • 왼쪽 기구: 평균 5.98 mm
  • 오른쪽 기구: 평균 4.75 mm
• 시각적 결과: 보정 후 기구 축이 RCM 주위로 수렴하는 것이 시각적으로 확인되었으며, 원시 운동학 데이터에 비해 보정된 궤적이 훨씬 정확했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 수술실 환경에 적합한 무균적이고 자동화된 교정 솔루션을 제시하여 임상 적용 가능성을 높였습니다.
  • 신경 렌더링 (Neural Rendering) 기술을 로봇 공학, 특히 수술 로봇의 정밀 제어에 성공적으로 접목했습니다.
  • RCM 제약 조건을 최적화 과정에 통합함으로써, 기존 방법들이 간과했던 기구학적 일관성을 확보했습니다.

• 한계 및 향후 과제:

  • 렌더링 충실도: 새로운 뷰 합성 시 사진적 사실성 (photorealism) 이 아직 제한적입니다.
  • 기구 범용성: 현재는 특정 기구 (Large Needle Driver) 만 지원하며, CAD 모델이 필요합니다. CAD 없이 여러 기구를 지원하는 방향으로 발전이 필요합니다.
  • 조명 및 왜곡 모델링: 조명 변화와 내시경 렌즈의 복잡한 왜곡을 명시적으로 모델링하지 않아, 도메인 격차가 존재할 수 있습니다. 향후 학습 가능한 카메라 모델 통합이 필요합니다.

결론

SurgCalib 은 da Vinci 수술 로봇의 손 - 눈 교정 문제를 해결하기 위해 Gaussian Splatting 과 RCM 제약을 결합한 혁신적인 프레임워크입니다. 이는 마커 없이도 높은 정밀도의 보정을 가능하게 하여, 향후 자율 수술 및 증강 현실 기반 수술 안내 시스템의 핵심 기술로 자리매김할 잠재력을 가지고 있습니다.