Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

기술 요약: 더 안전한 로봇 보조 수술을 향하여: 마커리스 증강 현실 프레임워크

문제 정의
로봇 보조 수술(RAS)은 환자의 치료 결과를 개선하지만, 특히 수술 기구가 미세한 혈관과 실수로 충돌하여 발생하는 수술 중 출혈과 같은 심각한 안전 문제를 안고 있습니다. 증강 현실(AR)은 사전 계획된 모델(CT/MRI에서 유도된)을 수술 중 시야에 겹쳐 보여줌으로써 외과의의 수행 능력을 향상시킬 잠재력이 있지만, 현재의 구현 방식들은 결정적인 한계점을 가집로 있습니다. 기존 방식들은 수동 정렬, 사전 설치된 마커 또는 외부 하드웨어(예: 초음파, 프로젝터)에 의존하는 경우가 많으며, 이는 실시간 적용과 일반화 적용을 저해합니다. 또한, 외부 보조 도구 없이 3D 공간에서 연조직을 정확하게 국지화하여 사전 모델을 등록하는 것은 여전히 복적인 과제로 남아 있습니다.

방법론
저자들은 da Vinci Research Kit(dVRK)에 통합된 마커리스 증강 현실 프레임워크를 제안합니다. 이 시스템은 외부 마커나 장치 없이 스테레오 내시경 비디오와 고급 신경망만을 활용하여 작동합니다. 방법론은 네 가지 주요 단계로 구성됩니다:

1. 시스템 캘리브레이션(System Calibration): 프레임워크는 dVRK 운동학(kinematics)을 활용하며 세 가지 캘리브레이션 단계를 수행합니다:

   • 카메라 캘리브레이션: Zhang의 방법을 사용하여 이미지 보정을 위한 내부 및 외부 파라미터를 결정합니다.
   • Hand-Hand 캘리브레이션: Horn의 방법을 사용하여 좌우 엔드 이펙터(end effector) 사이의 강체 변환을 설정합니다.
   • Hand-Eye 캘리브레이션: RANSAC을 사용하여 좌측 엔드 이펙터와 좌측 카메라 사이의 변환을 결정합니다.

2. 수술 중 재구성 및 세그멘테이션(Intra-operative Reconstruction and Segmentation):

   • 스테레오 재구성: 스테레오 이미지 쌍을 보정하고 크기를 조정합니다(1920×1080에서 640×360으로). 스테레오 재구성 네트워크는 시차 맵(disparity map)을 추정하며, 이는 카메라 베이스라인과 초점 거리를 사용하여 3D 포인트 클라우드로 변환됩니다.
   • 세그멘테이션: 세그멘테이션 네트워크가 좌측 보정 이미지를 처리하여 혈관과 배경을 구분하는 이진 마스크를 생성합니다.
   • 3D 생성: 세그멘테이션된 혈관에 해당하는 시차 픽셀들을 3D 공간으로 투영하여 수술 중 혈관 포인트 클라우드를 재구성합니다.
   • 모델 선택: 저자들은 14개의 스테레오 재구성 네트워크와 8개의 세그멘테이션 네트워크를 평가했습니다. HSM [14]은 정확도와 추론 속도의 균형을 고려하여 깊이 추정을 위해 선택되었으며, UNet [23]은 특정 팬텀 환경에서의 신뢰할 수 있는 성능을 바탕으로 세그멘테이션을 위해 선택되었습니다.

3. 등록(Registration):

   • 사전 계획된 3D 모델(본 연구를 위해 Blender에서 생성됨)을 재구성된 수술 중 포인트 클라우드에 등록합니다.
   • 이 과정은 초기 정렬을 위한 RANSAC을 이용한 **전역 등록(global registration)**과, 미세 조정을 위한 반복 최근접 점(ICP) 알고리즘을 이용한 **지역 등록(local registration)**을 채택합니다.

4. 거리 탐지 및 시각화(Distance Detection and Visualization):

   • 시스템은 운동학을 기반으로 모델링된 수술 기구(실린더 형태)와 재구성된 혈관 사이의 최소 거리를 빠른 k-최근접 이웃(k-nearest-neighbor) 탐색을 통해 계산합니다.
   • AR 시각화: 사전 계획된 모델이 내시경 영상 위에 겹쳐서 표시됩니다.
   • 안전 피드백: 두 개의 게이지가 좌우 기구의 최소 거리를 표시합니다. 겹쳐진 모델의 색상은 위험한 근접도를 나타내기 위해 거리 값에 따라 동적으로 변화합니다(예: 고위험 근접 시 빨간색으로 변경).

주요 기여

1. 마커리스 AR 프레임워크: 수동 정렬, 사전 설치된 마커 또는 외부 하드웨어에 의존하지 않고 수술 기구와 혈관 사이의 최소 거리를 탐지하고 사전 계획된 모델을 시각화하는 새로운 시스템을 제시합니다.
2. 포괄적인 네트워크 평가: 의료 장면에서 정확하고 빠른 3D 혈관 회복을 위한 최적의 조합을 식별하기 위해 최신 스테레오 재구성 및 세그멘테이션 네트워크를 체계적으로 비교하였습니다.
3. 인체 대상 사용성 연구: dVRK 플랫폼에서 시뮬레이션된 로봇 보조 림프절 절제술을 수행하는 10명의 피험자를 대상으로, 표준 내시경 뷰와 제안된 AR 지원 뷰를 비교하는 검증 연구를 수행하였습니다.

결과

• 프레임워크 성능: 전체 파이프라인은 약 6.91 FPS(프레임당 0.1448초)로 처리되어 매끄러운 시각적 피드백을 제공합니다. 캘리브레이션 오차는 매우 작았습니다(예: 등록 오차 $E_{regis} \approx 0.43$ cm).
• 사용성 연구 결과:
  • 안전성 향상: AR 지원을 통해 기구와 혈관 사이의 최소 거리($D_{min}$)가 0.0472 cm에서 0.1864 cm로 유의미하게 증가했습니다 ($p=0.0098$).
  • 충돌 감소: 충돌 횟수($N_c$, 거리가 0.5 cm 미만인 상태가 1초 이상 지속되는 것으로 정의)가 23.8회에서 13.7회로 감소했습니다 ($p=0.0077$).
  • 추가 부하 없음: 전체 이동 경로($Sp$) 또는 실행 시간($T_{exe}$)에서 통계적으로 유의미한 차이가 없었으며, 이는 프레임워크가 추가적인 물리적 또는 인지적 부담을 주지 않음을 나타냅니다.
  • 사용자 만족도: 시스템 사용성 척도(SUS) 점수가 대조군(66)에서 실험군(73)으로 개선되었으며, 유의미한 차이를 보였습니다 ($p=0.0104$).

의의 및 주장
본 논문은 제안된 프레임워크가 기구와 혈관의 근접성에 대한 실시간 시각적 피드백을 제공함으로써 수술의 효율성을 저해하지 않으면서도 충돌 위험을 효과적으로 줄여 수술 안전성을 향상시킨다고 주장합니다. 저자들은 특정 장치나 외부 하드웨어로부터 독립적인 이 시스템의 특성이 다른 로봇 플랫폼 및 수술 작업에 높은 일반화 가능성을 가진다는 점을 강조합니다.

본 연구는 다양한 수술 기구를 단순한 실린더 형태로 모델링한 점과, 복잡하고 역동적인 in vivo 환자 조직 대신 팬텀(dry lab) 환경을 사용했다는 한계점을 인정합니다. 그러나 저자들은 이 프레임워크가 고위험 합병증인 수술 중 출혈을 예방하기 위해 의료 로봇 공학에 AR을 통합하는 유연한 토대를 제공한다고 확언합니다. 향-후 연구로는 현재의 시각적 피드백 메커니즘을 보완할 수 있는 가상 픽스처(힘 피드백)를 탐구하는 것이 제안되었습니다.