Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction

기술 요약: 혼합 현실 헤드셋을 이용한 자립형 수술 중 표면 획득

문제 정의
혼합 현실(MR) 수술 내비게이션은 변형 가능한 이미지-물리적 등록(deformable image-to-physical registration)에 의존하며, 이를 위해서는 수술 전 영상과 수술 현장 사이의 조직 변형을 보정하기 위한 정확한 수술 중 장기 표면 측정이 필요하다. 현재의 상용 MR 헤드셋은 이러한 표면을 획득할 수 있는 고유 기능을 갖추고 있지 않아, 수동 스타일러스 디지털화(느리고, 희소하며, 조작자 의존적임)나 외부 스테레오 카메라 시스템(별도의 캘리브레이션, 멸균 드레이핑, 폐쇄에 취약한 고정된 시점 필요)에 의존해야 한다. 또한, 선행 연구에 따르면 MR 기기의 온보드 깊이 센서는 투명도가 있는 조직에서의 편향 문제로 인해 고정밀 작업에 불충분할 수 있다고 제안되었다. 본 연구는 상용 MR 헤드셋(Magic Leap 2)이 온보드 센서만을 사용하여 자립형 표면 획득 장치로서 기능할 수 있는지, 그리고 센서 기반 접근 방식(Time-of-Flight)과 학습 기반 접근 방식(RGB 전용) 중 어떤 것이 다양한 조직 광학 조건 하에서 더 우수한 정확도를 보이는지 다룬다.

연구 방법론
본 연구는 동일한 Magic Leap 2(ML2) 헤드셋의 입력 데이터를 사용하여 두 가지 재구성 패러다임을 개발하고 비교하였으며, 모든 데이터는 상호 뷰 등록(inter-view registration)의 필요성을 제거하기 위해 단일 SLAM 추적 월드 프레임($F_{ML2}$) 내에서 표현되었다.

1. 플랫폼 특성 분석:

   • 홀로그램 안정성: 광학적으로 추적되는 스타일러스를 사용하여 네 가지 섭동(걷기, 빠른 머리 움직임, 센서 폐쇄/재국지화, 동적 장면 업데이트) 하에서 ML2의 SLAM 추적 월드 원점 안정성을 평가하였다.
   • 센서 캘리브레이션: 온보드 단거리 간접 Time-of-Flight(iToF) 센서와 RGB 카메라를 캘리브레이션하였다. 기하학적 편향을 보정하기 위해 방사형 거리 측정값을 카메라 프레임 깊이로 변환하였다.

2. 데이터 획득 및 세그멘테이션:

   • 동시적인 RGB 및 깊이 스트림을 캡처하였다.
   • SAM 2 통합: Segment Anything Model 2(SAM 2)를 오프라인에서 사용하여 RGB 프레임으로부터 장기 특이적 마스크를 생성함으로써 주변 기구 및 드레이프를 필터링하였다. 이를 통해 두 재구성 방식이 동일한 장기 픽셀 정의 위에서 작동하도록 보장하였다.

3. 재구성 패러다임:

   • 방법 1 (센서 기반): iToF 깊이 스트림에서 직접 기하 구조를 도출하였다. 점들을 역투영(back-projection)하고 이상치를 필터링한 후, $F_{ML2}$ 내의 단일 포인트 클라우드로 융합하였다. 매끄럽고 수밀(watertight)한 메쉬를 생성하기 위해 그리드 기반 최소제곱법 표면 피팅을 적용하였다.
   • 방법 2 (학습 기반): 깊이 채널을 제외하였다. 기하 구조는 Depth Anything 3 (DA3)(다중 뷰 기하학 파운데이션 모델)를 사용하여 RGB 스윕으로부터만 복원되었다. 생성된 단위 없는 3D 구조는 폐쇄형 유사 변환(Umeyma solution)을 통해 SLAM 추적 카메라 중심에 맞춰 미터법 스케일로 고정되었다.

4. 평가:

   • 팬텀: 여섯 가지 객체를 테스트하였다: 불투명한 흰색 석고로 제작된 두 개의 간 형상, 반투명한 빨간색 실리콘, 자외선 차단제가 도포된 유방 팬텀, 그리고 ex vivo 돼지 간.
   • 그라운드 트루스(Ground Truth): 광학적으로 추적되고 피벗 캘리브레이션된 스타일러스로 표면을 디지털화하였다. 밀집된 점 대 점 비교를 가능하게 하기 위해 그리드 피팅을 통해 연속적인 그라운드 트루스 표면을 생성하였다.
   • 지표: 방향성 점 대 점 거리의 제곱 평균 제곱근 오차(RMSE) 및 대칭 평균 최단 거리(SACPD)를 사용하였다.
   • In Vivo: 마취된 돼지의 노출된 간을 대상으로 질적 시연을 수행하였다.

주요 결과

• 플랫폼 안정성: ML2 월드 원점 드리프트는 모든 섭동 전반에서 중앙값 2mm 미만으로 유지되어, 단일 스윕으로부터의 뷰를 추가 등록 없이 직접 집계할 수 있음을 확인하였다.
• 센서 정확도: iToF 센서는 0.30–0.70 m 작업 범위에서 약 2 mm의 절대 정확도를 달보았으며, 시간적 노이즈(temporal noise)는 절대 오차보다 현저히 낮았다(~0.36 mm 중앙값).
• 재구성 정확도 (팬텀):
  • 불투명 표면 (석고): 센서 기반 방식이 학습 기반 방식(RMSE ~4.7–5.0 mm)보다 유의미하게 더 정확했다(RMSE ~2.6–3.1 mm).
  • 반투명 표면 (실리콘): 순위가 역전되었다. 학습 기반 방식이 센서 기반 방식(RMSE 4.8–5.3 mm)보다 더 우수한 성능을 보였는데(RMSE 4.3–4.6 mm), 이는 iToF 측정을 편향시키는 하부 표면 산란(subsurface scattering) 때문인 것으로 분석되었다.
  • 복잡한 조직: 자외선 차단제가 도포된 유방 팬텀에서 센서 기반 방식이 우위를 유지하였다(2.9 mm vs 3.9 mm). ex vivo 돼지 간의 경우, 센서 기반 방식이 통계적으로 유의하지 않은 수준의 미미한 우위를 보였다(4.2 mm vs 4.8 mm).
• In Vivo 시연: 센서 기반 재구성은 살아있는 돼지 간에서 깨끗한 표면(평균 잔차 3.4 mm)을 생성하였다. 반면, 학습 기반 방식은 불충분한 다중 뷰 커버리지(단측 수술 접근 방식)로 인해 안정적인 표면을 생성하는 데 실패하였으며, 이는 시점 다양성에 대한 의존성을 강조하였다.

의의 및 주장
본 논문은 상용 MR 헤드셋이 외부 추적 하드웨어나 스타일러스 디지털화 없이도 자립형 수술 중 표면 획득 장치 역할을 할 수 있음을 입증한다고 주장한다. 주요 기여는 재구성 패러다임 간의 **조직 의존적 트레이드오프(tissue-dependent trade-off)**를 식별한 것이다:

• 센서 기반 재구성은 능동적 깊이 반사가 신뢰할 수 있는 경우(불투명, 확산 또는 적절히 밝은 표면)에 선호되며, 우수한 절대 위치 정확도를 제공한다.
• 학습 기반 재구성은 능동형 깊이 센싱의 고유한 광학적 실패 모드(하부 표면 산란, 경면 포화, 낮은 알베도)에 더 강하지만, 적절한 다중 뷰 커버리지가 필요하며 작은 잔류 위치 오차를 수반한다.

저자들은 재구성 패러다임의 선택이 대상 조직의 광학적 특성과 수술 현장에서 허용되는 시점 다양성에 의해 결정되어야 한다고 결론짓는다. 본 연구는 Magic Leap 2가 이러한 파이프라인의 실행 가능한 호스트임을 확립하였으며, 다음 단계는 실시간 세그멘테이션 및 다운스트림 변형 등록과의 통합이다.