A Dual-Modal Fiducial Marker with Single-View X-ray Pose Recoverability for MR-Guided Surgical Navigation

기술 요약: MR 유도 수술 내비게이션을 위한 단일 뷰 X-ray 포즈 복원이 가능한 이중 모드 피듀셜 마커

1. 문제 정의

전통적인 수술 내비게이션 시스템은 고정된 외부 참조 프레임과 적외선 반사 구체에 의존한다. 이러한 방식은 일반적인 설정에서는 효과적이지만, 헤드 마운트 디스플레이(HMD)를 사용하는 혼합 현실(MR) 수술 내비게이션에는 부적합하다. MR 내비게이션에서 추적 카메라는 외과의의 머리와 함께 움직이므로, 시선이 수술 영역과 겹치는 동적 참조 프레임을 생성한다. 이는 기존 마커가 동시에 해결할 수 없는 세 가지 결정적인 과제를 야기한다:

1. 전방향 인식 가능성 (Omnidirectional Recognizability): 기존 마커(예: 구형 반사체 또는 평면 QR 코드)는 광학적 사각지대가 존재하거나 측면 또는 후면에서 관찰될 때 인식이 실패하는 문제가 있으며, 이는 다수의 관찰자나 기구가 시야를 가릴 때 문제가 된다.
2. X-ray 인식 가능성 (X-ray Recognizability): 마커와 뼈 사이의 포즈에 대한 수술 중 업데이트는 C-arm 투시법에 의존하는 경우가 많다. 기존 마커(평면 코드나 구체 등)는 X-ray 투영에서 뚜렷한 기하학적 특징이 부족하여, 단일 뷰로부터 정확한 포즈 추정을 방지한다.
3. 다중 모드 등록 (Multimodal Registration): 광학 및 X-ray 모드 모두에서 안정적으로 추출되어 견고한 교차 모드 대응을 가능하게 하는 일관되고 구별 가능한 기하학적 원형(점, 선, 면)을 제공하는 마커가 부족하다.

기존 워크플로우를 HMD에 맞추려는 시도들은 HMD의 물리적 제약(움직이는 카메라, 겹치는 시야)이 마커 설계에 고려되지 않았기 때문에 등록 오차의 급격한 증가를 초과하게 된다.

2. 방법론

저자들은 세 가지 파생된 설계 제약 조건을 기반으로 한 새로운 피듀셜 마커 설계와 그에 따른 포즈 추정 프레임워크를 제안한다.

A. 마커 설계
제안된 마커는 중앙 큐브와 큐브의 중심에서 정사면체의 꼭짓점을 향해 뻗어 나가는 네 개의 원통형 축으로 구성된다.

• 중앙 큐브: HMD 카메라에 의한 전방향 인식을 위해 풍부한 광학적 특징(모서리 및 면)을 제공한다.
• 네 개의 원통: 이들은 서로 다른 직경($r_1 < r_2 < r_3 < r_4$)을 가진다. 이 특정 기하학적 구조를 통해 X-ray 이미지에서 투영된 너비를 통해 원통들을 구별할 수 있다.
• 강성 연결: 큐브와 원통은 강하게 연결되어 있어, 광학적 포즈와 X-ray 포즈 사이의 고정된 공간 변환을 보장한다.

B. 이론적 기초
본 연구는 알려진 투영 시스템 하에서 마커의 6자유도(6-DoF) 포즈가 단일 X-ray 이미지로부터 유일하게 결정될 수 있음을 수학적으로 증명한다.

• 기하학적 제약: 각 원통은 세 개의 독립적인 측정값(중심선 방향 및 투영된 너비)을 제공한다. 네 개의 원통은 12개의 측정값을 제공하며, 이는 6개의 미지수(회전 3, 이동 3)를 풀기 위한 과결정 시스템(overdetermined system)을 형성한다.

• 모호성 해소: 서로 다른 반지름은 반사 모호성(거울 해 solution)을 해결하고 절대 척도를 제공하여, 단일 뷰 포즈 추정에서 흔히 발생하는 "물체 스케일링 + 거리 스케일링" 모호성을 제거한다.
• 강건성: 사면체 배치는 하나의 원통이 X-ray 빔과 평행하여 투영이 퇴화되더라도, 나머지 세 개의 비공면(non-coplanar) 원통이 회전 행렬을 결정하기에 충분함을 보장한다.

C. 알고리즘 및 데이터

• 포즈 추정: 계층적 머신 러닝 프레임워크가 사용된다.
  • X-ray 브랜치: 회전 사전 정보를 추정하기 위해 ResNet50/HopeNet 네트워크를 사용하며, 이동량을 복원하기 위해 기하학적 제약을 결합한다.
  • 광학 브랜치: 바운딩 박스 검출을 위해 YOLOv11을, 키포인트(큐브 모서리/원통 끝단) 예측을 위해 U-Net을 사용한 후, 재투영 오차를 최소화하기 위해 Levenberg-Marquardt 최적화 도구를 사용한다.
• 데이터 수집:
  • X-ray: IMU 기반의 그라운드 트루스 참조를 사용하여 GE Definium 6000 시스템으로부터 100개의 유효 샘플을 획득했다.
  • 광학: HMD 관점을 시뮬레이션하는 Canon R7 카메라를 사용하여 체커보드 참조와 함께 194개의 유효 샘플을 획득했다.

3. 주요 결과

본 연구는 100개의 X-ray 세트와 194개의 광학 세트에 대해 마커의 성능을 검증했다.

A. X-ray 포즈 인식

• 정확도: 평균 절대 오차(MAE)는 관상면(X축)에서 **1.584° ± 1.256°**였고, 시상면(Y축)에서는 **1.898° ± 1.502°**였다.
• 복합 오차: 전체 각도 오차의 중앙값은 2.45°였고 MAE는 2.73°였다.
• 분포: 오차는 대칭적으로 0을 중심으로 분포했다. 시스템은 극단적인 시야각에서도 해결 가능했으나, 원통이 빔과 정렬될 때(퇴화되었지만 해결 가능한 구성) 오차가 약간 증가했다.

B. 광학 포즈 인식

• 성공률: 탐지 성공률은 90.2%(175/194 유효 비교)였다.
• 정확도: 신뢰할 수 있는 샘플 중에서 MAE는 **1.521° ± 0.976°**였다.
  • Yaw: 0.252° (가장 높은 정확도).
  • Pitch: 0.411°.
  • Roll: 1.438° (가장 낮은 정확도, 평면 내 회전에 대한 약한 제약과 일치함).
• 실패 모드: 4개의 사례(2.3%)에서 극단적인 시각적 각도로 인해 완전한 포즈 상실(오차 > 170°)이 나타났으며, 이는 반사 모호성에 기인한다.

C. 포즈 전이 및 교차 모드 일관성

• 전이 가능성: 마커 포즈를 대상 물체(나무 블록)로 전이하는 개념 증명 실험 결과, 깊이에 따라 점 편차는 증가(평균 26.6 px)했지만, 엣지 각도 편차는 낮게 유지(평균 3.10°)되었으며 점 오차와 상관관계가 없었다. 이는 포즈 추정이 구조적 방향 정밀도를 보존함을 나타낸다.
• 일관성: 광학 모드는 X-ray(2.45°)에 비해 더 높은 정밀도(중앙값 1.38°)를 보였으나, 두 모드 모두 유사한 오차 패턴을 보였다. 즉, 지배적인 기하학적 특징과 정렬된 축은 가장 정확했던 반면, 평면 내 회전 축은 가장 정확도가 낮았다.

4. 의의 및 주장

본 논문은 기존 마커를 단순히 개조하는 것이 아니라, HMD 기반 내비게이션의 물리적 제약으로부터 마커 설계 요구 사항을 체계적으로 도출한 첫 번째 연구라고 주장한다.

• 이론적 기여: MR 수술 내비게이션 마커의 요구 사항을 정의하는 세 가지 제1원칙 제약 조건(전방향 인식 가능성, X-ray 인식 가능성, 다중 모드 등록)을 확립했다.
• 설계 혁신: 단순한 기하학적 구조(큐브 + 서로 다른 원통)가 이러한 제약 조건을 동시에 충족하여, 단일 뷰 X-ray 포즈 복원과 견고한 광학 추적을 가능하게 함을 입증했다.
• 실질적 영향: 본 연구 결과는 이 설계 방법론이 MR 수술 내비게이션 마커 개발을 위한 유효한 참조 모델이 될 수 있음을 보여주며, 이는 HMD 시스템 특유의 "주의력 전환(attention shift)" 및 동적 참조 프레임으로 인한 등록 오차를 줄일 수 있다.

저자들은 마커의 이중 모드 인식 능력은 검증되었으나, 복잡한 수술 상황에서의 뼈 인식 및 상대적 포즈 전이를 포함한 전체 파이프라인은 향후 연구 과제로 남아 있다는 점을 언급하며 겸허한 어조를 유지했다. 현재 연구는 두 가지 영상 모드 하에서 마커의 인식 가능성을 검증하는 데 엄격히 집중하고 있다.