FoundationPose-Initialized 3D-2D Liver Registration for Surgical Augmented Reality

이 논문은 유한 요소 모델 대신 비강성 ICP 알고리즘을 활용하여 외과적 증강 현실을 위한 경량화된 3D-2D 간 정합 파이프라인을 제안하고, 실제 환자 데이터에서 임상적으로 유의미한 정확도를 입증했습니다.

핵심

이 논문은 복강경 간 수술에서 의사가 암이나 혈관을 더 정확하게 찾을 수 있도록 도와주는 증강현실 (AR) 기술에 대한 연구입니다.

쉽게 말해, "의사가 수술 중 간을 볼 때, 마치 스마트폰 내비게이션이 도로 위에 길을 표시해주듯, 환자의 간 위에 3D 지도를 겹쳐서 보여주는 기술"을 개발했다는 이야기입니다.

이 기술이 왜 중요하고, 어떻게 작동하는지 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: "안개 낀 밤에 지도를 보는 것"

간 수술은 배를 크게切开 (절개) 하지 않고 작은 구멍으로 카메라를 넣어 하는 '복강경 수술'입니다.

• 어려움: 카메라로 보이는 간 표면은 아주 작고, 간은 숨을 쉬거나 수술 도구가 닿으면 말랑말랑하게 변형됩니다. 마치 젤리처럼요.
• 기존 방식: 의사는 수술 전 CT 스캔으로 만든 3D 간 지도를 가지고 있는데, 실제 수술 중의 간 모양이 변형되어 있어서 지도와 실제 간을 맞추는 (등록, Registration) 일이 매우 어렵습니다. 기존 기술들은 주로 간 윤곽선만 보고 맞추려다 보니, 빛이나 모양이 조금만 달라져도 길을 잃기 일쑤였습니다.

2. 해결책: "새로운 나침반과 유연한 점토"

연구팀은 이 문제를 해결하기 위해 두 가지 혁신적인 방법을 섞었습니다.

① 첫 단계: FoundationPose (정밀한 나침반)

• 비유: 처음에 지도를 어디에 붙일지 대략적으로 잡는 작업입니다.
• 기존 방식: 간 윤곽선 (모양) 만 보고 대충 맞추려다 보니 빗나가기 쉬웠습니다.
• 새로운 방식: 연구팀은 **'FoundationPose'**라는 최신 AI 기술을 가져와서, 간 모양뿐만 아니라 **깊이 정보 (Depth Map)**까지 함께 보게 했습니다.
  • 비유: 마치 안개 낀 밤에 거리감까지 알려주는 레이저 나침반을 든 것과 같습니다. "저 간은 카메라에서 10cm 떨어져 있고, 왼쪽이 더 가깝구나"라고 AI 가 정확히 감지해서, 지도를 거의 완벽하게 초기 위치로 맞춰줍니다.

② 두 번째 단계: NICP (유연한 점토)

• 비유: 지도를 대략 붙인 후, 실제 간 (젤리) 이 변형된 모양에 맞춰 지도를 살짝 늘리고 구부리는 작업입니다.
• 기존 방식: 간을 변형시키려면 '유한요소해석 (FEA)'이라는 복잡한 물리 시뮬레이션을 사용했는데, 이는 컴퓨터가 너무 무겁고 간마다 다른 '단단함'을 계산해야 해서 매우 느리고 어려웠습니다.
• 새로운 방식: 연구팀은 대신 NICP라는 알고리즘을 썼습니다.
  • 비유: 마치 점토를 손으로 직접 주물러서 실제 간 모양에 딱 맞게 변형시키는 것처럼, 복잡한 물리 계산 없이도 빠르고 정확하게 지도를 구부려 맞춥니다.

3. 결과: "정확한 길 안내"

이 두 단계를 합친 결과, 실제 환자 데이터에서 **평균 8.52mm(약 1cm 미만)**의 오차만 발생했습니다.

• 기존 방법들은 1~3cm 이상 오차가 나거나, 특정 환자 (간이 심하게 비틀어진 경우) 에서는 아예 실패하기도 했습니다.
• 이 새로운 방법은 간이 변형되더라도 지도가 간을 따라 움직이므로, 암이 있는 정확한 위치를 의사가 눈으로 확인할 수 있게 해줍니다.

4. 왜 이것이 중요한가요?

• 간단함: 무거운 물리 계산 없이도 빠르고 정확하게 작동합니다.
• 안전함: 수술 중 암을 놓치는 실수를 줄여주어, 환자의 안전을 높여줍니다.
• 실용성: 복잡한 장비 없이 일반적인 복강경 카메라로도 작동할 수 있어 실제 병원에서 쓰기 좋습니다.

요약

이 논문은 **"간 수술 중 변형되는 간 위에 3D 지도를 정확하게 붙여주는 기술"**을 개발했습니다.
기존의 복잡한 물리 계산 대신, AI 가 깊이를 잘 파악하게 하고 (FoundationPose), 간을 점토처럼 유연하게 변형시키는 (NICP) 방식을 써서, 빠르고 정확하게 의사를 도와주는 시스템을 만들었습니다. 이는 마치 스마트 내비게이션이 실시간으로 도로의 변화를 감지하고 길을 안내하는 것과 같은 원리입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 복강경 간 수술에서 종양과 주요 혈관의 위치를 정확히 파악하는 것은 내부 구조가 직접 보이지 않아 매우 어렵습니다. 기존 초음파는 운영자 의존도가 높고 인지 부하를 증가시킵니다. 이를 해결하기 위해 증강 현실 (AR) 을 사용하여 수술 중 내시경 영상에 수술 전 CT 데이터를 오버레이하는 기술이 개발되고 있습니다.
• 핵심 문제:
  1. 변형 (Deformation): 간은 공복강 (pneumoperitoneum), 중력, 접촉 등에 의해 심하게 변형됩니다.
  2. 가시성 제한: 수술 중 간 표면의 일부만 보입니다.
  3. 기존 방법의 한계:
     • 기존 등록 (Registration) 파이프라인은 주로 윤곽선 (Contour) 에 의존하며, 이는 조명 조건과 조직 변형에 따라 모호할 수 있습니다.
     • 비강체 (Non-rigid) 정합을 위해 유한 요소 (FE) 모델을 사용하는 경우, 계산 비용이 높고 환자별 재료 특성 (경도 등) 에 대한 불확실성이 존재하여 엔지니어링 복잡도가 높습니다.
     • 단일 카메라 (Monocular) 는 깊이 (Depth) 정보를 제공하지 않아 깊이 모호성 (Depth ambiguity) 이 발생합니다.

2. 제안된 방법론 (Methodology)

저자들은 FoundationPose 기반의 초기화 및 NICP(Non-rigid Iterative Closest Point) 를 활용한 비강체 정합 파이프라인을 제안합니다.

가. 강체 초기화 (Rigid Initialization) - FoundationPose 활용

• 입력 데이터: 기존 윤곽선 (Contour) 및 마스크 외에 단안 깊이 맵 (Monocular Depth Map, Depth Anything V2 사용) 을 추가합니다.
• 아키텍처: FoundationPose 의 RefineNet 을 적응하여 환자별 네트워크를 구축합니다.
  • 입력: 윤곽선 맵, 간 전체 마스크 (기구 가시 영역 포함), 기구 가시 영역을 제외한 깊이 맵.
  • 학습 전략: 합성 데이터와 실제 데이터 간의 도메인 격차 (Domain Gap) 를 줄이기 위해 윤곽선, 마스크, 깊이 맵에 대한 다양한 증강 (확대/축소, 무작위 삭제, 기구 가림 시뮬레이션 등) 을 적용합니다.
  • 손실 함수 (Loss): 회전/이동을 별도로 계산하는 기존 MSE 대신, 3D 메쉬를 변환한 후 두 표면 간의 Surface MSE를 계산합니다.
• 추론 과정: 수동으로 주석된 윤곽선/마스크를 기준으로 초기 포즈를 예측하고, 이를 반복적으로 정제 (Iterative Refinement) 하여 최종 강체 포즈를 도출합니다.

나. 비강체 정합 (Non-rigid Registration) - NICP 및 CMA-ES

• 변형 모델링:
  • 기존 FE 모델의 계산 부하를 피하기 위해, 여러 변형된 간 메쉬를 NICP 로 정합한 후 주성분 분석 (PCA) 을 수행합니다.
  • 첫 10 개의 주성분 (Principal Components) 을 추출하여 저차원 변형 공간 (Subspace) 을 구성합니다.
• 최적화 알고리즘:
  • 렌더링된 모델 윤곽과 입력 라벨 마스크 간의 가중 하우사도프 거리 (Weighted Hausdorff Distance) 를 최소화합니다.
  • 하우사도프 거리는 미분 불가능하므로, CMA-ES (Covariance Matrix Adaptation Evolution Strategy) 라는 무작위, 무기울도 (Gradient-free) 최적화 알고리즘을 사용합니다.
  • 제약 조건: PCA 계수는 $[-1, 1]$ 범위로 제한하여 비현실적인 변형을 방지하고, 포즈 파라미터는 초기값으로부터 일정 범위 내에서만 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 깊이 정보 통합을 통한 강체 초기화 개선: 복강경 장면에서 FoundationPose 를 활용하여 간 상대 포즈를 회귀하며, 윤곽선만 사용하는 기존 방법보다 단안 깊이 맵을 통합함으로써 강체 초기화 정확도를 획기적으로 향상시켰습니다.
2. FE 모델 대체를 위한 경량화 파이프라인: FE 기반 변형 모델링의 계산 부하를 제거하고, NICP 와 CMA-ES 를 결합하여 비강체 정합을 수행합니다. 이는 그라디언트 기반 최적화보다 수렴성과 강건성이 뛰어나며, 엔지니어링 및 모델링 복잡도를 낮춥니다.
3. 임상적 유효성 검증: 실제 환자 데이터 (Rabbani et al. 데이터셋) 를 사용하여 임상적으로 유의미한 정확도를 달성함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 4 명의 환자 (Patient 1, 2, 3, 4) 의 복강경 영상 데이터 사용. (Patient 2 는 극심한 비틀림으로 인해 등록이 거의 불가능하여 분석에서 제외됨).
• 성능 지표 (Target Registration Error, TRE):
  • 기초 (FoundationPose + 깊이): 평균 오차 9.91 mm 달성. (기존 방법들보다 우수).
  • 강체 최적화 추가 시: 오히려 오차가 증가 (11.43 mm) 하는 현상 발생. 이는 초기 포즈가 이미 최적에 가까울 때, 깊이 정보 없이 윤곽선만 의존하는 최적화가 2D 이동이 3D 오차로 과대평가될 수 있기 때문으로 추정됨.
  • 비강체 최적화 추가 (최종 결과): 평균 오차 8.52 mm로 감소. 특히 Patient 1 의 경우 12.94 mm 에서 7.64 mm 로 크게 개선됨.
• 비교: 제안된 방법은 기존 유한 요소 (FE) 기반 방법이나 수동 초기화보다 정확도가 높거나 동등한 수준을 유지하면서 계산 효율성이 뛰어남.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의:
  • 깊이 정보의 유용성 증명: 절대적인 깊이 맵이 없더라도, 학습 기반 깊이 추정 네트워크로 생성된 상대적 깊이 맵이 간 수술 AR 의 정합 정확도를 높이는 데 결정적인 역할을 함을 입증했습니다.
  • FE 모델의 대안: 복잡한 생체 역학 모델링 없이도 NICP 와 통계적 형태 모델 (PCA) 을 결합하여 임상적으로 유효한 수준의 비강체 정합을 가능하게 했습니다.
• 임상적 가치:
  • 수술 중 실시간 (또는 준실시간) 업데이트가 가능하며, 첫 프레임 등록 후 추적기 (Tracker) 를 통해 이후 프레임의 지연을 최소화할 수 있습니다.
  • 종양 위치 파악에 필요한 10mm 미만의 등록 오차를 달성하여 수술 안전성과 정밀도를 높일 수 있는 잠재력을 보여줍니다.
• 한계 및 향후 과제:
  • Patient 2 와 같은 극단적인 변형 (비틀림) 사례에는 여전히 취약합니다.
  • 공개된 종양 수준의 정량적 검증 데이터셋이 부족하여 통계적 유의성에 한계가 있으며, 향후 팬텀 (Phantom) 실험을 통해 검증할 계획입니다.
  • NICP 는 표면 정합에 집중하므로 내부 종양 추적 정확도는 FE 모델에 비해 다소 낮을 수 있어, 향후 이를 보완할 전략이 필요합니다.

요약하자면, 이 논문은 FoundationPose 와 깊이 정보를 활용한 초기화, 그리고 NICP 기반의 경량 비강체 최적화를 결합하여, 기존 FE 모델의 복잡성을 줄이면서도 임상적으로 유효한 3D-2D 간 등록 정확도를 달성한 획기적인 연구입니다.