Virtual Intraoperative CT (viCT): Sequential Anatomic Updates for Modeling Tissue Resection Throughout Endoscopic Sinus Surgery

이 논문은 단안 내시경 비디오를 기반으로 한 딥러닝 기법을 활용하여 만성 부비동염 수술 중 실시간으로 조직 절제 상태를 반영하는 가상 수술 중 CT(viCT) 를 구축함으로써, 정적 영상에 의존하는 기존 내시경 부비동 수술의 한계를 극복하고 해부학적 변화를 정밀하게 추적할 수 있음을 입증했습니다.

핵심

1. 문제점: "오래된 지도"로 길을 찾는 것

지금까지 코 수술 (ESS) 을 할 때 의사들은 수술 전에 찍은 CT 스캔 사진을 참고했습니다. 하지만 이는 마치 여행을 가기 전에 찍은 지도를 들고 가는 것과 같습니다.

• 문제: 수술을 시작하면 코 안의 뼈와 조직이 잘려나가면서 모양이 변합니다. 그런데 의사들은 여전히 '수술 전의 옛날 지도'만 보고 있습니다.
• 결과: "여기까지 잘라야 하는데, 지도에는 아직 뼈가 있네?"라고 착각하거나, 반대로 "이미 다 잘랐는데 지도에는 아직 남아있네?"라고 헷갈려서 잘못된 부분을 남기거나 불필요하게 더 잘라내야 할 수도 있습니다.
• 현재의 대안: 수술 중간에 다시 CT 를 찍으면 정확한 지도를 얻을 수 있지만, 이 과정은 30~40 분이나 걸리고, 환자는 마취를 더 오래 해야 하며 방사선도 추가로 쬐게 됩니다. 그래서 수술 중에는 거의 쓰지 않습니다.

2. 해결책: viCT (가상 수술 중 CT)

이 논문에서 개발한 **viCT(Virtual Intraoperative CT)**는 **"수술 중 카메라로 본 모습을 실시간으로 지도에 덧입히는 기술"**입니다.

🎮 비유: '포켓몬 고'나 '게임 지도' 업데이트

이 기술은 마치 게임에서 캐릭터가 이동하면서 주변 지형이 실시간으로 변하는 것과 같습니다.

1. 카메라로 촬영 (단안 카메라): 의사는 수술 중 코 안을 비추는 일반 내시경 (하나의 렌즈) 으로 영상을 찍습니다.
2. AI 가 3D 로 재구성 (NeRF): 이 2D 영상을 AI 가 분석해서, 마치 3D 게임을 하듯 실제 크기의 3D 공간을 만들어냅니다. (마치 한 장의 사진만으로도 3D 모델을 만드는 마법 같은 기술입니다.)
3. 지도와 합치기 (등록): 이렇게 만든 3D 모델을 수술 전 CT 지도와 정확히 맞춰줍니다.
4. 실시간 삭제 (업데이트): "아, 이 부분은 수술로 잘라냈구나!"라고 AI 가 판단하면, 수술 전 CT 지도에서 그 부분을 지워버립니다.
   • 결과: 의사들은 수술 중에도 CT 스캔 화면을 보는데, 그 화면 속의 뼈와 조직이 실제 수술 진행 상황에 맞춰 사라진 모습으로 보입니다.

3. 왜 이것이 획기적인가요?

• 🚫 추가 장비 불필요: 별도의 추적 장비나 거대한 기계를 수술실에 가져올 필요가 없습니다. 그냥 내시경 카메라만 있으면 됩니다.
• ⏱️ 시간 절약: 수술 중간에 CT 를 찍을 필요 없이, 수술을 멈추지 않고도 실시간으로 "지금까지 얼마나 잘라냈는지"를 확인할 수 있습니다.
• 🎯 정밀도: 실험 결과, 이 기술이 만들어낸 지도와 실제 수술 후 찍은 CT 를 비교했을 때, 1 밀리미터 (머리카락 굵기 정도) 미만의 오차만 있었습니다. 이는 매우 정확한 수준입니다.

4. 요약: 어떤 혜택을 주나요?

이 기술은 의사에게 **"수술 중에도 최신 버전의 지도"**를 제공합니다.

• 잘못된 수술 방지: "아직 잘라야 할 부분이 남아있네?"를 정확히 파악하여 재수술 (Revision Surgery) 을 줄여줍니다.
• 안전한 수술: 불필요하게 건강한 조직을 잘라내지 않게 도와줍니다.
• 간편함: 복잡한 장비 없이 내시경 영상만으로 가능하므로, 병원에서도 쉽게 도입할 수 있습니다.

결론

이 연구는 **"수술 중에도 실시간으로 변하는 코 안의 모습을 CT 화면처럼 똑똑하게 보여주는 AI 기술"**을 개발했습니다. 마치 수술실 안에 실시간 업데이트되는 3D 내비게이션이 생긴 것과 같아서, 환자는 더 안전하고 정확한 수술을 받을 수 있게 될 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 만성 부비동염 (CRS) 과 수술 실패: 만성 부비동염은 미국 성인의 약 12.5% 에 영향을 미치며, 약물 치료에 반응하지 않는 경우 내시경 부비동 수술 (ESS) 이 주된 치료법입니다. 그러나 수술 후 재발 및 재수술이 15~20% 에서 발생하며, 이는 주로 불완전한 절제 (Incomplete dissection) 때문입니다.
• 기존 이미지 유도 수술 (IGS) 의 한계: 현재 상용화된 IGS 시스템 (Stryker, Medtronic 등) 은 수술 중 실시간으로 수술 도구나 내시경 팁의 위치를术前 CT(pCT) 에 매핑해줍니다. 하지만 절제된 조직을 반영하여 CT 데이터를 업데이트하지 않습니다.
  • 수술사는 수동적으로 절제 경계를 추론해야 하므로 수술 시간이 길어지고, 등록 오차 (Registration drift) 가 발생할 수 있습니다.
  • 보고된 추적 오차는 2mm 를 초과할 수 있어, 좁은 부비동 해부학적 구조에서 중요한 임상적 오차를 유발합니다.
• 수술 중 CT(iCT) 의 제한점: 수술 중 CT 는 해부학적 정확도가 가장 높지만, 30~40 분의 수술 중단, 마취 시간 연장, 비용 증가, 방사선 노출 등의 문제로 인해 실제 수술 중에는 거의 사용되지 않습니다.

2. 방법론 (Methodology)

이 연구는 **가상 수술 중 CT(viCT)**라는 새로운 프레임워크를 제안하며, 단일 눈 (Monocular) 내시경 비디오를 사용하여 수술 중 3D 재구성을 생성하고 이를术前 CT 에 순차적으로 업데이트합니다.

A. 3D 재구성 (3D Reconstruction)

• 깊이 지도 감독 NeRF (Depth-supervised NeRF):
  • 단일 눈 내시경 비디오 프레임을 입력으로 사용하여 메트릭 스케일 (Metric scale) 이 적용된 3D 기하학을 생성합니다.
  • 가상 스테레오 합성 (Virtual Stereo Synthesis): 물리적 스테레오 내시경이 없으므로, 학습된 NeRF 내에서 새로운 스테레오 파트너 뷰를 최적화하여 생성합니다. 이를 통해 시차 (Disparity) 를 추정하고 깊이 지도를 복원합니다.
  • 반복적 정제: 생성된 깊이 지도로 NeRF 를 다시 학습 (Depth-supervised NeRF) 하여 메트릭 스케일과 밀도를 정제합니다.

B. 등록 (Registration)

• 강체 등록 (Rigid Registration): 3D Slicer 를 사용하여 수술 중 3D 재구성 모델을术前 CT(pCT) 에 강체적으로 등록합니다.
• 랜드마크 기반: 나소전두부 (Nasofrontal beak), 중비갑개, 상악동 천장 등 안정적인 골 구조물을 랜드마크로 사용하여 정밀하게 정렬합니다.

C. viCT 업데이트 로직 (Virtual Intraoperative CT Updating)

• 레이 기반 볼륨occupancy 비교 (Ray-based Voxel Occupancy Comparison):
  • 术前 CT(pCT) 의 이진 마스크와 수술 중 재구성된 3D 메시 (STL) 를 기반으로 레이 (Ray) 를 투사하여 볼륨Occupancy 마스크를 생성합니다.
  • 절제된 조직 제거: pCT 마스크에는 존재하지만 재구성된 3D 모델에는 존재하지 않는 복셀 (Voxel) 을 '절제된 조직'으로 간주하여 제거합니다.
  • HU 값 보존: 제거된 조직의 복셀은 공기 (Air, -1000 HU) 값으로 재할당하고, 보존된 해부학적 구조는 원래의 HU 값을 유지합니다.
• 결과물: axial, coronal, sagittal 평면에서 직접 볼 수 있는 표준 DICOM 형식의 업데이트된 CT 볼륨을 생성합니다. 추가 하드웨어 없이 기존 pCT 그리드 내에서 작동합니다.

3. 주요 기여 (Key Contributions)

1. 하드웨어 없는 CT 형식 업데이트: 추가적인 추적 하드웨어 없이 단일 눈 내시경 비디오만으로 메트릭 스케일 3D 재구성을术前 CT 그리드에 매핑하여, 축/관/상하 평면의 viCT 시각화를 가능하게 합니다.
2. 레이 기반 볼륨 마스크 및 복셀 업데이트 규칙: 절제된 조직에 해당하는 pCT 영역을 삭제하고 변경되지 않은 해부학 구조를 보존하는 정교한 알고리즘을 제시합니다.
3. 다단계 시체 실험 검증: 4 개의 시체 표본과 4 단계의 수술 과정 (상악동 개구술, 전방 사골절제술, 후방 사골절제술 등) 을 통해, viCT 와 실제 수술 중 CT(Interval CT) 간의 높은 일치도를 입증했습니다.

4. 결과 (Results)

4 개의 시체 표본에 대한 실험 결과, viCT 업데이트는 실제 해부학적 변화와 매우 높은 정확도로 일치했습니다.

• 볼륨 유사성 (Volumetric Similarity):
  • Dice Similarity Coefficient (DSC): 0.88 ± 0.05
  • Jaccard Index: 0.79 ± 0.07
• 표면 기하학 정확도 (Surface Geometry):
  • 95% 하우스도르프 거리 (HD95): 0.69 ± 0.28 mm (서브밀리미터 수준)
  • Chamfer Distance: 0.09 ± 0.05 mm
  • 평균 표면 거리 (MSD): 0.11 ± 0.05 mm
  • RMSD: 0.32 ± 0.10 mm
• 정성적 평가: axial, coronal, sagittal 슬라이스에서 viCT 와 실제 수술 후 CT 간의 해부학적 구조가 매우 유사하게 재현됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: viCT 는 방사선 노출 없이, 수술 중단을 유발하지 않으면서도 수술 중 조직 제거의 진행 상황을 정량적이고 직관적인 CT 형식으로 제공합니다. 이는 불완전한 절제로 인한 재수술을 줄이고 수술 의사결정을 개선할 수 있는 잠재력을 가집니다.
• 기술적 혁신: 기존 IGS 시스템이 정적 (Static) 인术前 CT 에 의존하는 것과 달리, viCT 는 동적 (Dynamic) 으로 변화하는 해부학적 경계를 모델링합니다. 또한, 외부 추적 장비 없이 내시경 비디오만으로 메트릭 스케일 3D 모델을 생성하여 CT 와 통합한다는 점이 혁신적입니다.
• 향후 과제: 현재는 랜드마크 기반 수동 등록이 병목 현상이지만, 향후 자동 등록 (DeCA, ANTs 등 활용) 과 실시간 배포를 위한 연산 최적화, 그리고 실제 수술 환자 (Live cases) 에 대한 검증을 통해 임상 적용을 확대할 계획입니다.

이 연구는 내시경 부비동 수술의 정확성을 높이고, 불완전한 절제에 따른 재수술을 방지하기 위한 차세대 이미지 유도 수술 시스템의 가능성을 제시했습니다.