4D Monocular Surgical Reconstruction under Arbitrary Camera Motions

이 논문은 고정된 시점이나 스테레오 깊이 정보 없이도 임의의 카메라 운동이 포함된 단안 내시경 영상에서 변형 가능한 수술 장면을 고품질로 4 차원 재구성하는 새로운 프레임워크 'Local-EndoGS'를 제안하고, 점진적 윈도우 기반 표현과 정교한 초기화 전략을 통해 기존 최첨단 방법들의 한계를 극복함을 보여줍니다.

핵심

이 논문은 **"내시경으로 찍은 수술 장면을, 카메라가 이리저리 움직여도 3D 로 완벽하게 재현하는 새로운 기술"**에 대한 것입니다.

기존의 기술들은 카메라가 제자리에 있을 때만 잘 작동했는데, 이 새로운 방법 (Local-EndoGS) 은 카메라가 자유롭게 움직여도 수술 부위의 모양이 변하는 것을 정확하게 3D 로 만들어냅니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "움직이는 카메라와 변하는 몸속"

수술 중에는 환자의 숨결이나 심장 박동, 그리고 수술 기구의 움직임 때문에 몸속 조직이 계속 변형됩니다. 또한, 의사는 수술 부위를 보기 위해 내시경 (카메라) 을 이리저리 움직입니다.

• 기존 기술의 한계: 마치 **"고정된 카메라로 찍은 사진첩"**을 만드는 것과 비슷합니다. 카메라가 움직이거나 조직이 크게 변하면, 기존 기술은 "어? 이 부분이 어디지?"라며 혼란에 빠지거나, 3D 모델이 뭉개지거나 사라져버립니다. 특히 3D 입체 안경 (스테레오) 없이 단안 (한 눈) 카메라만 쓸 때는 더 어렵습니다.

2. 해결책 1: "장르별 앨범 나누기" (Progressive Window-based Representation)

이 기술은 긴 수술 영상을 한 번에 다 처리하려 하지 않습니다. 대신, 영상을 작은 조각 (윈도우) 으로 잘라냅니다.

• 비유: 긴 여행 영상을 한 번에 편집하려다 실패하는 대신, **"산책 구간", "산 정상 구간", "하산 구간"**으로 나누어 각각 따로 편집하는 것과 같습니다.
• 어떻게 작동하나요? 카메라가 움직이는 정도나 조직이 변하는 정도를 분석해서, 상황이 비슷한 구간끼리 묶습니다. 각 구간마다 별도의 3D 모델을 만들고, 그다음 다음 구간으로 넘어가며 모델을 이어 붙입니다. 이렇게 하면 카메라가 아무리 멀리 움직여도, 그 구간만의 3D 모델을 새로 만들어낼 수 있어 오래된 영상도 선명하게 재현됩니다.

3. 해결책 2: "초보 지도사 vs 전문가 가이드" (Coarse-to-Fine Initialization)

3D 모델을 처음 만들 때 (초기화), 정확한 3D 정보가 없으면 엉뚱한 모양이 만들어지기 쉽습니다. 기존 기술은 3D 입체 안경 (스테레오) 이나 정교한 측량 도구 (SfM) 가 있어야 시작할 수 있었습니다. 하지만 이 기술은 단안 카메라만으로도 시작합니다.

• 비유:
  1. 대략적인 지도 그리기 (Coarse): 먼저 "Track-Any-Point(TAP)"라는 최신 AI 를 이용해 영상 속 점들이 어떻게 움직이는지 쫓아갑니다. 마치 비행기에서 땅을 내려다보며 대략적인 지형도를 그리는 것처럼, 전체적인 윤곽과 크기를 먼저 잡습니다.
  2. 세밀한 수정하기 (Fine): 그다음, "깊이 추정 AI"를 이용해 흐릿한 부분을 보정합니다. 이때 이전 구간에서 얻은 정보를 다음 구간에 전달하여, 전체적인 크기가 일정하게 유지되도록 합니다. 마치 대략적인 초안을 그린 뒤, 전문가가 세부적인 디테일을 채워 넣는 과정과 같습니다.

4. 해결책 3: "물리 법칙 지키기" (Physics-Based Priors)

수술 중 조직은 찢어지거나 뚫리지 않는 한, 자연스러운 물리 법칙을 따릅니다. 갑자기 공중에 뜬다거나 비틀리는 일은 없죠.

• 비유: 3D 모델을 만들 때, **"인체 조직은 고무줄처럼 늘어나지만, 종이처럼 찢어지지 않는다"**는 규칙을 컴퓨터에 심어줍니다.
• 효과: 컴퓨터가 엉뚱한 방향으로 조직을 변형시키려 하면, 이 규칙이 "안 돼, 그렇게 움직이면 안 돼!"라고 잡아줍니다. 덕분에 재현된 3D 모델이 실제 수술 장면처럼 자연스럽게 움직입니다.

---

🌟 결론: 왜 이것이 중요한가요?

이 기술 (Local-EndoGS) 은 다음과 같은 혁신을 가져옵니다:

1. 자유로운 시점: 의사가 내시경을 자유롭게 움직여도 3D 모델이 무너지지 않습니다.
2. 단안 카메라 가능: 고가의 3D 내시경이 없어도, 일반적인 단안 내시경 영상으로 고품질 3D 모델을 만들 수 있습니다.
3. 실제와 같은 디테일: 조직의 주름, 빛 반사, 미세한 움직임까지 사실적으로 재현하여 수술 훈련, 가상 현실 (VR) 시뮬레이션, 수술 전 계획에 큰 도움을 줍니다.

한 줄 요약:

"이 기술은 카메라가 춤을 추고 조직이 변형되는 수술실에서도, 작은 조각을 하나씩 맞춰나가며 물리 법칙을 지켜가면, 흐릿한 2D 영상을 정교한 3D 입체 모델로 바꿔내는 마법 같은 방법입니다."

기술 요약

1. 문제 정의 (Problem Statement)

내시경 비디오를 기반으로 변형 가능한 수술 부위를 4D(3D 공간 + 시간) 로 재구성하는 것은 임상적으로 매우 중요하지만, 다음과 같은 주요 도전 과제가 존재합니다.

• 카메라 운동의 제약: 기존 최첨단 (SOTA) 방법들 (Implicit Neural Representations, 3D Gaussian Splatting 기반 등) 은 대부분 내시경이 고정된 상태 (Fixed Viewpoint) 를 가정합니다. 그러나 실제 수술 중에는 내시경이 조직 주변을 이동하거나 전진/후진하는 등 임의의 운동 (Arbitrary Camera Motion) 을 합니다. 이러한 큰 카메라 운동은 관측 공간과 기준 공간 (Canonical Space) 간의 대응 관계를 깨뜨려 재구성 실패나 품질 저하를 초래합니다.
• 단안 (Monocular) 데이터의 한계: 대부분의 수술 환경은 단안 내시경을 사용하며, 깊이 정보 (Depth) 가 부족합니다. 기존 방법들은 초기화 및 최적화를 위해 스테레오 깊이 정보나 정밀한 구조 운동 (SfM, COLMAP 등) 에 의존하는데, 단안 영상에서는 깊이 스케일 모호성 (Scale Ambiguity) 이 발생하고, 조직의 변형 및 낮은 텍스처로 인해 SfM 이 불안정하여 초기화가 어렵습니다.
• 물리적 타당성: 단순한 기하학적 재구성을 넘어, 실제 생체 조직의 물리적 운동 (변형, 회전 등) 을 반영한 타당한 재구성이 필요합니다.

2. 제안 방법: Local-EndoGS

이러한 문제를 해결하기 위해 저자들은 Local-EndoGS라는 새로운 4D 재구성 프레임워크를 제안합니다. 이 프레임워크는 3D 가우시안 스프래팅 (3D Gaussian Splatting, 3DGS) 을 기반으로 하며, 다음과 같은 핵심 기술로 구성됩니다.

2.1. 점진적 윈도우 기반 전역 장면 표현 (Progressive Window-based Global Scene Representation)

• 긴 시퀀스와 큰 카메라 운동을 처리하기 위해 입력 시퀀스를 **적응형 윈도우 (Adaptive Windows)**로 분할합니다.
• 카메라의 이동 거리 (이동/회전) 와 프레임 간 콘텐츠 변화 (RGB 차이) 를 분석하여 동적인 영역에는 작은 윈도우를, 정적인 영역에는 큰 윈도우를 할당합니다.
• 각 윈도우마다 별도의 **로컬 변형 가능한 장면 표현 (Local Deformable Scene Representation)**을 할당하여, 전역적인 단일 모델의 한계를 극복하고 긴 시퀀스에서도 확장성을 확보합니다.

2.2. 단안 시퀀스를 위한 coarse-to-fine 초기화 전략 (Coarse-to-Fine Initialization)

스테레오 깊이나 정확한 SfM 없이도 안정적인 초기화를 위해 다음과 같은 2 단계 전략을 사용합니다.

• Coarse Stage (대략적 단계):
  • TAP (Track-Any-Point) 모델 활용: 전통적인 특징점 매칭 (SIFT 등) 이 내시경 환경에서 실패하는 문제를 해결하기 위해, 사전 학습된 2D 비전 파운데이션 모델인 TAP 를 사용하여 프레임 간 밀집한 점 대응 (Dense Correspondence) 을 생성합니다.
  • 교차 윈도우 정보 전파 (Cross-Window Information Propagation): 이전 윈도우에서 최적화된 모델을 현재 윈도우의 초기값으로 활용하여 스케일 일관성을 유지합니다.
  • 삼각측량 (Triangulation) 을 통해 스케일 일관성을 가진 밀집 점 구름 (Point Cloud) 을 생성하여 3D 가우시안을 초기화합니다.
• Fine Stage (정밀 단계):
  • 오차 유도 영역 정제 (Error-Guided Region Refinement): 렌더링된 이미지와 실제 이미지 간의 오차가 큰 영역 (조직 경계, 반사 등) 을 식별합니다.
  • 단안 깊이 사전 지식 통합: 사전 학습된 단안 깊이 추정 네트워크의 출력을 렌더링된 깊이와 정렬 (Scale & Offset 보정) 하여, 초기화가 부정확한 영역의 기하학적 구조를 보정합니다.

2.3. 최적화 및 물리적 정규화 (Optimization & Physics-Based Regularization)

• 2D 추적 손실 (2D Tracking Loss): TAP 모델에서 추출한 장기 2D 픽셀 궤적 (Long-range 2D Pixel Trajectory) 을 사용하여 시간 축에서의 픽셀 일관성을 강제합니다.
• 물리적 운동 사전 지식 (Physical Motion Priors): 조직의 물리적 특성을 반영하기 위해 3 가지 손실 함수를 도입합니다.
  • 국소 강성 손실 (Local Rigidity): 인접한 가우시안의 변형을 유사하게 유지.
  • 국소 회전 유사성 손실 (Local Rotation Similarity): 인접 가우시안의 회전 변화를 부드럽게 유지.
  • 장기 국소 등거리 손실 (Long-term Local Isometry): 시간 경과에 따른 인접 가우시안 간 상대 거리를 보존.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 4D 재구성 프레임워크: 임의의 카메라 운동을 가진 단안 내시경 시퀀스에서 고품질 4D 재구성을 가능하게 하는 최초의 프레임워크 (Local-EndoGS) 입니다.
2. 강건한 초기화 전략: 스테레오 깊이 없이도 다중 뷰 기하, 교차 윈도우 정보, 단안 깊이 사전 지식을 통합하여 안정적인 스케일 일관성 초기화를 달성했습니다.
3. 물리적 타당성 향상: 장기 2D 궤적 제약과 물리적 운동 정규화를 도입하여 재구성된 변형의 정확성과 물리적 현실성을 높였습니다.
4. 포괄적인 평가: EndoNeRF, StereoMIS, EndoMapper 등 3 개의 공개 데이터셋에서 다양한 카메라 운동 조건을 테스트하여 기존 SOTA 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: EndoNeRF (고정 카메라), StereoMIS (조직 주변 이동), EndoMapper (전진 이동) 를 사용했습니다.
• 성능:
  • 외관 품질 (Appearance): PSNR, SSIM, LPIPS 지표에서 모든 데이터셋에서 기존 방법 (EndoNeRF, 3DGS 기반 변형 방법들 등) 보다 우월한 성능을 보였습니다. 특히 카메라가 움직이는 StereoMIS 데이터셋에서 재구성 품질 저하가 거의 없었습니다.
  • 기하학적 정확도 (Geometry): 깊이 예측 오차 (Abs Rel, RMSE 등) 가 기존 방법 대비 크게 감소했습니다 (예: StereoMIS Sequence1 에서 Abs Rel 68.5% 개선).
  • 효율성: 훈련 시간은 3DGS 기반 방법들과 유사하게 빠르며 (약 2~8 분), 렌더링 속도는 실시간 (300+ FPS) 을 달성했습니다.
• Ablation Study: 윈도우 분할, TAP 기반 초기화, 교차 윈도우 정보 전파, 물리적 정규화 등 각 모듈이 성능에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 단안 내시경 영상과 임의의 카메라 운동이라는 실제 임상 환경의 제약 조건 하에서도 고품질의 4D 수술 재구성을 가능하게 하는 획기적인 접근법을 제시했습니다.

• 임상적 가치: 가상/증강 현실 (VR/AR) 기반 수술 시뮬레이션, 훈련, 수술 전 계획 수립, 환자별 해부학적 구조 분석 등에 직접적으로 활용될 수 있습니다.
• 기술적 혁신: 기존 방법들이 가진 "고정 카메라" 및 "스테레오 의존성"이라는 한계를 극복하고, 3DGS 의 속도와 품질 장점을 변형 가능한 장면에 적용하는 새로운 패러다임을 제시했습니다.

저자들은 향후 3D 가우시안의 표면 표현 한계 개선, 실시간 처리 속도 향상, 조직 절단/찢어짐과 같은 위상 변화 (Topological Changes) 처리 등을 통해 시스템을 더욱 발전시킬 계획임을 밝혔습니다.