NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

이 논문은 단안 내시경 비디오를 기반으로 가변적인 생체 조직의 3D 재구성과 새로운 뷰 합성을 가능하게 하는 자기지도 학습 기반의 신경 방사선장 (NeRF) 프레임워크인 'NeRFscopy'를 제안합니다.

핵심

내시경 속 살아 움직이는 장기의 3D 마법: '네르프스코피 (NeRFscopy)' 이야기

이 논문은 의학 영상, 특히 **내시경 **(몸속을 들여다보는 카메라)으로 찍은 영상을 이용해, 살아 움직이는 장기 (조직) 의 3D 모델을 만드는 새로운 기술을 소개합니다.

기존의 방식은 마치 "카메라가 움직이는 동안 장기가 딱딱하게 고정되어 있다"고 가정하는 것이 많았어요. 하지만 우리 몸속 장기들은 숨을 쉴 때마다, 심장이 뛰 때마다, 혹은 의사가 만질 때마다 구부러지고 늘어나고 변형되죠. 이 복잡한 움직임을 3D 로 재현하는 것은 매우 어려운 일입니다.

이 연구팀이 개발한 **'네르프스코피 **(NeRFscopy)는 이 문제를 해결하기 위해 다음과 같은 아이디어를 사용합니다.

---

1. 핵심 비유: "살아 있는 점토와 변신하는 로봇"

이 기술을 이해하기 위해 두 가지 비유를 들어볼게요.

• 기존 방식의 문제점:
  내시경 영상을 3D 로 만들 때, 대부분의 기존 기술은 장기를 **"딱딱한 돌덩이"**로 간주했습니다. 하지만 장기는 돌이 아니라 **"살아 있는 점토"**처럼 계속 모양이 변합니다. 돌덩이로 만든 3D 모델에 점토처럼 움직이는 장기를 끼워 맞추려니, 이미지가 찌그러지거나 흐릿해지는 문제가 생깁니다.

• 네르프스코피의 해결책:
  이 기술은 장기를 **"변신하는 로봇"**처럼 다룹니다.

  1. **기본형 **(Canonical Field) 먼저 장기의 '가장 표준적인 모양'을 기억해 둡니다.
  2. **변형 능력 **(SE(3) Deformation Field) 그다음, 매 순간 장기가 어떻게 회전하고, 이동하고, 구부러지는지를 계산하는 '변형 지도'를 만듭니다.

  마치 레고 블록으로 장기를 조립했다고 상상해 보세요. 기존 기술은 레고 블록을 딱딱하게 붙여놓은 상태라면, 네르프스코피는 각 블록이 서로 연결된 유연한 관절을 가지고 있어, 장기가 움직일 때 자연스럽게 따라 움직이게 합니다.

2. 어떻게 작동할까요? (간단한 과정)

이 기술은 AI(인공지능)가 스스로 학습하는 방식입니다.

1. 단일 카메라 영상 입력: 내시경 카메라로 찍은 일반 비디오 (한쪽 눈으로 찍은 영상) 를 넣습니다.
2. **깊이 **(Depth) AI 는 먼저 영상의 각 픽셀이 얼마나 멀리 있는지 (깊이) 를 추정합니다. 마치 안경을 써서 입체감을 느끼는 것처럼요.
3. 살아 있는 3D 모델 구축:
   • AI 는 "이 장기가 지금 이 모양으로 변했다"는 규칙을 찾아냅니다.
   • 이때, **빛의 반사 **(Specularity)나 **가려짐 **(Occlusion) 같은 방해 요소도 스스로 보정합니다. (예: 장기에 물기가 있어 빛이 반사되어도, AI 는 "아, 이건 물기일 뿐이고 장기는 여기 있구나"라고 판단합니다.)
4. **새로운 시점 **(Novel View) 학습이 끝나면, 카메라가 실제로 찍지 않은 새로운 각도에서도 장기를 3D 로 볼 수 있게 됩니다. 마치 3D 안경을 끼고 장기를 빙빙 돌며 관찰하는 것과 같습니다.

3. 왜 이것이 중요한가요?

이 기술이 실용화되면 의사와 환자 모두에게 큰 도움이 됩니다.

• 정확한 진단: 종양이나 병변의 실제 크기와 모양을 3D 로 정밀하게 측정할 수 있습니다. (예: "이 종양이 2cm 인가, 3cm 인가?"를 2D 평면이 아닌 3D 로 확인)
• 수술 계획: 수술 전에 환자의 장기 모양을 3D 로 미리 재현해 두면, 의사는 "어디를 잘라야 할지"를 더 정확하게 계획할 수 있습니다.
• 치료 후 비교: 수술 전후의 장기를 같은 각도에서 비교하여, 병이 나아졌는지, 다시 커졌는지를 정밀하게 추적할 수 있습니다.

4. 실험 결과: 얼마나 잘 하나요?

연구팀은 실제 심장 수술 (TECAB), 폐 절제술, 기관지 내시경 등 다양하고 어려운 상황에서 이 기술을 테스트했습니다.

• 결과: 기존에 있던 다른 최신 기술들보다 화질이 더 선명하고, 3D 재현이 더 정확했습니다.
• 특이점: 장기가 심하게 구부러지거나, 빛이 반사되거나, 카메라가 흔들리는 상황에서도 잘 견뎌냈습니다.
• 한계: 아직 실시간으로 처리하는 속도는 느리지만 (초당 0.14 프레임), 정확도를 최우선으로 두었기 때문에, 앞으로 속도를 높일 계획이라고 합니다.

요약

네르프스코피는 "살아 움직이는 장기"를 3D 로 재현하기 위해, AI 가 장기의 변형을 스스로 이해하고 따라가는 기술입니다.

마치 유연한 점토를 AI 가 완벽하게 이해하여, 어떤 각도에서도 그 점토의 모양을 3D 로 완벽하게 복원해 내는 마법과 같습니다. 이 기술은 앞으로 의사가 환자의 몸속을 더 명확하게 보고, 더 정확한 치료를 할 수 있도록 돕는 '디지털 헬스케어'의 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

내시경 (Endoscopy) 은 진단, 예후, 치료에 필수적인 의료 영상 기술입니다. 특히 단일 카메라 (Monocular) 를 사용하는 내시경은 소형화와 다용도성으로 인해 널리 사용되지만, 다음과 같은 도전 과제로 인해 3D 재구성에 어려움이 있습니다.

• 변형 가능한 조직 (Deformable Tissues): 생체 내 조직은 비강체 (Non-rigid) 이며 지속적으로 변형됩니다.
• 복잡한 환경: 조명 변화, 반사 (Specularities), 가림 (Occlusions), 질감 부족, 예기치 못한 카메라 움직임, 모션 블러 등이 발생합니다.
• 기존 방법의 한계:
  • 기존 SfM(Structure from Motion) 기반 방법은 명시적인 대응점 (Correspondence) 과 운동/변형에 대한 사전 가정 (Prior) 이 필요하며, 비강체 문제에서는 본질적으로 잘못 정의된 (Ill-posed) 문제가 됩니다.
  • 최근의 신경 방사선장 (NeRF) 및 3D Gaussian Splatting 방법은 주로 강체 (Rigid) 장면을 가정하거나, 카메라 보정을 위해 SfM 이 필요하여 생체 내 변형 조직에는 직접 적용하기 어렵습니다.

따라서, 사전 지식 (Template 또는 사전 훈련된 모델) 없이 단안 (Monocular) 비디오만으로 변형되는 생체 조직의 3D 재구성과 새로운 시점 합성 (Novel View Synthesis) 을 수행할 수 있는 범용적이고 강건한 방법론이 필요합니다.

2. 방법론 (Methodology: NeRFscopy)

저자들은 NeRFscopy라는 자기지도학습 (Self-supervised) 파이프라인을 제안합니다. 이 방법은 변형 가능한 내시경 조직을 모델링하기 위해 다음과 같은 핵심 구성 요소를 통합합니다.

A. 기본 아키텍처

• 입력: 보정된 단일 카메라 RGB 비디오.
• 가정: 카메라의 강체 운동은 0 이라고 가정하여 (조직의 비강체 변형에 집중), 조직의 변형만 모델링합니다.
• 구조:
  1. Canonical Radiance Field ($F_\Theta$): 변형이 없는 기준 공간 (Canonical Space) 에서의 3D 형상과 색상을 표현하는 MLP.
  2. Time-dependent Deformation Field ($G_\Phi$): 시간 $t$에 따라 기준 공간의 점을 현재 프레임의 점으로 매핑하는 변형 필드.

B. SE(3) 변형 필드 (Key Innovation)

기존의 단순한 변위 필드 (Displacement field) 는 각 점마다 다른 이동 벡터를 계산하여 복잡한 회전과 변형을 동시에 표현하는 데 비효율적입니다. NeRFscopy 는 SE(3) (Special Euclidean group) 변형 필드를 도입합니다.

• 밀집된 SE(3) 인코딩: 각 점 $x$와 시간 $t$에 대해, 나사 축 (Screw axis) $S=(\hat{a}, \hat{b})$를 통해 강체 변환 (회전 $R$과 이동 $p$) 을 학습합니다.
• 장점: 단순한 변위보다 적은 파라미터로 복잡한 회전과 병진 운동을 효율적으로 표현하며, 조직의 물리적 변형을 더 정확하게 포착합니다.

C. 심층 학습 및 정규화 (Loss Functions)

모델은 자기지도학습 방식으로 최적화되며, 다음과 같은 손실 함수들을 결합합니다:

1. Photometric Loss ($L_C$): 렌더링된 이미지와 실제 관측된 이미지 간의 색상 차이 최소화.
2. Depth Loss ($L_D$): 사전 훈련된 단안 깊이 추정 모델 (예: Depth-Anything) 로부터 얻은 깊이 지도와 예측 깊이 간의 차이 최소화.
3. Jacobian Regularization ($L_J$): 변형 필드의 야코비안 행렬 고유값의 로그를 0 으로 수렴하게 하여 국소적인 변형을 강제하고 비강체 운동의 영향을 줄임.
4. Depth Gradient Regularization ($L_g$): 깊이 지도의 불연속성을 입력 이미지의 에지와 유사하게 유지.
5. Depth Smoothness Loss ($L_s$): 경계 영역을 제외하고 인접 픽셀의 깊이를 부드럽게 만듦.
6. Temporal Total Variation ($L_{tv}$): 연속된 프레임 간의 변형 필드 차이를 최소화하여 시간적 일관성 확보.

3. 주요 기여 (Key Contributions)

1. 범용적인 자기지도학습 파이프라인: 내시경 비디오의 변형 조직을 위한 최초의 NeRF 기반 단일 시점 3D 재구성 및 새로운 시점 합성 방법론 제안.
2. SE(3) 변형 필드 도입: 단순 변위 필드 대신 SE(3) 변환을 사용하여 조직의 복잡한 회전 및 병진 운동을 효율적이고 정확하게 모델링.
3. 사전 지식 불필요: 템플릿이나 사전 훈련된 3D 모델 없이, 오직 데이터와 정교한 정규화 항 (Regularization terms) 만을 사용하여 3D 암시적 모델을 학습.
4. 깊이 추정 활용: 사전 훈련된 단안 깊이 추정기를 활용하여 깊이 정보를 초기화하고 정규화함으로써 재구성 정확도 향상.

4. 실험 결과 (Experimental Results)

저자들은 TECAB(심장 수술), 폐 절제술, 기관지 내시경 등 다양한 실제 생체 내 (In-vivo) 비디오 데이터셋과 EndoNeRF 데이터셋을 사용하여 평가했습니다.

• 정량적 평가:
  • PSNR, SSIM, LPIPS 지표에서 기존 방법 (EndoNeRF, EndoSurf, LerPlane-32k, EndoGaussian 등) 보다 일관되게 우수한 성능을 보였습니다.
  • 특히 EndoNeRF 데이터셋에서 PSNR 37.204, LPIPS 0.054 를 기록하여 SOTA(State-of-the-Art) 를 달성했습니다.
• 깊이 추정기 분석: DPT, IID-SfmLearner, Depth-Anything 중 Depth-Anything을 사용할 때 시각적으로 가장 디테일하고 정확한 결과를 얻었습니다.
• Ablation Study:
  • Gradient 와 Smoothness 항을 추가하면 베이스라인보다 성능이 향상됨.
  • Temporal Total Variation ($L_{tv}$) 항은 일부 장면에서 과도한 제약으로 인해 성능이 저하되기도 했으나, 전체적으로는 시간적 일관성을 제공함.
• 시각적 결과:
  • 입력 비디오에서 볼 수 없었던 새로운 시점 (Novel Views) 을 고품질로 합성 가능.
  • 재구성된 3D 형상이 물리적으로 타당하며 조직의 변형을 자연스럽게 표현.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 수술 중 3D 구조 시각화, 결절 (Nodule) 의 정확한 형태 및 크기 측정, 수술 후 재검사를 위한 새로운 시점 제공 등을 통해 진단 정확도와 치료 계획을 개선할 수 있습니다.
• 기술적 의의: 내시경과 같은 복잡한 비강체 환경에서 NeRF 를 성공적으로 적용한 사례로, 기존 강체 가정을 깨고 생체 조직의 동적 특성을 효과적으로 모델링하는 새로운 방향을 제시합니다.
• 향후 과제: 현재는 카메라 운동을 무시하고 조직 변형에만 집중했으나, 향후 카메라 운동까지 함께 추정하는 방향으로 연구를 확장할 계획입니다. 또한, 현재 처리 속도 (0.14 FPS) 는 실시간이 아니므로 효율성 개선이 필요합니다.

결론적으로 NeRFscopy는 내시경 영상의 3D 이해를 혁신하여, 의료진이 더 정확한 진단과 수술을 수행할 수 있도록 돕는 강력한 도구로 평가됩니다.