NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting

본 논문은 내시경 영상의 연성 조직 변형으로 인한 모호성을 해결하기 위해 변형 확률을 학습 가능한 3D 가우스 분포에 통합하고 베이지안 자기지도 학습 전략을 적용한 NRGS-SLAM 을 제안하여, 기존 방법 대비 카메라 자세 추정 정확도와 재구성 품질을 획기적으로 향상시켰습니다.

핵심

1. 문제 상황: "움직이는 진흙탕 속의 나침반"

일반적인 내비게이션 (SLAM) 은 벽이나 건물이 고정되어 있는 (단단한) 환경을 가정합니다. 하지만 내시경이 들어가는 인체 내부는 다릅니다.

• 호흡을 하거나,
• 수술 도구가 조직을 누르거나,
• 심장이 뛰면

인체 조직은 진흙처럼 끊임없이 변형됩니다.

비유:
상상해 보세요. 당신은 진흙탕 (인체 조직) 위에 서 있고, 그 진흙탕은 숨을 쉴 때마다 모양이 바뀌고 있습니다. 이때 당신은 진흙탕이 움직여서 내 위치가 바뀐 건지, 아니면 내가 걸어서 위치가 바뀐 건지 구분하기가 매우 어렵습니다. 기존 기술들은 이 두 가지를 혼동해서 길을 잃거나 (추적 실패), 진흙탕의 모양을 제대로 그려내지 못했습니다.

2. 해결책: NRGS-SLAM 의 마법

이 연구팀은 **"3D 가우시안 스플래팅 (3D Gaussian Splatting)"**이라는 최신 기술을 기반으로, 진흙탕 속에서도 길을 찾을 수 있는 시스템을 만들었습니다.

핵심 아이디어 1: "변형 감지 안경" (Deformation-Aware Map)

기존 기술은 모든 것을 똑같이 취급했지만, 이 시스템은 각 작은 점 (3D 가우시안) 에 '변형될 확률'이라는 라벨을 붙입니다.

• 파란색 점 (단단한 조직): 변하지 않는 뼈나 단단한 조직은 안정적인 기준점으로 사용합니다.
• 빨간색 점 (부드러운 조직): 변형이 심한 장기나 살은 움직임을 허용합니다.

비유:
진흙탕 속에 단단한 돌멩이와 부드러운 진흙이 섞여 있다고 칩시다. 이 시스템은 "아, 이 부분은 돌멩이니까 움직이지 않는 거고, 저 부분은 진흙이니까 움직이는 거구나"라고 스스로 판단합니다. 그래서 카메라가 움직이는지, 진흙이 움직이는지 정확히 구분해냅니다.

핵심 아이디어 2: "스스로 배우는 선생님" (Bayesian Self-Supervision)

수술 중에는 "어디가 변형되었는지"를 알려주는 정답 (라벨) 이 없습니다. 그래서 시스템은 스스로 학습합니다.

• "만약 이 부분이 움직인다면 사진이 더 잘 맞는가?"
• "아니면 이 부분이 고정되어 있고 카메라가 움직인다면 사진이 더 잘 맞는가?"

이렇게 수천 번의 시뮬레이션을 통해 "아, 이 부분은 변형 확률이 높구나"라고 스스로 배워갑니다.

3. 시스템의 작동 원리 (3 단계)

이 시스템은 크게 세 가지 일을 동시에 합니다.

1. 카메라 추적 (Tracking):

   • 변형이 심한 (빨간색) 부분은 무시하고, 변형이 적은 (파란색) 단단한 부분을 기준으로 카메라의 위치를 계산합니다.
   • 비유: 진흙탕에서 길을 찾을 때, 미끄러운 진흙 위를 보지 않고 단단한 돌멩이를 보고 방향을 잡는 것과 같습니다.

2. 변형 업데이트 (Deformation Update):

   • 카메라 위치를 잡은 후, 남은 오차를 통해 진흙탕이 어떻게 찌그러졌는지를 계산합니다.
   • 비유: "내가 움직인 게 아니라, 땅이 찌그러져서 내 위치가 달라진 것 같네"라고 땅의 모양을 수정합니다.

3. 지도 확장 (Mapping):

   • 새로운 장면을 만나면 3D 지도를 계속 넓히고, 불필요한 정보는 정리하며 선명한 3D 모델을 만들어냅니다.
   • 비유: 진흙탕을 걷다가 새로운 구역을 만나면, 그 부분도 똑같이 '돌멩이'와 '진흙'으로 분류해서 지도에 추가합니다.

4. 왜 이것이 중요한가요? (결과)

기존 기술들과 비교했을 때 이 시스템은 놀라운 성과를 냈습니다.

• 정확도: 카메라가 어디에 있는지 오차가 50% 이상 줄어듭니다. (진흙탕 속에서도 길을 잘 찾습니다.)
• 화질: 재현된 3D 영상이 매우 선명하고 사실적입니다. (진흙탕의 주름까지 생생하게 보입니다.)
• 실용성: 수술 중 실시간으로 조직의 변형을 추적할 수 있어, 수술 로봇의 정밀도를 높이고 수술 전/후 비교에 큰 도움을 줄 수 있습니다.

요약

이 논문은 **"인체 내부처럼 끊임없이 변형되는 환경에서도, 카메라가 길을 잃지 않고 정교한 3D 지도를 그릴 수 있는 방법"**을 개발했습니다.

**핵심은 "무엇이 움직이고 무엇이 고정되어 있는지 스스로 구분하는 안경"**을 3D 지도에 입혔다는 점입니다. 덕분에 수술 로봇은 더 정확하게 움직일 수 있게 되었고, 의사는 인체 내부의 미세한 변화까지 선명하게 볼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 내시경 환경의 비강체성 (Non-rigidity): 기존 비전 기반 SLAM(V-SLAM) 은 환경이 강체 (rigid) 라는 가정을 전제로 합니다. 그러나 내시경 수술 중에는 장기 및 연조직의 생리적 운동이나 수술 도구의 접촉으로 인해 지속적인 비강체 변형이 발생합니다.
• 결합 모호성 (Coupling Ambiguity): 단안 카메라에서 관찰된 픽셀의 변화는 카메라의 자기 운동 (ego-motion) 과 조직의 고유 변형 (intrinsic deformation) 이 복합적으로 작용한 결과입니다. 이 두 요소를 명확히 분리하지 못하면 추적 오차가 누적되고 (drift), 재구성 품질이 저하됩니다.
• 기존 방법의 한계:
  • 기존 비강체 SLAM 은 메시 (mesh) 나 희소 점구름 (sparse point cloud) 과 같은 표현을 사용하여 재구성의 시각적 충실도 (fidelity) 가 낮습니다.
  • 카메라 운동과 장면 변형을 효과적으로 분리 (decouple) 하는 메커니즘이 부족하여 최적화 과정에서 오분류가 자주 발생합니다.
  • 최근의 가변형 렌더링 (differentiable rendering) 기반 SLAM 은 주로 정적 장면을 가정하거나, RGB-D 입력을 필요로 하여 단안 내시경 환경에 적용하기 어렵습니다.

2. 제안 방법론 (Methodology: NRGS-SLAM)

저자들은 NRGS-SLAM을 제안하며, 이는 3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 을 기반으로 한 단안 비강체 SLAM 시스템입니다. 시스템은 크게 네 가지 핵심 모듈로 구성됩니다.

A. 변형 인식 3D 가우시안 맵 (Deformation-Aware 3D Gaussian Map)

• 학습 가능한 변형 확률 (Learnable Deformation Probability): 각 3D 가우시안 원시 (primitive) 에 $w_d \in [0, 1]$ 범위의 변형 확률 속성을 추가합니다.
  • $w_d \to 0$: 강체 영역 (변형 없음).
  • $w_d \to 1$: 비강체 영역 (변형 발생).
• 베이지안 자기지도 학습 (Bayesian Self-Supervision): 실제 변형 레이블이 없는 내시경 환경에서, 다중 뷰 관측을 기반으로 가우시안의 운동 모드를 '강체' 또는 '비강체'로 분류하는 사후 확률을 추정합니다. 이를 가우시안 속성 학습의 의사 정답 (pseudo-ground-truth) 으로 활용하여 외부 레이블 없이 스스로 보정합니다.
• 시간적 변형 필드: 1D 가우시안 기저 함수 (Gaussian basis functions) 를 사용하여 시간 축에서의 변형을 모델링하며, 변형 확률에 따라 변형이 적용되는 정도를 소프트 게이트 (soft gating) 합니다.

B. 변형 추적 모듈 (Deformable Tracking)

• 강체 우선 정밀 추적 (Coarse-to-Fine Pose Estimation):
  1. ** coarse 단계:** 변형 확률 지도 ($M_{def}$) 를 기반으로 변형이 큰 픽셀을 필터링하고, 강체 영역의 3D-2D 대응점을 사용하여 PnP 문제로 초기 카메라 포즈를 추정합니다.
  2. fine 단계: 광학적 일관성 (photometric) 과 기하학적 제약 (geometric priors) 을 결합하여 포즈를 정교화합니다. 이때 변형 확률이 높은 영역의 가중치를 낮춰 카메라 운동 추정을 안정화합니다.
• 프레임 단위 변형 업데이트: 추정된 포즈를 기반으로 현재 프레임의 변형 필드만 효율적으로 업데이트합니다. 모든 파라미터를 최적화하는 대신, 가우시안의 변형 확률이 임계값을 넘는 경우에만 잔차 (residual) 를 최적화하여 계산 효율성을 높입니다.

C. 변형 매핑 모듈 (Deformable Mapping)

• 점진적 맵 확장: 새로운 키프레임이 삽입될 때, 기존에 관찰되지 않은 영역에 새로운 가우시안 원시와 변형 필드를 추가합니다.
• 동적 변형 필드 관리: 장면의 변형 복잡도에 따라 시간적 기저 함수의 수를 동적으로 조절합니다 (밀도 증가, 병합, 가지치기, 동결). 이는 표현 능력과 계산 비용 사이의 균형을 유지합니다.
• 글로벌 변형 번들 조정 (Global Deformable Bundle Adjustment): 키프레임 포즈, 가우시안 맵, 변형 필드를 동시에 최적화합니다.

D. 측정 전처리 및 기하학적 손실 (Measurement Preprocessing & Geometric Loss)

• 기하학적 사전 지식 (Geometric Priors): 대규모 기하학적 기반 모델 (Foundation Model) 을 활용하여 깊이 지도와 2D/3D 궤적을 추출합니다.
• 통합 강체 손실 (Unified Robust Geometric Loss): 추출된 기하학적 정보를 통합하여 단안 비강체 SLAM 의 본질적인 ill-posed 문제를 완화하고, 예측 노이즈에 강인한 최적화를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 변형 인식 3D 가우시안 맵: 각 가우시안에 학습 가능한 변형 확률을 도입하여 카메라 운동과 장면 변형 간의 결합 모호성을 명시적으로 해결했습니다. 베이지안 자기지도 전략을 통해 외부 레이블 없이 이를 학습합니다.
2. 강체 우선 추적 전략: 변형 확률 지도를 활용하여 신뢰할 수 있는 강체 영역을 우선적으로 추적함으로써 정확한 포즈 추정을 가능하게 했습니다.
3. 효율적인 변형 매핑: 점진적 맵 확장, 적응형 변형 필드 관리, 글로벌 번들 조정을 통합하여 고충실도 재구성과 계산 효율성을 동시에 달성했습니다.
4. 강체 기하학적 손실: 외부 기하학적 사전 지식을 통합한 강체 손실 함수를 설계하여 단안 비강체 SLAM 의 불안정성을 해소했습니다.

4. 실험 결과 (Results)

• 데이터셋: StereoMIS, Hamlyn, C3VDv2 등 공개된 내시경 데이터셋에서 평가되었습니다.
• 정확도 (Pose Estimation):
  • 기존 최첨단 방법 (DefSLAM, NR-SLAM, MonoGS, EndoGSLAM 등) 대비 카메라 위치 추정 오차 (ATE RMSE) 를 최대 50% 이상 감소시켰습니다.
  • 특히 긴 시퀀스나 큰 변형이 발생하는 C3VDv2 데이터셋에서도 안정적인 추적을 유지했습니다.
• 재구성 품질 (Reconstruction Quality):
  • PSNR, SSIM, LPIPS 지표에서 모든 비교 대상보다 우수한 성능을 보였습니다.
  • 고해상도 텍스처와 기하학적 구조를 보존하며, 광학적으로 사실적인 (photo-realistic) 재구성을 구현했습니다.
• 성능: 현재 구현체는 실시간 (Real-time) 은 아니지만 (약 0.9 FPS), 비강체 SLAM 의 복잡도를 고려할 때 합리적인 속도를 보이며, 기존 비강체 SLAM 들과 유사하거나 더 나은 처리 속도를 유지하면서 정확도가 월등히 높습니다.

5. 의의 및 결론 (Significance)

• 기술적 혁신: 내시경과 같은 비강체 환경에서 3D 가우시안 스플래팅을 성공적으로 적용하고, 카메라 운동과 조직 변형을 효과적으로 분리하는 새로운 패러다임을 제시했습니다.
• 임상적 가치:
  • 수술 중 정확한 위치 추적과 고충실도 3D 맵핑은 수술 보조 및 로봇 수술 시스템의 성능 향상에 기여합니다.
  • 비강체 변형을 정량화하고 quasi-rigid(준강체) 영역을 식별함으로써, 수술 전 3D 모델과 수술 중 영상을 정합 (registration) 하는 작업에 강력한 초기화 및 참조 구조를 제공할 수 있습니다.
• 향후 과제: 실시간 성능 향상을 위해 원시 단위 변형 모델링을 표면 (surface) 단위 모델링으로 전환하거나, FBG 센서 등 다중 센서 융합을 통해 견고성을 높이는 방향으로 연구가 진행될 수 있습니다.

이 논문은 단안 내시경 영상 기반의 비강체 SLAM 분야에서 정확도와 재구성 품질을 동시에 혁신적으로 개선한 중요한 연구로 평가됩니다.