Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization

이 논문은 3D 가우시안 스플래팅 기반에 SDF 메쉬 제약과 국소/전역 강성 규칙을 도입하여, 로봇 보조 수술을 위한 부드러운 조직 표면 재구성과 실시간 렌더링을 동시에 달성하는 새로운 단안 내시경 3D 재구성 방법을 제안합니다.

핵심

🏥 문제: "수술실은 왜 이렇게 어지러운 걸까?"

수술 중에는 의사가 내시경 (작은 카메라) 으로 인체 내부를 봅니다. 하지만 이 영상은 **평면 (2D)**일 뿐입니다. 의사는 손으로 만져보지 않고도 조직이 얼마나 튀어나와 있는지, 어디에 혈관이 있는지 3D 로 파악해야 합니다.

기존 기술들은 두 가지 큰 문제가 있었습니다:

1. 너무 느려요 (NeRF 방식): 고화질 3D 를 만들 수 있지만, 컴퓨터가 영상을 계산하는 데 시간이 너무 오래 걸려서 "실시간"으로 보기 어렵습니다. 마치 고해상도 영화를 렌더링하는 데 하루가 걸리는 것과 비슷합니다.
2. 표면이 뭉개져요 (기존 3D 방식): 속도는 빠르지만, 조직의 표면이 매끄럽지 않고 뾰족뾰족하거나 구멍이 숭숭 뚫려서 실제처럼 보이지 않습니다. 마치 점토를 손으로 대충捏어 만든 것처럼요.

---

💡 해결책: "스마트한 점토와 자석" (이 연구의 핵심)

저자들은 **'3D 가우시안 스플래팅 (3D Gaussian Splatting)'**이라는 기술을 기반으로, 두 가지 핵심 아이디어를 섞어 문제를 해결했습니다.

1. "표면 인식 재구성" (Surface-Aware Reconstruction)

비유: "그림을 그릴 때 먼저 뼈대를 잡는다"

기존 방식은 공중에 떠 있는 수많은 작은 점 (가우시안) 들을 흩뿌려서 이미지를 만들다 보니, 조직 표면이 불규칙해졌습니다.
이 연구는 먼저 조직의 '뼈대 (메쉬)'를 만들어서 그 위에 점들을 붙이는 방식을 썼습니다.

• 어떻게? 먼저 내시경 영상으로 조직의 3D 형상 (메쉬) 을 대략적으로 만들고, 그 표면에 가우시안 점들을 딱 붙여줍니다.
• 효과: 마치 벽돌을 쌓을 때 벽돌 하나하나를 벽면 (메쉬) 에 딱 맞게 붙이는 것처럼, 조직 표면이 매우 매끄럽고 자연스럽게 보입니다.

2. "반-강체 변형" (Semi-Rigidity Deformation)

비유: "인형의 관절과 옷의 주름"

인체 조직은 움직일 때 **단단한 뼈 (관절)**처럼 움직이는 부분과 **부드러운 살 (주름)**처럼 늘어나는 부분이 공존합니다.

• 국소적 강성 (Local Rigidity): 혈관이나 중요한 지점처럼 단단하게 움직여야 하는 부분은 서로 떨어지지 않게 묶어줍니다. (인형의 관절처럼)
• 전체적 유연성 (Global Non-Rigidity): 조직 전체가 부드럽게 늘어나거나 구부러지는 부분은 자연스럽게 변형되도록 허용합니다. (옷의 주름처럼)
• 결과: 조직이 움직일 때 뻣뻣하게 굳지도 않고, 찢어지지도 않는 자연스러운 3D 애니메이션이 만들어집니다.

3. "가려진 부분 복원" (Video Inpainting)

비유: "수술 도구가 가린 부분을 AI 가 상상해 채우기"

수술 중에는 칼이나 집게 같은 도구가 조직을 가립니다. 이 가려진 부분을 AI 가 이전과 이후의 영상을 보고 "여기에는 원래 이런 조직이 있었을 거야"라고 상상해서 채워줍니다.
이렇게 하면 조직이 끊어지지 않고 연속적으로 보입니다.

---

🚀 성과: "기존 기술보다 100 배 빠르고 10 배 가볍다"

이 기술이 얼마나 대단한지 숫자로 비교해 보면:

• 속도: 기존 기술 (NeRF) 이 1 프레임당 6 시간이 걸렸다면, 이 기술은 2 분도 안 걸립니다. 그리고 화면을 보여주는 속도 (FPS) 는 초당 170 장으로, 눈이 따라갈 수 없을 정도로 빠릅니다. (실시간 수술에 완벽!)
• 화질: 조직의 질감 (혈관, 피 등) 이 매우 선명하고 매끄럽습니다.
• 컴퓨터 사양: 고가의 슈퍼컴퓨터가 아니라, 일반 수술실용 컴퓨터로도 충분히 돌아갑니다.

📝 한 줄 요약

"이 연구는 로봇 수술 중 내시경 영상을 보고, 조직이 움직일 때 뭉개지지 않고 매끄럽게, 그리고 실시간으로 3D 로 보여주는 '초고속 3D 안경'을 개발했습니다."

이 기술이 상용화되면, 로봇 수술을 하는 의사는 마치 조직을 손으로 직접 만지듯 정확한 3D 공간감을 느끼며 수술할 수 있게 되어 환자 안전이 크게 높아질 것입니다.

기술 요약

논문 요약: 단안 내시경 조직 3D 재구성을 위한 다단계 기하학적 정규화

1. 문제 정의 (Problem)

로봇 보조 수술 (Robot-Assisted Surgery) 을 구현하기 위해서는 내시경 비디오로부터 변형 가능한 조직 (deformable tissues) 의 3D 재구성이 필수적입니다. 그러나 기존 기술들은 다음과 같은 한계를 가지고 있습니다:

• 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 기반 방법: 실시간 렌더링은 가능하지만, 이산적인 가우스 커널의 특성상 조직 표면의 일관된 재구성이 어렵고 아티팩트 (artifacts) 가 발생하기 쉽습니다.
• NeRF (Neural Radiance Field) 기반 방법: 높은 재구성 품질을 제공하지만, 학습 시간이 길고 렌더링 속도가 느려 실시간 수술 환경에 적용하기 어렵습니다.
• 내시경 환경의 특수성: 제한된 시야각, 수술 도구에 의한 가림 (occlusion), 그리고 조직의 비강직적 (non-rigid) 인 변형으로 인해 3D 단서 (cues) 확보가 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 3D 가우스 스플래팅을 기반으로 하되, 다단계 기하학적 정규화 (Multi-Level Geometry Regularization) 를 도입하여 실시간 렌더링과 매끄러운 표면 재구성을 동시에 달성하는 새로운 프레임워크를 제안합니다.

주요 구성 요소:

• 준비 단계 (Preparatory Procedures):

  • 희소 특징점 매칭 (Sparse Feature Point Matching): SIFT 를 사용하여 혈관 교차점 등 중요한 특징점을 추출하고 추적하여 조직 변형 모델링을 위한 궤적을 생성합니다.
  • 비디오 인페인팅 (Video Inpainting): 수술 도구에 의해 가려진 영역을 제거하기 위해 광학 흐름 (Optical Flow) 을 활용한 Transformer 기반 인페인팅 모델을 적용합니다. 이는 공간 - 시간적 일관성을 유지하며 가려진 조직을 복원합니다.

• 표면 인지 재구성 (Surface-Aware Reconstruction):

  • 첫 번째 프레임에 대해 NeuS2 를 사용하여 SDF(Signed Distance Field) 기반의 메쉬 (Mesh) 를 먼저 생성합니다.
  • 생성된 메쉬를 기반으로 3D 가우스 커널을 메쉬 삼각형의 중심에 배치하고, 가우스가 메쉬 표면에 구속되도록 제한합니다.
  • 정규화 손실 함수: 가우스의 크기 (Scale) 와 이동 (Shift) 을 메쉬 삼각형의 반지름에 비례하도록 제한하여 ($L_{scale}, L_{shift}$), 변형 과정에서 가우스가 표면에서 이탈하거나 과도하게 확장되는 것을 방지합니다.

• 반강직성 변형 (Semi-Rigidity Deformation):

  • 후속 프레임의 변형을 학습할 때 물리적으로 타당한 변형을 유도하기 위해 두 가지 정규화를 적용합니다.
  • 국소 강직성 제한 (Local Rigidity Restriction): ARAP(As-Rigid-As-Possible) 손실 ($L_{arap}$) 을 특징점 주변 국소 영역에 적용하여, 작은 영역 내에서는 조직이 강체처럼 변형되도록 유도합니다.
  • 전역 비강직성 제한 (Global Non-Rigidity Restriction):
    • 회전 일관성 손실 ($L_{rot}$): 이웃하는 가우스들의 회전 운동을 일관되게 유지하도록 합니다.
    • 등거리 손실 ($L_{iso}$): 장기적인 관점에서 가우스 간의 거리가 변하지 않도록 제약하여 전체적인 조직의 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 표면 인지 내시경 재구성: RGB, 깊이 (Depth), 광학 흐름 데이터를 통합하여 일관되고 매끄러운 기하학적 재구성을 달성하는 방법을 제안했습니다.
2. 반강직성 변형 가이드: 전역 및 국소 운동 학습을 통해 실제적인 가우스 변형을 모델링하고, 3D 재구성 과정에서 발생하는 '3D 플로터 (3D floaters, 떠다니는 가시적 노이즈)'를 방지합니다.
3. 다단계 정규화 접근법: 단일 프레임의 고품질 재구성과 동적 변형의 물리적 타당성을 모두 보장하는 새로운 프레임워크를 제시하여, 텍스처와 기하학 모두에서 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: EndoNeRF 및 SCARED 데이터셋에서 평가 수행.
• 성능 지표:
  • 재구성 품질: EndoNeRF, EndoSurf 등 기존 NeRF 기반 방법 및 다른 3DGS 기반 방법 (EndoGS, EndoGaussian) 대비 PSNR, SSIM, LPIPS 지표에서 최상위 (SOTA) 성능을 기록했습니다. (예: EndoNeRF 데이터셋에서 PSNR 38.05, SCARED 데이터셋에서 28.31)
  • 학습 및 렌더링 속도:
    • 학습 시간: NeRF 기반 방법 (약 6~7 시간) 대비 약 2 분으로 획기적으로 단축 (약 10 배 이상 향상).
    • 렌더링 속도: 실시간 (60 FPS 이상) 렌더링 가능. NeRF 기반 방법 대비 100 배 이상 빠른 속도.
    • 하드웨어: GPU 메모리 사용량이 약 3GB 로 기존 방법 (약 20GB) 대비 약 1/10 수준으로 경량화되었습니다.
• 정성적 평가: 혈관이 풍부한 복잡한 영역과 가려진 영역 (inpainting) 에서도 더 선명하고 자연스러운 텍스처 및 기하학적 구조를 재구성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇 보조 수술 분야에서 실시간으로 고품질의 3D 조직 재구성을 가능하게 하는 중요한 진전을 이루었습니다.

• 실시간성: NeRF 의 느린 렌더링 속도와 3DGS 의 표면 재구성 한계를 동시에 해결하여, 수술 중 실시간 3D 시각화 및 내비게이션 시스템에 적용 가능한 기술적 토대를 마련했습니다.
• 물리적 타당성: 단순한 이미지 재구성을 넘어, 조직의 변형 특성을 물리적으로 모델링하여 수술 도구와의 상호작용 시 정확한 3D 공간 정보를 제공합니다.
• 확장성: 제한된 하드웨어 자원으로도 고품질 재구성이 가능하므로, 실제 수술실 환경에의 배포 가능성을 높였습니다.

결론적으로, 이 논문은 내시경 영상의 3D 재구성 분야에서 속도 (실시간성) 와 정확도 (표면 일관성 및 변형 타당성) 의 균형을 맞춘 획기적인 솔루션을 제시했습니다.