ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

기술 요약: ExtraGS

문제 정의
로봇 보조 최소 침습 수술(MIS)은 내시경적 인지에 크게 의존하지만, 기존의 내시경은 하드웨어 제약과 좁은 해부학적 공간으로 인해 시야(FOV)가 제한되는 문제를 겪습니다. 이러한 한계는 시각적 사각지대를 생성하여 잠재적인 진단 누락을 초고할 수 있으며, 외과의가 공간 기억력에 의존하게 만듭니다. 최근의 신경 렌더링 기술인 NeRF(Neural Radiance Fields) 및 3DGS(3D Gaussian Splatting)는 내시경 비디오로부터 새로운 뷰 합성을 가능하게 하지만, 뷰 외삽(view extrapolation) 과정에서 심각한 어려움을 겪습니다. 가상 카메라가 학습된 궤적에서 멀어져 관찰되지 않은 해부학적 영역으로 이동할 때, 실제 이미지 입력의 부재로 인해 표준 광도 손실(photometric losses) 및 기하학적 사전 정보(geometric priors)가 효과적인 감독을 제공하지 못합니다. 결과적으로, 이러한 방식들은 심각한 기하학적 왜곡, 혼란스러운 아티팩트, 구조적 불완전성을 생성하여 외삽된 뷰를 임상적으로 신뢰할 수 없게 만듭니다.

방법론: ExtraGS 프레임워크
저자들은 **확산 모델 기반 3D 가우시안 스플래팅(diffusion-guided 3D Gaussian Splatting)**을 통합하여 내시경 뷰 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 장면 초기화 및 가용 영역 추정:
   프로세스는 희소한 입력 내시경 RGB 및 깊이 이미지를 사용하여 거친 3도 가우시안 표현($G_c$)을 최적화하는 것으로 시작됩니다. 이 재구성을 통해 표면 메쉬가 추출되어 경계 볼륨을 정의합니다. 이후 점유 그리드(occupancy grid)를 구축하여 점유된 해부학적 영역과 자유 공간을 구분하며, 이를 통해 후속 가상 카메라 탐색을 장면 내의 가용하고 관찰되지 않은 영역으로 제한합니다.

2. 불확실성 유도 가상 카메라 샘플링:
   사각지대를 능동적으로 탐색하고 정보 이득을 극대화하기 위해, 이 방법은 가용 영역 내에서 새로운 가상 카메라 샘플링 전략을 채택합니다. 이 전략은 내시경 장면에 맞춤 설계되었으며 다음을 포함합니다:

   • 조명 인식 탐색: 현재 이미지의 가장 어두운 영역과 일치하는 방향을 우선시합니다. 이 영역들은 종종 제약이 적어 재구성 오류가 발생하기 쉽기 때문입니다.
   • 주름 인식 포즈 제어: 급격한 뷰포인트 변화를 억제하여 매끄러운 카메라 움직임을 보장하고, 복잡하고 접힌 해부학적 구조에서의 불안정성을 방지합니다.
   • 커버리지 이득: 새롭게 관찰된 가우시안-방향 쌍의 수를 추적하여 포괄적인 장면 커버리지를 보장합니다.

3. 확산 가이드 뷰 향상:
   샘플링된 가상 뷰포인트로부터의 초기 렌더링은 아티팩트(예: 구멍, 플로터, 흐림 현상)를 포함하는 경우가 많습니다. 단순한 보간에 의존하는 대신, 프레임워크는 2D 비디오 확산 모델을 사전 정보로 사용하여 이러한 이미지를 정교화합니다. 확산 모델은 거친 렌더링과 가장 가까운 실제 입력 뷰(시각적 앵커 역할)를 입력받아 고충실도의 **의사 관측치(pseudo-observations)**를 생성합니다. 이 단계는 관찰되지 않은 영역에 대해 그럴듯한 해부학적 구조를 효과적으로 "환각(hallucinate)"하면서도 실제 데이터로부터 신뢰할 수 있는 단서들을 보존합니다.

4. 신뢰도 가중치 결합 미세 조정:
   생성된 의사 관측치가 이미 잘 재구성된 영역을 저하시키는 것을 방지하기 위해, 저자들은 신뢰도 가중치 최적화 전략을 도입합니다. 이는 두 단계의 가중치를 포함합니다:

   • 이미지 수준 신뢰도: 가시적인 가우시안과 참조 뷰 사이의 중첩 정도를 측정하는 가우시안 IoU(G-IoU)를 기반으로 합니다. 중첩이 낮을수록 가중치가 높아져 상보적인 정보를 강조합니다.
   • 픽셀 수준 신뢰도: 거친 렌더링과 확산 향상 이미지 간의 지각적 차이(LPIPS)를 기반으로 하며, 확산 모델이 상당한 수정을 가한 픽셀에 집중하여 정교화합니다.
     그 후 3DGS 모델은 원래의 실제 관측치와 신뢰도 가중치가 적용된 의사 관측치를 사용하여 공동으로 미세 조정됩니다.

핵심 기여

• ExtraGS 프레임워크: 대규모 베이스라인 뷰 외삽 시 발생하는 심각한 아티팩트 문제를 해결하기 위해 2D 확산 사전 정보를 내시경 3DGS에 통합한 새로운 방식입니다.
• 불확실성 유도 샘플링: 정보 이득을 극대화하기 위해 조명 및 주름 인식 전략을 사용하여 해부학적 사각지대를 능동적으로 타겟팅하는 메커니즘입니다.
• 신뢰도 가중치 미세 조정: 관찰되지 않은 영역을 채우면서도 정확하게 재구성된 3D 구조의 무결성을 유지하기 위해 확산 생성 콘텐츠를 통합하는 이중 수준 가중치 전략입니다.
• 최첨단 성능(SOTA): 기존 방식들과 비교하여 새로운 뷰 합성 및 대규모 베이스라인 외삽 작업 모두에서 우수한 성능을 입증하는 종합적인 평가를 수행했습니다.

실험 결과
본 방법은 좁은 관형 구조, 반복되는 주름, 자가 폐쇄(self-occlusion)가 특징인 결장경 데이터셋인 C3VDv2를 통해 평가되었습니다. 저자들은 ExtraGS를 표준 3DGS, GaussianPancakes, UCNeRF와 함께 두 가지 도전적인 설정(희소 뷰 가용성: Cecum t1, 거리감이 있는 복잡한 궤적: Ascending t2)에서 비교했습니다.

• 정량적 성능: ExtraGS는 두 시나리오 모두에서 가장 높은 PSNR 및 SSIM을 달성했습니다. 예를 들어, 희소한 Cecum t1 시나리오에서 ExtraGS는 PSNR 20.23 dB 및 SSIM 0.769를 달려, UCNeRF(19.22 dB, 0.541)와 표준 3DGS(18.74 dB, 0.673)를 앞질렀습니다. 거리감이 있는 Ascending t2 시나리오에서는 18.75 dB의 견고한 PSNR과 0.857의 SSIM을 유지한 반면, GaussianPancakes는 10.39 dB로 급격히 하락했습니다.
• 정성적 성능: 시각적 비교 결과, 베이스라인 방식들이 노이즈 아티팩트, 과도한 평활화(over-smoothing) 또는 치명적인 블러링을 보이는 반면, ExtraGS는 복잡한 조직 토폴로지, 미세 혈관 네트워크, 반사광(specular highlights)을 높은 충실도로 성공적으로 재구성했습니다.
• 절제 연구(Ablation Studies): 조명 및 주름 인식 구성 요소를 제거했을 때 성능이 약간 저하되었으며, 이는 내시경 환경을 위한 특정 설계 선택의 유용성을 확인해 줍니다.

의의 및 주장
본 논문은 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 뉴 뷰 합성에서 최첨단 성능을 달 achieves 한다고 주장합니다. 생성적 사전 정보를 활용하여 관찰되지 않은 영역에 감독을 제공함으로써, 이 프레임워크는 가용 시야를 효과적으로 확장하고 재구성 신뢰도를 높입니다. 저자들은 이러한 능력이 로봇 보조 최소 침습 수술에서의 수술 전 계획, 수술 중 내비게이션 및 사후 진단에 잠재적인 가치를 지닌다고 제안합니다.

그러나 저자들은 현재 연구 범위에 대해 겸허한 입장을 유지합니다. 그들은 이 프레임워크가 상대적으로 정적인 장면을 가정하며, 실시간 실행, 동적 조명, 기구에 의한 폐쇄 또는 조직 변형에 대해서는 아직 검증되지 않았음을 명시적으로 밝힙니다. 따라서 현재의 결과는 검증된 수술 중 신뢰성이라기보다는 이 접근 방식의 잠재력을 보여주는 것이며, 강건한 4D 재구성을 위해서는 동적 요인들을 다루는 향후 연구가 필요합니다.