Incremental Online Scene Reconstruction by 3D Gaussian Triangulation

기술 요약: 3D 가우시안 삼각측량을 통한 점진적 온라인 장면 재구성

문제 정의
점진적인 3D 장면 재구성은 증강 현실(AR) 및 자율 로봇 공학과 같이 의사 결정을 위해 즉각적인 부분 결과에 접근이 필요한 실제 응용 분야에서 매우 중요합니다. 3D 가우시안 스플래팅(3DGS)은 실시간 신규 뷰 합성(novel view synthesis)에서 탁월한 성능을 입증했지만, 가우시안으로부터 메쉬를 추출하는 기존 방식들은 상당한 한계에 직면해 있습니다. 현재 대부분의 방법은 Marching Cubes나 Poisson reconstruction과 같은 알고리즘을 통해 명시적 메쉬를 추출하기 전, 최적화된 가우시안을 중간 단계의 암시적 필드(예: Neural SDF 또는 볼륨 그리드)로 오프라인 변환해야 합니다. 이러한 배치 처리(batch-processing) 요구 사항은 다운스트림 작업과의 원활한 통합을 방해하고 연속적인 장면 확장을 불가능하게 만듭니다. 또한, 절단된 부호 거리 함수(TSDF)에 기반한 전통적인 온라인 방식은 고정된 복셀 해상도와 높은 메모리 소비 문제를 겪으며, 신경 암시적(neural implicit) 방식은 과도한 계산 부하를 초래하거나 무한한 공간(unbounded scenes)을 다루는 데 어려움을 겪습니다.

방법론
저자들은 중간 암시적 필드를 거치지 않고, 밀집된 기하학적 가우시안 표현을 직접 삼각측량함으로써 고충실도의 명시적 메쉬를 점진적으로 재구성하고 업데이트하는 새로운 온라인 프레임워크를 제안합니다. 이 방법의 핵심 구성 요소는 다음과 같습니다:

1. 밀집 기하학적 가우시안 표현 (Dense Geometric Gaussian Representation):
   장면은 "평면 타원형 서펠(Planar Elliptical Surfels)"로 작동하도록 명시적으로 제약된 3D 가우시안 프리미티브 세트로 표현됩니다. 이는 볼륨 광도(volumetric radiance) 최적화에 사용되는 표준 3DGS와 달리 다음을 강제합니다:

• 평면 제약 (Planar Constraint): 세 번째 스케일 성분($s_3$)이 0을 향하도록 강제하여, 가우시안을 국소 접평면에 정렬되도록 평평하게 만듭니다.
• 불투명도 제약 (Opacity Constraint): 단단한 물리적 기하 구조를 근사하기 위해 높은 불투명도($\alpha \approx 1$)를 강제합니다.
• 초기화 (Initialization): 가우시안은 RGB-D 스트림에서 유도된 방향성을 가진 포인트 클라우드로부터 초기화되며, 위치와 법선(normal)을 상속받고, 접선 방향의 스케일은 국소적인 점 간격에 의해 결정됩니다.

2. 온라인 매핑 및 최적화 (Online Mapping and Optimization):
   시스템은 이중 분기 렌더링 전략(광도 및 기하학적 렌더링)을 사용하여 가우시안 세트를 점진적으로 업데이트합니다.

• 추가/가지치기 (Adding/Pruning): 깊이 차이를 채우기 위해 불투명한 가우시안을 추가하며, 색상 충실도를 높이기 위해 투명한 가우시안을 추가합니다. 가지치기는 깊이나 색상 렌더링에 크게 기여하지 않는 프리미티브를 제거합니다.
• 기하학적 제약 (Geometric Constraints): 메쉬 준비를 보장하기 위해 두 가지 특정 손실 함수가 도입됩니다:
  • 평면 기반 풀링 손실 (Plane-based Pulling Loss): 가우시안 중심을 방향성을 가진 포인트 클라우드가 나타내는 하부 표면 포인트로 정렬합니다.
  • 법선 일관성 손실 (Normal Consistency Loss): 가우시안 법선(최단 축 방향으로 근사됨)과 국소 표면 법선 사이의 정렬을 강제합니다.
• 희소 손실 (Sparse Loss): 가우시안이 완전히 투명해지거나 완전히 불투명해지도록 유도하여 모호성을 줄입니다.

3. 가우시안 삼각측량 및 메싱 (Gaussian Triangulation and Meshing):
   가우시안을 암시적 필드로 변환하는 대신, 저자들은 직접적인 메싱 알고리즘을 제안합니다:

• 기하학적 가우시안 세트 선택: 높은 불투명도($\alpha > 0.9$)와 깊이 충실도(참조 깊이와 임계값 $\tau$ 이내에서 일치)를 기준으로 가우시안의 하위 집합을 선택합니다.
• 빠른 삼각측량 (Fast Triangulation): 압축된 옥트리(octree)를 사용하여 상호 가시성과 법선 일관성에 기반한 유효한 이웃을 식дентифика합니다. 가중치 융합(weighted fusion)을 통해 가우시안 위치를 정교화합니다. 그 후 각도 기반 그리디(greedy) 알고리즘을 사용하여 중앙 가우시안을 각도 순으로 정렬된 이웃들과 연결함으로써 퇴화된 슬리버 삼각형(sliver triangles) 형성을 방지합니다.
• 국소 리메싱 (Local Remeshing): 점진적 융합 중 발생하는 위상적 충돌을 처리하기 위해, 시스템은 에지 분할(edge splitting), 붕괴(collapsing), 뒤집기(flipping)를 수행한 후 라플라시안 평활화(Laplacian smoothing)를 실시합니다.

4. 동결을 통한 메모리 효율성 (Memory Efficiency via Freezing):
   장기간의 스캐닝 동안 자원의 무한한 증가를 방지하기 위해, 프레임워크는 완전히 최적화된 영역을 동적으로 동결합니다. 누적 관찰 횟수가 임계값을 초과하고 최적화 손실이 안정적으로 수렴하면 해당 영역은 동결됩니다. 동결된 영역은 활성 최적화 그래프에서 제거되어 메모리 및 계산 오버헤드를 크게 줄입니다.

주요 기여

1. 새로운 삼각측량 알고리즘: 오프라인 사후 처리 없이 가우시안 서펠로부터 빠른 메쉬 추출 및 점진적 업데이트를 가능하게 하는 직접적인 삼각측량 방식.
2. 평면 기반 풀링 제약: 가우시안 서펠이 일관된 구조를 형성하도록 유도하여 입력 노이즈를 교정하고 하부 표면을 충실히 표현하는 기하학적 제약.
3. 메모리 효율적인 점진적 프레임워크: 최적화된 메쉬 영역을 점진적으로 동결하는 전략을 통해, 메모리 사용량을 줄이면서 확장 가능한 연속적 표면 재구성을 가능하게 함.

실험 결과
본 방법은 Replica 및 ScanNet++ 데이터셋에서 볼륨 기반 TSDF 방식(KinectFusion), NeRF 기반 SLAM(NICE-SLAM, Point-SLAM), 그리고 가우시안 기반 방식(RTG-SLAM, MonoGS)과 비교 평가되었습니다.

• 재구성 정확도: 제안된 방법은 Replica 데이터셋에서 가장 높은 정확도(최저 오차 cm)와 정확도 비율을 달 기록하며 RTG-SLAM 및 MonoGS를 능가했습니다. 더 미세한 기하학적 디테일을 생성하고 평면 표면을 더 잘 보존했습니다.
• 렌더링 품질: PSNR, SSIM, LPIPS 측면에서, 본 방법은 거의 모든 시퀀스에서 베이스라인 대비 우수한 렌더링 성능을 보여주었으며, 아티팩트를 줄이고 미세한 디테일을 보존했습니다.
• 효율성: 시스템은 Replica 'Office0' 시퀀스에서 10.34 FPS의 매핑 속도와 2325 MB의 피크 메모리 사용량을 달성하여, 속도와 메모리 효율성 모두에서 MonoGS 및 RTG-SLAM을 크게 앞질렀습니다.
• 메쉬 추출 속도: 직접 삼각측량 방식은 메쉬 추출 시간을 5.34초로 단축시켰으며, 이는 암시적 필드에 대해 Marching Cubes나 Poisson Surface Reconstruction에 의존하는 방법들이 수백 초가 걸리는 것과 대조적입니다.

의의
본 논문은 고충실도 3D 재구성에서 오프라인 처리라는 근본적인 병목 현상을 해결한다고 주장합니다. 최적화된 3D 가우시안으로부터 직접 워터타이트(watertight) 메쉬를 온라인 및 점진적인 방식으로 추출할 수 있게 함으로써, 이 방법은 다운스트림 작업과의 원활한 통합과 연속적인 장면 확장을 지원합니다. 이 접근 방식은 명시적 가우시안 표현이 중간 암시적 필드와 관련된 계산 및 메모리 비용 없이도 고품질 렌더링과 정확한 표면 재구성을 위해 효과적으로 활용될 수 있음을 입증합니다. 저자들은 관찰되지 않은 영역에 대한 깊이 정보 의존도의 한계를 언급하며, 향-RGB 전용 재구성에 대한 향후 연구 과제를 제시했습니다.