LTGS: Long-Term Gaussian Scene Chronology From Sparse View Updates

1. 문제 정의 (Problem)

최근 Neural Radiance Fields (NeRF) 와 3D Gaussian Splatting (3DGS) 과 같은 기술은 정적인 장면을 고화질로 재구성하고 새로운 뷰에서 합성하는 데 큰 성과를 거두었습니다. 그러나 실제 일상 환경은 사물의 이동, 추가, 제거, 교체 등 **지속적인 변화 (Scene Changes)**를 겪습니다.

기존의 동적 장면 재구성 방법들은 다음과 같은 한계를 가집니다:

• 밀집한 관측 필요: 대부분의 4D 재구성 방법은 시간적, 공간적으로 밀집된 (dense) 관측 데이터를 요구합니다. 이는 일상적인 카메라 촬영으로는 얻기 어렵습니다.
• 기존 정보의 손실: 변화를 감지하기 위해 초기 재구성을 폐기하고 처음부터 다시 학습하거나, 모든 프레임을 연속적으로 관찰해야 하는 방식은 비효율적입니다.
• 희소 입력 (Sparse Input) 의 한계: 소수의 이미지 (Few-shot) 만으로 장면을 업데이트할 때, 기존 방법들은 심각한 아티팩트 (Floating artifacts 등) 를 발생시키거나 과거의 정보를 유지하지 못합니다.

따라서, 시공간적으로 희소한 (Spatio-temporally sparse) 이미지만으로도 장시간에 걸친 장면의 변화를 효율적으로 감지하고, 초기 3DGS 재구성을 유지하면서 업데이트할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 **LTGS (Long-Term Gaussian Scene Chronology)**라는 통합 파이프라인을 제안합니다. 이 방법은 초기 3DGS 재구성을 기반으로, 사물 레벨 (Object-level) 의 변화를 추적하고 템플릿을 재사용하여 장면을 업데이트합니다.

주요 단계:

1. 변화 감지 (Change Detection):

   • 초기 3DGS 를 렌더링한 이미지와 실제 촬영된 이미지를 비교합니다.
   • **SAM (Segment Anything Model)**의 시맨틱 특징과 **SSIM (Structural Similarity Index)**을 결합하여 조명 변화나 노이즈에 강인하게 변화 영역을 이진화 (Binarization) 합니다.
   • 이를 통해 사물 레벨의 변화 (추가, 제거, 이동) 를 마스킹합니다.

2. 사물 추적 및 템플릿 추출 (Object Tracking & Template Extraction):

   • 2D 인스턴스 매칭: MASt3R(기하학적 특징) 과 SAM(시맨틱 특징) 을 결합하여 여러 뷰와 시간대 간의 사물 인스턴스를 매칭합니다.
   • 3D 가우시안 템플릿 생성: 매칭된 2D 마스크를 바탕으로 초기 3DGS 를 배경과 사물 템플릿으로 분해합니다. 새로운 사물이 등장한 경우 MASt3R 로 추정된 3D 포인트 클라우드를 초기화합니다.
   • 템플릿 추적: Robust Point Cloud Registration 을 사용하여 시간대 간의 사물 템플릿 간 6DoF 포즈를 추정하고 일관성을 검증합니다.

3. 장기적 가우시안 최적화 (Long-term Gaussian Optimization):

   • 추출된 템플릿을 시간대별 포즈 변환을 통해 이동시키고, 배경과 합성합니다.
   • 반복적 정제 (Refinement): 희소한 관측 데이터를 바탕으로 템플릿의 가우시안 파라미터 (위치, 회전, 스케일, 색상, 불투명도) 를 최적화합니다.
   • 일관성 유지: 초기 카메라 포즈로 렌더링된 이미지와 현재 관측 이미지를 모두 사용하여 과적합 (Overfitting) 을 방지하고 일관된 장면을 유지합니다.
   • 가중치 필터링: 일시적인 사물은 불투명도를 0 으로 설정하여 배경에 영향을 주지 않도록 처리합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 업데이트 프레임워크: 시공간적으로 희소한 이미지 집합을 사용하여 초기 3DGS 재구성을 효율적으로 업데이트하는 방법을 제안했습니다.
2. LTGS 통합 전략: 사물 추적, 연관성 분석, 재로컬라이제이션, 그리고 재구성까지를 아우르는 통합 파이프라인을 개발했습니다. 이는 재사용 가능한 기하학적 사전 지식 (Reusable Geometric Priors) 을 활용하여 희소 입력에서의 모호성을 해결합니다.
3. 새로운 실세계 데이터셋 구축: 장기간에 걸친 동적 사물 변화를 포함하는 5 개의 실세계 장면 (카페, 식당, 실험실 등) 데이터셋을 수집하여 공개했습니다. 기존 데이터셋은 밀집된 데이터를 요구하거나 단순한 변화만 포함했으나, 본 데이터셋은 실제 일상적인 희소 관측 시나리오를 평가하는 데 적합합니다.

4. 실험 결과 (Results)

• 정량적 성능: CL-NeRF 데이터셋과 자체 수집한 실세계 데이터셋에서 PSNR, SSIM, LPIPS 지표 모두에서 기존 Baselines (3DGS, InstantSplat, 4DGS, CL-NeRF, CL-Splats 등) 보다 우수한 성능을 기록했습니다. 특히 희소 뷰 (Few-shot) 환경에서 아티팩트가 적고 선명한 재구성을 보여주었습니다.
• 정성적 성능: 제거된 사물의 흔적이 남지 않거나, 이동한 사물의 위치가 정확하게 재구성되는 등 기존 방법들이 실패하는 영역에서 뛰어난 성능을 입증했습니다.
• 효율성: 전체 처리 시간은 약 6.5 분 (변화 감지 2.5 분, 매칭 0.5 분, 최적화 3.5 분) 으로, 기존 continual learning 방법들보다 빠르며 메모리 사용량도 초기 3DGS 수준으로 유지됩니다.
• 강건성 (Robustness): MASt3R 과 SAM 과 같은 기반 모델 (Foundation Models) 에서 발생할 수 있는 노이즈나 오류에 대해 템플릿 집계 및 최적화 과정을 통해 강건하게 대응함을 실험을 통해 확인했습니다.

5. 의의 및 결론 (Significance)

LTGS 는 일상적인 환경의 장기적인 진화를 모델링하기 위한 실용적인 솔루션을 제시합니다.

• 실용성: 사용자가 매번 전체 장면을 다시 촬영하거나 밀집된 데이터를 수집할 필요 없이, 소수의 이미지만으로 디지털 트윈이나 위치 기반 서비스 (LBS) 의 장면을 최신 상태로 유지할 수 있게 합니다.
• 확장성: 사물 단위의 템플릿을 재사용하고 변환하는 방식은 다양한 시간대의 장면 확장에 쉽게 적용 가능하여, 3D 환경의 시간적 진화를 위한 강력한 구조적 표현을 제공합니다.
• 한계 및 향후 작업: 현재는 기하학적 변화에 집중되어 있으며, 고정된 기하학 구조에서의 심한 조명 변화나 그림자 변화 모델링은 향후 과제로 남겼습니다.

요약하자면, LTGS는 희소한 입력으로 장기적인 3D 장면의 변화를 효율적이고 정확하게 추적 및 업데이트할 수 있는 새로운 패러다임을 제시한 연구입니다.