GA-GS: Generation-Assisted Gaussian Splatting for Static Scene Reconstruction

1. 문제 정의 (Problem Definition)

• 배경: 가상 현실 (VR) 및 자율 주행과 같은 응용 분야에서 동적 객체 (사람, 차량 등) 가 포함된 단안 (monocular) 비디오로부터 정적 3D 장면을 재구성하는 것은 매우 중요합니다.
• 기존 방법의 한계:
  • 기존 접근법들은 주로 동적 객체를 제거한 배경 영역만 사용하여 정적 장면을 재구성합니다.
  • 이로 인해 동적 객체에 의해 가려진 (occluded) 영역의 정보가 손실되어, 해당 부분의 재구성이 불완전하거나 품질이 저하되는 문제가 발생합니다.
  • 생성 모델 (Generative Models) 을 사용하여 가려진 영역을 채우는 것은 가능하지만, 생성된 콘텐츠는 실제 관측치보다 신뢰도가 낮아 불일치 (inconsistency) 를 유발할 수 있습니다.
• 핵심 딜레마: 동적 객체를 제거하면 간섭은 줄어들지만 감시 (supervision) 정보가 부족해지고, 생성 모델을 사용하면 정보가 채워지지만 신뢰도가 낮아지는 trade-off 를 해결해야 합니다.

2. 제안 방법: GA-GS (Methodology)

이 논문은 GA-GS (Generation-Assisted Gaussian Splatting) 를 제안하여 위 딜레마를 해결합니다. 주요 구성 요소는 다음과 같습니다.

A. 기하학적 초기화 및 마스킹 (Initialization & Masking)

• VGGT 활용: 3D 기초 모델인 VGGT 를 사용하여 카메라 포즈와 픽셀 단위 3D 위치를 추정하고, 이를 통해 3D 가우스 프라임 (Gaussian primitives) 을 초기화합니다.
• 구조 인식 샘플링: 깊이 신뢰도 맵과 이미지/깊이 그래디언트를 기반으로 노이즈가 많은 점을 필터링하고, 구조적으로 중요한 점만 선별하여 초기화합니다.
• 동적 영역 분리: Flow-SAM(Flow + Segment Anything Model) 을 사용하여 광학 흐름 (optical flow) 과 SAM 의 일반화 능력을 결합, 비디오 내의 동적 객체를 정확하게 분할 (segmentation) 하고 마스킹합니다.

B. 생성 기반 가시적 정답 생성 (Pseudo-Ground Truth Generation)

• DiffuEraser 활용: 동적 객체가 제거된 영역 (마스킹된 영역) 에 대해 비디오 인페인팅 (inpainting) 모델인 DiffuEraser 를 사용하여 가려진 배경을 합성합니다.
• 혼합 이미지 생성: 원본 프레임의 배경과 인페인팅된 영역을 마스킹을 통해 혼합하여, 동적 객체가 없는 것처럼 보이는 "완성된 정적 이미지 시퀀스"를 생성합니다. 이는 학습을 위한 가시적 정답 (pseudo-ground-truth) 으로 사용됩니다.

C. 진실성 인식 불투명도 블렌딩 (Authenticity-aware Opacity Blending)

• 핵심 혁신: 생성된 콘텐츠와 실제 관측치 간의 신뢰도 차이를 명시적으로 모델링하기 위해 학습 가능한 '진실성 스칼라 (Authenticity Scalar, $\theta$)' 를 각 가우스 프라임에 도입합니다.
  • $\theta \in [0, 1]$ 값은 해당 가우스가 실제 영상에서 유래했는지 (높은 값), 생성된 영역에서 유래했는지 (낮은 값) 를 나타냅니다.
  • 초기화 시 실제 영역은 0.9, 생성 영역은 0.1 로 설정되며, 학습 과정에서 최적화됩니다.
• 적응형 렌더링: 최종 렌더링 시 각 가우스의 불투명도 (opacity) 를 $\theta$에 따라 조절 ($\alpha' = \theta \cdot \alpha$) 합니다. 이를 통해 실제 영역의 기여도를 높이고, 생성된 영역은 보조적인 지원으로만 활용되도록 하여 재구성 정밀도를 유지하면서 일반화 능력을 향상시킵니다.
• 손실 함수 (Loss): 실제 영역에는 높은 가중치, 생성 영역에는 낮은 가중치를 부여한 가중치 L1 손실과 SSIM 손실을 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 단안 RGB 비디오에서 동적 객체를 포함한 정적 3D 배경 재구성을 위한 종합적인 파이프라인을 제안했습니다.
2. 생성 보조 및 진실성 조절: 확산 모델 (Diffusion Model) 을 활용한 인페인팅을 통해 가시적 정답을 생성하고, 학습 가능한 진실성 파라미터를 도입하여 실제 데이터와 생성 데이터의 기여도를 동적으로 균형 있게 조절하는 방식을 개발했습니다.
3. 새로운 데이터셋 (Trajectory-Match): 동적 객체가 있는 장면과 동일한 경로로 촬영된 정적 배경 (Ground Truth) 을 가진 데이터셋을 로봇 플랫폼을 이용해 구축했습니다. 이는 가려진 영역의 재구성 품질을 정량적으로 평가할 수 있는 유일한 기준을 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: DAVIS 데이터셋 (정적 배경 GT 없음, 배경 영역만 평가) 과 자체 구축한 Trajectory-Match 데이터셋 (정적 배경 GT 있음, 가려진 영역 포함 전체 평가) 에서 평가 수행.
• 성능:
  • DAVIS: 기존 방법 (WildGaussians, Robust3DGS, DAS3R 등) 대비 배경 재구성 PSNR 에서 SOTA(State-of-the-Art) 성능을 기록했습니다. 특히 대규모 가려짐이 있는 장면 (예: 'camel', 'car-shadow') 에서 시각적 품질이 우수했습니다.
  • Trajectory-Match: 가려진 영역 (Occluded Regions) 을 포함한 전체 장면에서 PSNR, SSIM, LPIPS 모든 지표에서 기존 방법보다 월등히 높은 성능을 보였습니다. 가려진 영역의 PSNR 은 24.80 으로, 차기 최상위 방법 (DAS3R, 16.93) 보다 크게 향상되었습니다.
• Ablation Study:
  • 진실성 파라미터 ($\theta$) 를 제거할 경우 가려진 영역의 성능이 크게 저하됨을 확인했습니다.
  • 생성 모듈을 제거할 경우에도 성능이 감소하여, 두 요소가 상호 보완적임을 입증했습니다.
  • 포즈 추정 방법 (COLMAP vs VGGT) 에 관계없이 제안 방법이 우월함을 보였습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 동적 환경에서의 정적 3D 재구성 문제를 해결하기 위해 '생성 모델의 활용'과 '신뢰도 기반의 가중치 조절'을 결합한 새로운 패러다임을 제시했습니다. 이는 생성된 데이터의 불확실성을 관리하면서도 누락된 정보를 효과적으로 복구하는 방법을 제시합니다.
• 실용성: 자율 주행, 로봇 비전, VR/AR 등 동적 객체가 빈번하게 등장하는 실제 환경에서 고품질의 정적 배경 맵을 구축하는 데 필수적인 기술로 평가됩니다.
• 데이터 기여: 기존 데이터셋의 한계를 극복하기 위해 구축한 Trajectory-Match 데이터셋은 향후 정적 장면 재구성 연구의 표준 평가 벤치마크로 활용될 수 있습니다.

요약하자면, GA-GS 는 동적 객체에 의해 가려진 영역을 생성 모델로 채우고, 학습 가능한 파라미터를 통해 실제 데이터와 생성 데이터의 신뢰도를 동적으로 조절함으로써, 기존 방법들보다 훨씬 정확하고 일관된 정적 3D 장면을 재구성하는 획기적인 방법론입니다.