GP-4DGS: Probabilistic 4D Gaussian Splatting from Monocular Video via Variational Gaussian Processes

1. 문제 정의 (Problem)

최근 단안 비디오 (Monocular Video) 를 이용한 동적 장면 (Dynamic Scene) 재구성은 로봇, 자율 주행, 대규모 3D 모델 구축 등 다양한 분야에서 중요한 과제로 부상했습니다. 기존에 주류를 이루던 4D 가우스 스플래팅 (4DGS) 방법들은 3D 가우스 원시 (Primitives) 의 집합으로 장면을 표현하고 미분 가능한 렌더링을 통해 최적화하여 뛰어난 시각적 품질을 보여줍니다.

그러나 기존 4DGS 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 결정론적 접근의 한계: 대부분의 방법이 운동 (Motion) 을 결정론적 최적화 문제로 취급하며, 다항식 변형이나 강성 제약 (Rigidity constraints) 과 같은 수작업으로 설계된 사전 지식 (Priors) 을 모든 원시에 균일하게 적용합니다.
• 관측 부족 영역의 취약성: 가우스 원시가 잘 관측되지 않거나 가려진 (Occluded) 영역에서는 고정된 사전 지식이 부적절하거나 과도하게 제한적이 되어 재구성 품질이 떨어집니다.
• 불확실성 추정 및 외삽의 부재: 기존 방법들은 예측의 신뢰도를 평가할 수 있는 불확실성 (Uncertainty) 추정 메커니즘이 없으며, 학습된 프레임 범위를 넘어선 미래의 운동을 예측 (Extrapolation) 하는 기능이 결여되어 있습니다.

2. 방법론 (Methodology)

저자들은 **가우스 프로세스 (Gaussian Processes, GP)**를 4DGS 에 통합하여 확률론적 프레임워크를 제안합니다. 이를 통해 동적 장면 재구성에 불확실성 정량화, 미래 운동 예측, 관측 적응형 사전 지식 학습을 가능하게 합니다.

2.1. 가우스 프로세스 기반 운동 모델링

• 확률론적 변형 (Probabilistic Deformation): 각 가우스 원시의 시간적 변형 (Translation 및 6D Rotation) 을 다입력 - 다출력 GP 로 모델링합니다.
• 복합 커널 (Composite Kernel): 공간적 (Spatial) 과 시간적 (Temporal) 상관 구조가 다르다는 점을 고려하여 커널을 설계합니다.
  • 공간 커널: 기하학적 부드러움을 위해 Matérn 커널을 사용합니다. (RBF 커널보다 불연속적인 객체 모델링에 유리함)
  • 시간 커널: 운동의 주기성을 포착하기 위해 **주기성 커널 (Periodic Kernel)**과 Matérn 커널을 결합합니다. 이를 통해 학습된 시간 범위 밖의 미래 운동도 예측할 수 있습니다.
• 입력: 원시의 기준 위치 (Canonical position) 와 시간 $t$를 입력으로 받아 변형 벡터를 출력합니다.

2.2. 확장 가능한 변분 가우스 프로세스 (Variational GPs)

수만 개의 가우스 원시를 처리하기 위해 정확한 GP 사후 확률 계산 ($O(N^3)$) 은 계산적으로 불가능합니다. 이를 해결하기 위해 **변분 추론 (Variational Inference)**과 유도점 (Inducing Points) 기법을 도입합니다.

• 유도점 (Inducing Points): 전체 데이터 대신 $M$개의 유도점 ($M \ll N$) 을 학습하여 GP 를 근사합니다.
• 초기화: Chronos 와 같은 시계열 기반 모델을 사용하여 원시 궤적의 특징을 추출하고, 이를 클러스터링하여 의미 있는 유도점을 선택합니다.
• 복잡도 감소: 계산 복잡도를 $O(NM^2 + M^3)$으로 줄여 대규모 4DGS 에 적용 가능하게 합니다.

2.3. GP-GS 최적화 전략 (Dual Optimization)

GP 와 4DGS 를 상호 보완적으로 학습하기 위해 교대 최적화 (Alternating Optimization) 전략을 사용합니다 (Algorithm 1):

1. Stage 1 (GP Training): 4DGS 렌더링에 기여도가 높은 (Confident) 원시들을 선택하여 GP 를 학습합니다. 이때 원시의 위치 불확실성을 고려하기 위해 공간 좌표에 가우스 노이즈를 주입하여 학습합니다.
2. Stage 2 (GS Optimization): 학습된 GP 사후 분포의 평균을 '가상 가이드 (Pseudo-guidance)' 신호로 사용하여 4DGS 를 최적화합니다.
   • GP Guidance Loss: GP 가 예측한 운동과 실제 원시 운동 간의 차이를 패널티로 부과하되, GP 예측과 크게 다른 원시 (불확실성이 높은 영역) 에 대해 더 강력한 제약을 가합니다.
   • 이 과정은 신뢰할 수 있는 관측 데이터가 운동 사전 지식을 정제하고, 이 사전 지식이 다시 관측이 부족한 영역의 재구성을 안정화시키는 자기 강화 루프를 형성합니다.

3. 주요 기여 (Key Contributions)

1. 확률론적 4DGS 프레임워크: 4DGS 에 GP 를 통합하여 운동 예측의 불확실성 정량화, 학습 프레임 이상의 시간적 외삽 (Future Motion Prediction), 그리고 관측 패턴에 적응하는 학습된 운동 사전 지식을 제공합니다.
2. 확장 가능한 알고리즘: 시공간 커널 설계, 유도점을 활용한 변분 추론, 그리고 GP-GS 이중 최적화 전략을 개발하여 대규모 동적 장면 재구성을 가능하게 했습니다.
3. 성능 향상 및 해석 가능성: 가려지거나 관측이 부족한 영역에서 재구성 품질을 향상시키고, 물리적으로 타당한 미래 운동을 예측하며, 신뢰할 수 있는 불확실성 지도를 생성합니다.

4. 실험 결과 (Results)

DyCheck 및 DAVIS 데이터셋을 통해 기존 방법 (SoM, 4DGS, D-3DGS 등) 과 비교 평가했습니다.

• 신규 뷰 합성 (Novel View Synthesis):
  • DyCheck 데이터셋에서 mPSNR, mSSIM, mLPIPS 모든 지표에서 기존 SOTA 방법들을 능가했습니다.
  • 특히 시점 중첩이 적은 Challenging subset에서 성능 격차가 더 커져, 희소 관측 (Sparse observations) 환경에서 GP 기반의 시공간 상관관계 전파가 효과적임을 입증했습니다.
• 미래 운동 예측 (Motion Extrapolation):
  • 학습 데이터의 마지막 5~15 프레임을 제외한 미래 프레임을 예측하는 실험에서, 단순 선형 외삽 (Linear extrapolation) 보다 월등히 높은 정확도를 보였습니다.
  • 특히 주기적인 운동 (Periodic motion) 에서 시간 커널이 주기적 구조를 효과적으로 포착하여 물리적으로 타당한 예측을 수행했습니다.
• 불확실성 정량화 (Uncertainty Quantification):
  • 재구성 오차와 예측된 불확실성 간의 정렬을 측정하는 AUSE-MSE 지표에서 기존 방법들보다 낮은 값을 기록했습니다.
  • 이는 모델이 잘 재구성된 영역의 미세한 오차까지 식별하고, 가려진 영역에서 높은 불확실성을 올바르게 표시함을 의미합니다.
• 시각적 결과:
  • 가려진 영역이나 빠른 운동에서 발생하는 아티팩트 (Floaters, Blurring) 가 감소하고, 더 선명한 기하학적 구조와 매끄러운 궤적을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 **신경 그래픽 (Neural Graphics)**과 확률론적 모델링을 성공적으로 융합한 선구적인 작업입니다.

• 기존 4DGS 가 가진 결정론적 한계를 극복하고, 불확실성을 명시적으로 다루는 프레임워크를 제시했습니다.
• 단순한 재구성을 넘어 미래 운동 예측과 신뢰도 평가가 가능한 시스템을 구현함으로써, 자율 주행, 로봇 공학 등 안전이 중요한 응용 분야에서 4DGS 기술의 실용성을 크게 높였습니다.
• 학습된 운동 사전 지식을 통해 관측이 부족한 영역에서도 물리적으로 일관된 재구성을 가능하게 하여, 단안 비디오 기반 4D 재구성의 새로운 표준을 제시합니다.