ClipGStream: Clip-Stream Gaussian Splatting for Any Length and Any Motion Multi-View Dynamic Scene Reconstruction

1. 문제 정의 (Problem)

가상현실 (VR), 혼합현실 (MR), 확장현실 (XR) 과 같은 몰입형 미디어를 위해 동적인 3D 장면을 재구성하는 것은 필수적이지만, **대규모 운동 (large-scale motion)**과 **긴 시퀀스 (long sequences)**를 가진 다중 뷰 (multi-view) 비디오의 경우 여전히 큰 도전 과제입니다. 기존 동적 가우시안 (Dynamic Gaussian) 기반 방법론들은 다음과 같은 한계를 가집니다.

• Frame-Stream 방식 (프레임 단위 최적화):
  • 장점: 매우 긴 시퀀스를 처리할 수 있는 확장성 (Scalability) 이 있습니다.
  • 단점: 프레임 간 최적화가 독립적이거나 단순한 변형만 고려하여, 시간이 지남에 따라 **누적 오차 (accumulated errors)**가 발생하고 **프레임 간 흔들림 (inter-frame jitter)**이 심해집니다.
• Clip 방식 (클립 단위 최적화):
  • 장점: 짧은 시간 구간 (예: 300 프레임) 내에서 일관된 시공간 구조를 모델링하여 국소적인 일관성을 확보합니다.
  • 단점: 긴 시퀀스를 처리하려면 메모리 및 계산 비용이 급증하며, 클립 경계에서 플리커 (flicker) 현상이 발생하거나 시퀀스 길이에 제한을 받습니다. 또한 대규모 운동이 포함된 장면에서는 재구성이 어렵습니다.

이러한 문제들을 해결하기 위해, 어떤 길이와 어떤 운동에서도 안정적이고 고품질의 동적 장면 재구성이 가능한 새로운 프레임워크가 필요합니다.

---

2. 방법론 (Methodology)

저자들은 ClipGStream이라는 하이브리드 재구성 프레임워크를 제안합니다. 이는 전체 비디오를 여러 개의 짧은 클립으로 나누고, **클립 레벨 (Clip-level)**에서 스트림 최적화를 수행하여 Frame-Stream 과 Clip 방식의 장점을 결합합니다.

핵심 구조: Reference Clip 과 Source Clips

• 전체 시퀀스를 $N$개의 짧은 클립으로 분할합니다.
• 첫 번째 클립 (Reference Clip, $Clip_0$) 은 완전히 최적화되어 안정적인 시공간 표현의 기준이 됩니다.
• 나머지 클립들 (Source Clips, $Clip_{n \in [1, N-1]}$) 은 Reference Clip 의 표현을 기반으로 학습됩니다.

두 가지 핵심 전략

1. 클립 내부 학습 전략 (Intra-clip Training Strategy)

• 정적/동적 특징 분리: 앵커 (Anchor) 의 특징을 정적 특징 ($f_s$) 과 동적 특징 ($f_d$) 으로 분리합니다.
• 잔여 앵커 보상 (Residual Anchor Compensation): Source Clip 을 학습할 때, Reference Clip 의 앵커 ($A_0$) 를 베이스로 유지하되, 대규모 운동으로 인해 새로 나타나거나 이동한 구조를 포착하기 위해 **잔여 앵커 (Residual Anchors)**를 추가합니다.
  • COLMAP 으로 생성된 현재 클립의 앵커와 Reference 앵커 간의 기하학적 거리 (Signed Distance Function, SDF) 를 계산하여, 기존에 커버되지 않은 영역의 앵커만 선택적으로 추가합니다.
• 클립 독립적 시공간 필드 (Clip-Independent STF): 각 클립마다 독립적인 시공간 필드 (Spatio-Temporal Field, STF) 를 학습하여 해당 클립의 국소적인 운동 패턴을 정밀하게 모델링합니다.

2. 클립 간 상속 전략 (Inter-clip Inheritance Strategy)

• 일관성 유지: Source Clip 학습 시 Reference Clip 에서 학습된 **앵커 ($A_0$), 정적 특징 ($f_s$), 디코더 (Decoder)**를 그대로 **유도 (Inherit)**하고, 이들을 **동결 (Freeze)**시킵니다.
• 효과: 정적 배경의 재최적화를 방지하여 클립 간 **시간적 일관성 (Temporal Consistency)**을 보장하고, 플리커 현상을 억제합니다.
• 학습 흐름: 고정된 정적 구조 위에 새로운 클립의 운동 정보 (동적 특징 및 잔여 앵커) 만을 학습하여 긴 시퀀스에서도 안정적인 재구성을 가능하게 합니다.

---

3. 주요 기여 (Key Contributions)

1. 최초의 Clip-Stream 프레임워크 제안: 다중 뷰 동적 장면에서 대규모 운동과 긴 시퀀스 모델링을 동시에 해결하는 하이브리드 아키텍처를 처음 도입했습니다.
2. 이중 단계 학습 전략 설계:
   • Intra-clip: 잔여 초기화 (Residual Initialization) 와 독립적인 STF 를 사용하여 빠르고 복잡한 운동을 정밀하게 모델링합니다.
   • Inter-clip: 공유 구성 요소 (앵커, 디코더) 를 동결하여 시간적 일관성을 유지하고, 임의의 길이를 가진 비디오 시퀀스의 안정적인 재구성을 가능하게 합니다.
3. SOTA 성능 달성: 공개 벤치마크 (N3DV, VRU) 및 새로 공개된 **Long 360 데이터셋 (1,400 프레임)**에서 기존 최첨단 (SOTA) 방법론들을 압도하는 재구성 품질과 효율성을 입증했습니다.

---

4. 실험 결과 (Results)

• Long 360 데이터셋 (1,400 프레임, 극단적인 운동):
  • ClipGStream 은 PSNR 24.54, LPIPS 0.146 을 기록하여 기존 Frame-Stream 및 Clip 기반 방법들 (3DGStream, 4DGaussian 등) 보다 모든 지표에서 최상위 성능을 보였습니다.
  • 특히 클립 간 잔여 히트맵 (Residual Heatmap) 분석을 통해 플리커 현상이 효과적으로 억제되었음을 확인했습니다.
• N3DV 및 VRU 데이터셋:
  • 'Flame Salmon'(1,200 프레임) 과 같은 긴 시퀀스에서도 4DGaussian, LocalDyGS 등보다 높은 PSNR(29.40) 과 SSIM 을 기록하며, 운동의 디테일 (예: 불꽃, 개 얼굴) 을 선명하게 재구성했습니다.
  • VRU 데이터셋에서도 PSNR 30.67, LPIPS 0.137 로 SOTA 를 달성했습니다.
• 효율성:
  • 긴 시퀀스를 한 번에 학습하는 기존 Clip 방식과 달리, 메모리 오버헤드를 줄이고 학습 시간을 단축하면서도 확장성을 유지했습니다.
• Ablation Study:
  • **Residual Anchors Compensation (RAC)**과 Anchors Inheritance (AI) 모듈을 제거할 경우, 정적 영역에서 강한 플리커가 발생하거나 재구성 품질이 급격히 하락함을 확인하여 두 모듈의 필수성을 입증했습니다.

---

5. 의의 및 결론 (Significance)

ClipGStream 은 긴 동적 비디오 시퀀스와 대규모 운동이라는 두 가지 난제를 동시에 해결하는 획기적인 접근법을 제시합니다.

• 기술적 의의: 기존에 상충관계로 여겨지던 '확장성 (Frame-Stream)'과 '시간적 일관성 (Clip)'을 하나의 통합 프레임워크로 성공적으로 결합했습니다.
• 실용적 가치: VR/AR/XR 콘텐츠 제작, 스포츠 경기 분석, 대규모 이벤트 기록 등 장시간의 동적 장면을 고품질로 재구성해야 하는 다양한 응용 분야에서 즉시 활용 가능한 솔루션을 제공합니다.
• 미래 전망: COLMAP 에 의존하는 카메라 포즈 추정의 한계를 보완하기 위해 더 강력한 포즈 추정 기술과의 통합을 통해 향후 일반화 성능을 더욱 높일 수 있는 방향을 제시합니다.

결론적으로, ClipGStream 은 임의의 길이와 운동 패턴을 가진 동적 3D 장면 재구성을 위한 새로운 표준 (SOTA) 을 제시하며, 몰입형 미디어 기술의 발전에 중요한 기여를 할 것으로 기대됩니다.