기술 요약: Compact Gaussians를 이용한 전방향(Feed-Forward) 4D 재구성을 위한 글로벌 모션 학습

1. 문제 정의

단일 비디오로부터의 동적 장면 재구성은 컴퓨터 비전 분야의 근본적인 과제로 남아 있습니다. 최근 3D 가우시안 스플래팅(3DGS)을 동적 장면으로 확장한 연구들이 높은 품질의 결과를 달성했으나, 이들은 주로 **장면별 최적화(per-scene optimization)**에 의존하며, 이는 범용적인 비디오 입력에 대한 확장성을 제한합니다.

이러한 확장성 문제를 해결하기 위해, 각 프레임에 대해 픽셀 단위로 3D 가우시안을 예측하는 전방향(feed-forward) 방식의 방법론들이 등장했습니다. 그러나 저자들은 기존 방식들에서 다음과 같은 결정적인 실패 모드를 식별했습니다:

• 고스팅 아티팩트(Ghosting Artifacts): 입력 프레임 사이의 보간된 타임스탬프에서 렌더링할 때, 픽셀 단위 방식은 인접한 입력 뷰로부터 생성된 가우시안 세트가 중복되어 나타나 고스팅 현상을 유발합니다.
• 시점 의존적 편향(View-Dependent Bias): 이러한 방식들은 시간적으로 가장 가까운 입력 뷰에 강하게 편향됩니다. 결과적으로, 이들은 근처의 가우시안을 단순히 보간할 뿐 실제 장면의 역학(dynamics)을 학습하지 못하므로, 가려진 영역을 재구성하거나 큰 시간적 움직임을 모델링하기 위해 사용 가능한 글로벌 정보를 활용하는 데 실패합니다.
• 과적합(Overfitting): 픽셀 단위 설계는 과도한 표현 능력을 제공하여, 모델이 글로벌하게 일관된 기하 구조와 움직임을 학습하기보다는 입력 뷰의 분포에 과적합되게 만듭니다.

2. 방법론: C4G

저자들은 픽셀 단위 예측 대신 학습 가능한 쿼리 기반 예측(learnable query-based prediction) 메커니즘을 사용하는 C4G (Compact 4D representation with Gaussians) 프레임워크를 제안합니다.

2.1 핵심 아키텍처

• 시각적 특징 추출 (Visual Feature Extraction): 모델은 사전 학습된 기하학적 파운데이션 모델(VGGT)을 사용하여 입력 비디오 프레임으로부터 멀티 프레임 특징을 추출합니다.
• 컴팩트한 학습 가능 쿼리 (Compact Learnable Queries): 수백만 개의 가우시안을 픽셀당 예측하는 대신, C4G는 고정된 컴팩트한 $N$개의 학습 가능한 쿼리 토큰(예: 2,048개)을 사용합니다. 이 토큰들은 아키텍처적 병목(bottleneck) 역할을 하여, 모델이 시간적 및 기하학적 정보를 글로벌하게 집계하도록 강제합니다.
• 시간 조건부 트랜스포머 디코더 (Time-Conditioned Transformer Decoder):
  • 타임스탬프 임베딩: 사인 함수 기반의 위치 임베딩(Sinusoidal positional embeddings)이 시각적 특징과 학습 가능한 쿼리에 모두 주입됩니다.
  • 타겟 조건화: 쿼리는 특정 타겟 타임스탬프 $t_b$에 조건화됩니다. 이를 통해 동일한 쿼리 세트가 시간적 맥락 내의 임의의 순간을 나타내는 3D 가우시안을 디코딩할 수 있습니다.
  • 글로벌 모션 모델링: 전체 시간적 맥락을 통한 셀프 어텐션(self-attention)을 통해, 쿼리는 정적인 프레임의 외형이 아닌 글로벌한 움직임 궤적을 표현하는 법을 학습합니다.

2.2 렌더링 향상 모듈 (Rendering Enhancement Module)

컴팩트한 가우시안 세트가 고주파 세부 사항을 표현하는 데 어려움을 겪을 수 있음을 인지하여, 저자들은 비디오 확산 모델(Video Diffusion Model, VDM) 기반의 정밀화 모듈을 도입합니다.

• 메커니즘: Wan2.1-VACE를 기반으로 한 ControlNet 스타일의 아키텍처를 사용하여, C4G가 렌더링한 기하학적으로 일관된 새로운 뷰 이미지와 원본 컨텍스트 비디오를 입력으로 받습니다.
• 기능: VDM은 포스트 프로세싱 향상 도구로서 작동하여, C4G 출력에 의해 앵커링(anchored)됨으로써 순수 생성 모델에서 흔히 발생하는 환각(hallucination) 없이 미세한 디테일을 복구하고 작은 구멍을 채워 렌더링된 프레임을 정밀화합니다.

2.3 손실 함수 (Loss Functions)

4D 가우시안 재구성은 다음 요소들에 의해 감독됩니다:

• 광도 손실 (Photometric Loss): 타겟 뷰포인트에 대한 MSE 및 LPIPS 손실.
• 기하학적 보조 손실 (Geometric Auxiliary Losses): 기하학적 충실도를 높이기 위해 파운데이션 모델(MoGe-2)에서 유도된 깊이(depth) 및 노멀(normal) 손실.
• 트래킹 손실 (Tracking Loss): 모션 모델링을 강화하고 시간적 깜빡임(flickering)을 방지하기 위해 포인트 트래커(CowTracker)에서 유도된 손실.

2.4 특징 리프팅 (Feature Lifting - 창발적 특성)

핵심적인 발견 중 하나는 가우시안 디코더가 학습한 어텐션 패턴을 임의의 2D 비전 파운데이션 모델(VFM) 특징을 **4D 특징 필드(4D feature field)**로 리프팅하는 데 직접 재사용할 수 있다는 점입니다.

• 동일한 학습 가능 쿼리와 어텐션 메커즘을 재사용함으로써, 모델은 2D 특징(예: DINOv3 또는 VGGT로부터의 특징)을 3D 가우시안으로 집계할 수 있습니다.
• 이를 통해 각 가우시안이 뷰포인트와 타임스탬프 전반에 걸쳐 일관된 시맨틱 속성을 갖는 4D 특징 필드를 생성하며, 이는 장면별 최적화 없이도 포인트 트래킹 및 동적 장면 이해와 같은 다운스트림 태스크를 가능하게 합니다.

3. 주요 기여

1. 컴팩트 쿼리 기반 표현: 픽셀 단위 가우시안 예측을 대체하는 타임스탬프 조건부 학습 가능 쿼리 세트를 도입하여, 뷰 의존적 편향과 고스팅 아티팩트를 효과적으로 완화했습니다.
2. 글로벌 모션 모델링: 글로벌 시간적 맥락의 집계를 강제하는 프레임워크를 통해, 입력 프레임 간의 큰 시간적 간격이 있는 경우에도 견고한 재구성을 가능하게 했습니다.
3. 렌더링 향상: C4G 출력에 조건화된 비디오 확산 모델을 통합하여 기하학적 일관성을 유지하면서 시각적 품질을 높이는 새로운 방법을 제시했습니다.
4. 전방향 특징 리프팅: 2D VFM 특징을 4D 특징 필드로 리프팅할 수 있는 최초의 전방향 아키텍처로, 동적 장면에서의 포인트 트래킹과 시맨틱 이해를 용이하게 합니다.

4. 실험 결과

저자들은 C4G를 여러 동적 벤치마크(DyCheck, ADT, TUM-Dynamics, NVIDIA)에서 평가하고, 장면별 최적화 방식 및 다른 전방향 4DGS 방식들과 비교했습니다.

• 새로운 뷰 합성 (Novel View Synthesis): C4G는 정답 카메라 포즈(ground-truth camera poses)를 요구하지 않고도 모든 데이터셋에서 최상위 수준(SOTA) 또는 경쟁력 있는 성능을 달성했습니다.
• 효율성: 모델은 픽셀 단위 방식(예: 약 800K 개)에 비해 훨씬 적은 수의 가우시안(약 0.007$\times$, 예: ~2K 개)을 사용하면서도 우수한 렌더링 품질을 유지합니다.
• 시간적 견고성: 다양한 입력 스트라이드($\Delta t$) 실험에서, C4G는 픽셀 단위 베이스라인이 큰 프레임 간 변위를 극복하지 못해 어려움을 겪는 것과 대조적으로, 시간적 간격이 증가함에 따라 성능 저하가 현저히 적음을 입증했습니다.
• 다운스트림 태스크:
  • 포인트 트래킹: C4G는 2D 포인트 트래킹에서 픽셀 단위 가우시안 방식보다 실질적으로 뛰어난 성능을 보여주며, 글로벌 모션을 모델링하는 능력을 검증했습니다.
  • 장면 이해: 리프팅된 4D 특징 필드는 동적 장면에서의 오픈 보캐블러리 추론과 시맨틱 세그멘테이션을 가능하게 하며, 정적 장면에 국한된 기존 전방향 방식들을 능가합니다.

5. 의의 및 주장

이 논문은 C4G가 모션 모델링을 본질적으로 제한하는 "픽셀 단위" 설계에서 벗어남으로써, 전방향 4D 재구 much의 패러다임 전환을 나타낸다고 주장합니다. 컴팩트한 표현을 강제함으로써, 모델은 입력 뷰를 암기하는 것이 아니라 글로벌하게 일관된 움직임을 학습하도록 유도됩니다.

저자들은 자사의 접근 방식이 다음과 같은 점을 강조합니다:

• 픽셀 단위 보간에 내재된 "고스팅" 및 "가려짐(occlusion)" 문제를 해결합니다.
• 희소한 시간적 입력(큰 $\Delta t$)이 있는 시나리오에서도 견고한 재구성을 가능하게 합니다.
• 렌더링뿐만 아니라 트래킹 및 시맨틱 이해와 같은 복잡한 다운스트림 태스크를 지원하는 통합된 4D 표현을 제공하며, 이 모든 과정에서 장면별 최적화에 따른 계산 비용을 발생시키지 않습니다.

본 연구는 AR/VR, 로보틱스, 콘텐츠 제작에 적합한 확장 가능한 범용 동적 장면 재구성을 향한 단계로 제시되며, 현재의 전방향 4DGS 방식들이 가진 근본적인 한계를 해결합니다.