기술 요약: World from Motion

문제 정의

단일 비디오로부터 동적인 세계의 기하학적 구조, 외형, 그리고 움직임을 복원하는 단안 4D 재구성은 임의의 시점과 시간에서의 렌더링을 가능하게 하는 것을 목표로 합니다. 고전적인 기하학 기반 방식은 관측이 잘 된 정적 영역에서는 뛰어나지만, 제약이 적은 영역에서는 추론 능력이 부족하여 새로운 뷰나 관측되지 않은 동적 요소를 생성하는 데 어려움을 겪습니다. 반대로, 생성형 비디오 모델은 학습된 사전 지식(prior)을 사용하여 고해상도 프레임을 합성할 수 있지만, 3D로 변환될 때 구조적 불일치를 초래하여 정밀한 4D 재구성에 필요한 다시점 일관성이 부족한 경우가 많습니다. 기존의 하이브리드 접근 방식은 일반적으로 기하학적 엄밀함과 생성적 표현력 사이의 균형을 맞추지 못하며, 이로 인해 정확한 구조를 선택하거나 유연한 역동성을 선택해야 하는 상황에 직면합니다. 핵심 과제는 구조가 결정된 곳에서는 기하학적 방식의 충실도를 달고, 그렇지 않은 곳에서는 생성적 사전 지식에 의존함으로써 두 가지를 모두 달성하는 방법을 만드는 것입니다. 특히 장면의 역동성(dynamics)에 있어 이 문제가 중요합니다.

방법론

**World from Motion (WfM)**은 재구성과 생성 모델링을 통합하는 4D 일관적 프레임워크입니다. 이 방법은 두 가지 주요 단계로 작동합니다.

1. 동적 3DGS 조건부 타겟 비디오 생성

과정은 오프더쉘프(off-the-shelf) 단안 4D 재구성 방법(예: MoSca 또는 WorldTree)에서 유도된 초기 동적 3D 가우시안 스플래팅(3DGS) 표현($G_0$)에서 시작됩니다. 이러한 초기 재구성은 단안 캡처의 불량한 문제(ill-posed nature)로 인해 플로터(floater), 누락된 영역, 잘못된 역동성 등의 문제를 겪을 수 있습니다.

이를 개선하기 위해, WfM은 디퓨전 트랜스포머(Diffusion Transformer) 백본을 기반으로 하는 비디오 생성 모델을 $G_0$로부터 렌더링된 조밀한 픽셀 정렬 4D 버퍼에 조건화합니다. 기존의 정적 조건화 방식과 달리, WfM은 입력 카메라 궤적과 타겟 카메라 궤적 모두를 따라 조건 신호를 렌더링합니다. 이 신호에는 다음이 포함됩니다:

• 외형(Appearance): RGB 이미지.
• 기하학(Geometry): 깊이 맵(depth maps), 표면 법선(surface normals), 및 불투명도(opacity).
• 움직임(Motion): 글로벌 좌표계에서 정의된 3D 장면 흐름(scene flow) 맵(픽셀별 변위).

모델 아키텍처는 이러한 4D 토큰을 처리하기 위해 VACE 스타일의 어댑터를 채택합니다. 추론 시에는 분류기 없는 가이던스(classifier-free guidance) 전략을 사용하여, 모델이 재구성 조건 예측을 향해 생성되도록 유도함으로써 기하학적 일관성을 보장합니다.

2. 4D 장면 표현의 정교화 (증류)

생성된 고품질 비디오는 단순한 시각적 출력이 아닙니다. 이는 밑바탕이 되는 4D 표현을 정교화하기 위한 감독 신호(supervision) 역할을 합니다. 이 방법은 가상 시점을 샘플링(최장점 샘플링 활용)하고, 해당 카메라들로부터 시간적으로 일관된 비디오를 생성합니다.

이렇게 합성된 관측값들은 원래의 입력 비디오와 함께 동적 3DGS 표현($G_0$)을 **재최적화(re-optimize)**하는 데 사용됩니다. 최적화 과정에는 다음이 포함됩니다:

• 깊이 정렬(Depth Alignment): 스케일 모호성을 해결하기 위해 입력 및 생성된 비디오에 대한 깊이를 공동으로 추정합니다.
• 초기화(Initialization): 누락된 콘텐츠를 채우기 위해 생성된 뷰의 깊이 맵을 역투영(backprojecting)하여 새로운 가우시안을 초기화합니다.
• 공동 최적화(Joint Optimization): 가우시안 속성(중심, 회전, 스케일, 불투명도)과 결정적으로 움직임 표현을 업데이트합니다. 움직임 파라미터는 실제 및 생성된 뷰로부터의 광도(photometric), 지각(perceptual), 트랙 손실(track loss)에 의해 유도되어, 초기 재구성의 부정확한 3D 트랙을 수정하도록 재최적화됩니다.

주요 기여

1. 통합 프레임워크: 동적 3D 가우시안 표현에 비디오 생성 모델을 조건화하여, 4D 재구성과 생성 모델링을 효과적으로 통합한 최초의 방법입니다.
2. 4D 조건화 메커니즘: 입력 및 타겟 카메라 궤적을 따라 조밀한 4D 버퍼(외형, 기하학, 3D 움직임)를 렌더링함으로써 조건화를 달성하는 새로운 접근 방식으로, 역동적인 장면 합성을 위한 강력한 가이던스를 제공합니다.
3. 증류 절차(Distillation Procedure): 생성된 샘플을 통일된 고품질 동적 3DGS 표현으로 증류하는 최적화 절차를 제공합니다. 이 과정은 더 많은 생성이 포함됨에 따라 움직임 품질을 높이고 재구성 충실도를 향상시킵니다.
4. 특화된 데이터셋: 모델을 효과적으로 훈련하기 위해, 단안 재구성의 특징적인 아티팩트를 시뮬레이션하는 쌍을 이룬 동적 3D 가우시안 표현과 그라운드 트루스 다시점 비디오로 구성된 정교한 데이터셋을 구축했습니다.

결과

이 방법은 DyCheck 벤치마크와 홀드아웃(held-out) MultiCamVideo 검증 세트, 그리고 도전적인 "in-the-wild" 비디오를 대상으로 평가되었습니다.

• 정량적 성능: DyCheck 벤치마크에서 WfM은 비디오 생성기의 추가 최적화 없이도 지각적 품질(LPIPS)과 PSNR에서 새로운 SOTA(state-of-the-art)를 기록했습니다. 증류된 동적 3DGS 표현은 이러한 지표를 더욱 개선하여, 비생성형 베이스라인(Shape of Motion, MoSca, WorldTree) 및 하이브리드 방식(CAT4D, ViDAR)을 능가했습니다.
• 움록 품질: 이 방법은 초기 재구성에 비해 3D 트랙 정확도(PCK@0.05로 측정)를 크게 향상시켰으며, 이는 생성된 샘플의 광도 제약이 근본적인 움직임 추정을 교정함을 입증합니다.
• 일반화 능력: 이 접근 방식은 큰 시점 변화와 역동적인 움직임이 있는 "in-the-wild" 비디오를 성공적으로 처리하며, 정적 영역을 존중하면서 시각적 아웃페인팅(outpainting), 저하된 역동성 수정, 프러스트럼 외부(out-of-frustum) 역동성 추론을 수행합니다.
• 절제 연구(Ablation Studies): 실험을 통해 3D 장면 흐름 조건화, 뷰 간 공동 깊이 정렬, 그리고 움직임 스캐폴드(motion scaffold)의 재최적화의 필요성을 확인했습니다. 성능은 가상 카메라의 수에 따라 증가하며(약 8개에서 포화), 더 큰 비디오 생성 용량의 혜축을 받습니다.

의의 및 주장

본 논문은 World from Motion을 제한된 2D 관측으로부터 4D 구조를 추론하는 인간의 시각적 능력을 모사하는 중요한 단계로 규정합니다. 기하학적 엄밀함과 생성적 표현력 사이의 간극을 성공적으로 메움으로써, 이 방법은 정적 요소와 동적 요소를 분리하고 조밀한 3D 장면 흐름을 추정하는 동적 세계 모델링의 근본적인 어려움을 해결합니다.

저자들은 WfM이 다음과 같은 성과를 거두었다고 주장합니다:

• 표준 벤치마크에서 4D 재구성 품질의 새로운 SOTA를 설정했습니다.
• 실제 환경의 통제되지 않은 비디오 데이터에 원활하게 일반화됩니다.
• 단안 입력을 통해 지속 가능하고 이동 가능한 세계 스냅샷을 복구함으로써 고품질 4D 캡처의 부담을 줄여줍니다.
• 일관되고 고충실도의 동적 자산을 제공함으로써 로봇 시뮬레이션, 공간 인지, 몰입형 AR/VR 분야의 미래 응용을 위한 경로를 제시합니다.

저자들은 초기 장면 재구성이 완전히 실패하거나 타겟 궤적이 입력 궤적에서 극도로 벗어날 경우 방법론이 어려움을 겪을 수 있다는 한계를 인정합니다. 그러나 이 연구는 반복적인 정교화 루프와 비디오 생성 모델링의 메모리 지속성을 포함하는 향후 연구를 위한 토대를 마련했습니다.