기술 요약: MoGe4D – 조밀한 궤적 생성을 통한 기하학 인지형 단일 이미지 4D 합성

문제 정의

정적인 단일 이미지로부터 상호작로 가능한 동적 4D 장면을 생성하는 것은 컴퓨터 비전의 근본적인 과제입니다. 핵심적인 어려움은 정적인 관측으로부터 타당한 미래의 움직임과 3D 구조를 추론하는 동시에, 시간과 시점에 걸쳐 엄격한 시공간적 일관성을 유지하는 데 있습니다. 기존 방식들은 일반적으로 기하학(geometry)과 움직임(motion)을 두 개의 분리된 단계로 나누어 처리하며, 이는 다음과 같은 상당한 한계를 초래합니다:

• 생성 후 재구성 (Generate-then-Reconstruct): 이 방법들은 비디오 생성 모델을 사용하여 다시점 비디오를 먼저 합성한 후 4D 표현을 재구성합니다. 높은 수준의 고충실도 역동성을 제공하지만, 시점 간 엄격한 기하학적 일관성을 유지하지 못해 재구성 과정에서 아티팩트나 구조적 붕괴가 발생하는 경우가 많습니다.
• 재구성 후 생성 (Reconstruct-then-Generate): 이 방법들은 먼저 정적인 3D 구조를 구축한 다음 이를 애니메이션화합니다. 기하학적으로는 견고하지만, 소스 이미지에 잠재된 풍부한 동적 잠재력을 버리는 경우가 많아, 움직임을 단순하고 외부로 제약된 애니메이션(예: 흔들림)으로 제한하며, 스스로 시작되는 대규모 움직임(self-initiated, large-scale movements)을 구현하는 데 어려움을 겪습니다.

방법론

MoGe4D(Motion and Geometry-Aware image-to-4D Synthesis)는 기하학적 모델링과 움직임 생성을 밀접하게 결합하는 통합 프레임워크를 제안합니다. 이 방법은 두 단계를 별개로 취급하는 대신, 입력 이미지로부터 추론된 초기 기하학적 사전 정보(prior)로부터 직접 예측된 **조밀한 4D 포인트 궤적(dense 4D point trajectories)**으로 장면을 모델링합니다.

1. 데이터셋: TrajScene-60K

장면 수준의 4D 생성을 위한 고품질 학습 데이터의 부족 문제를 해결하기 위해, 저자들은 60,000개의 비디오 샘플로 구성된 TrajScene-60K 데이터셋을 구축했습니다.

• 출처: 2단계 자동 필터링 파이프라인을 통해 WebVid-10M에서 선별되었습니다.
• 필터링: 대규모 언어 모델(CogVLM2, DeepSeek-V3)을 사용하여 셀 수 있는 개체가 있고, 스스로 시작되는 비정형 또는 관절 운동이 있는 비디오를 필터링하였으며, 구조화되지 않은 역동성(예: 군중, 바람) 및 카메라 유도 움직임은 제외하였습니다.
• 주석(Annotation): DELTA 모델을 사용하여 조밀한 4D 포인트 트랙을 추출하고, 깊이 필터링을 통해 정제한 후 가우시안 스플래팅(Gaussian Splatting)으로 렌더링했습니다. 이 데이터셋은 3백만 개 이상의 프레임과 120억 개의 3D 포인트 주석, 그리고 프레임당 깊이 및 언어 설명을 포함합니다.

2. 4D 장면 궤적 생성기 (4D-STraG)

이는 초기 프레임에 대한 미래의 시변 포인트 궤적을 예측하는 핵심 확산 기반 모듈입니다.

• 아키텍처: Wan2.1 확산 트랜스포머(DiT)를 기반으로 구축되었습니다. 상대적인 포인트 변위를 RGB 모션 맵으로 변환하는 경량 궤적 인코더(Trajectory Encoder)와 궤적을 복구하는 궤적 디코더(Trajectory Decoder)를 채택했습니다.
• 깊이 가이드 모션 정규화 (Depth-Guided Motion Normalization): 스케일 모호성(근거리 객체의 작은 3D 움직임이 큰 2D 변위를 일으키는 현상)을 처리하기 위해, 초기 깊이($z$)에서의 시야각(viewing frustum) 크기에 상대적으로 움직임 벡터를 정규화합니다. 이를 통해 원시 움직임을 스케일 불변 표현으로 변환하여, 모델이 절대적인 공간 위치와 독립적으로 움직임 패턴을 학습할 수 있게 합니다.
• 모션 인지 모듈 (MPM): 기하학적 불일치를 도입하지 않으면서 이미지 투 비디오 모델의 모션 사전 정보를 활용하기 위해, MPM은 움직일 가능성이 높은 의미론적 영역을 식별합니다. 이는 사전 학습된 모션 특징 추출기(OmniMAE)를 사용하며, **모션 인식 적응형 정규화(MAdaNorm)**를 통해 이러한 특징을 확산 과정에 주입합니다. 이를 통해 토큰 단위의 변조(modulation)가 가능해져, 기하학적으로 일관된 방식으로 미세한 시간적 일관성을 제어할 수 있습니다.
• 학습 목표: 모델은 노이즈에서 데이터 분포로의 결정론적 흐름(deterministic flows)을 학습하기 위해 플로우 매칭(flow matching)을 사용하며, 예측된 플로우 필드와 실제 플로우 필드 사이의 오차를 최소화합니다.

3. 4D 뷰 합성 모듈 (4D-ViSM)

조밀한 4D 포인트 클라우드 궤적이 생성되면, 4D-ViSM은 이를 임의의 카메라 궤적에 따라 고충실도 동적 비디오로 렌더링합니다.

• 렌더링 전략: 각 시변 포인트 클라우드를 3D 가우시안으로 래스터화합니다. 새로운 시점에서 발생하는 폐쇄(occlusion)나 희소한 커버리지로 인한 구멍(hole) 문제를 해결하기 위해, 마스크 처리 기능이 있는 파인튜닝된 비디오 생성 모델(Wan2.1)을 활용합니다(투영되지 않은 영역의 마스크 값을 0.5로 설정). 이를 통해 누락된 영역을 완성하여 시각적 일관성을 보장합니다.

4. 추론 파이프라인

단일 이미지와 텍스트 프롬프트가 주어지면:

1. 초기 깊이를 추정합니다 (UniDepthv2).
2. 이미지를 잠재 공간(latents)으로 인코딩하고 깊이를 함께 인코딩하며, MPM을 통해 모션 특징을 추출합니다.
3. DiT가 상대적인 모션 잠재 공간을 생성합니다.
4. 깊이 가이드 전략을 사용하여 모션을 역정규화하고 초기 포인트 클라우드와 융합합니다.
5. 4D-ViSM을 사용하여 결과 4D 장면을 새로운 시점의 비디오로 렌더링합니다.

주요 기여

1. TrajScene-60K: 고품질 4D 장면의 조밀한 포인트 궤적을 포함한 60,000개의 대규모 데이터셋을 구축하여, 복잡한 장면 수준의 4D 생성을 위한 데이터 부족 문제를 해결했습니다.
2. 기하학 조건부 공식화 (Geometry-Conditioned Formulation): 초기 기하학적 사전 정보로부터 장면 궤적을 예측하는 새로운 접근 방식을 통해, 느슨하게 분리된 "생성 후 재구성" 또는 "재구성 후 생성" 방식의 의존성을 탈피했습니다.
3. 4D-STraG & 4D-ViSM: 구조적 안정성을 위한 깊이 가이드 모션 정규화 및 모션 인지 모듈을 갖춘 확산 기반 궤적 생성기와 고품질 새로운 시점 렌더링을 위한 뷰 합성 모듈을 제안했습니다.
4. 경험적 검증: 기존 베이스라인 모델들과 비교하여 시간적 일관성, 기하학적 인지 일관성, 시각적 충실도 측면에서 우수한 성능을 입증했습니다.

실험 결과

저자들은 VBench 표준 비디오 벤치마크와 커스텀 4D 일관성 지표를 사용하여 MoGe4D를 최신 방법들(4Real, GenXD, DimensionX, Gen3C, Free4D)과 비교 평가했습니다.

• 비디오 품질 (VBench): MoGe4D는 역동성 정도(Dynamic Degree) (일부 그룹에서 1.0000 달성), 미적 품질(Aesthetic Quality), **이미징 품질(Imaging Quality)**에서 베이스라인을 지속적으로 능가했습니다. 특히 최적화 기반 방법들과 비교했을 때 **피사체 일관성(Subject Consistency)**과 **배경 일관성(Background Consistency)**에서 강력한 성능을 보였습니다.
• 4D 일관성 (VLM 기반): Qwen2.5-VL-72B를 사용한 평가에서, MoGe4D는 3D 기하학적 일관성, 시간적 텍스처 안정성, **모션-기하학 결합(Motion-Geometry Coupling)**에서 가장 높은 점수를 기록하며, 복잡한 카메라 움직임 중에도 구조를 보존하는 능력을 검증했습니다.
• 기하학적 정확도: MoGe4D는 Free4D(0.252) 및 Gen3C(0.197)와 같은 베이스라인에 비해 현저히 낮은 평균 궤적 오차(Average Trajectory Error) (0.042–0.058)를 기록하면서도 경쟁력 있는 **3D 재투영 오차(3D Reprojection Errors)**를 유지했습니다.
• 효율성: 이 방법은 단일 A100 GPU에서 약 6분 만에 49프레임, 512×368 시퀀스를 합성하며, 이는 동일 해상도 하에서 Free4D보다 5배 빠르고 수 시간이 걸리는 최적화 기반 접근 방식보다 훨씬 빠릅니다.

의의 및 한계

의의:
본 논문은 MoGe4D가 최소한의 입력으로부터 4D 합성을 수행하는 새로운 기술적 경로를 구축한다고 주장합니다. 조밀한 궤적 생성을 통해 기하학과 움직임을 밀접하게 결합함으로써, 분리된 패러다임에서 발생하는 시공간적 불일치 문제를 극복합니다. 이 연구는 물리적으로 타당하고 구조적으로 안정적인 4D 생성을 달로하기 위해 대규모 고품질 데이터셋(TrajScene-60K)과 기하학적 조건부 사전 정보의 중요성을 강조합니다.

한 한계:
저자들은 이 방법이 극단적인 광학 조건(예: 강한 역광)과 매우 비정형적인 역동성(예: 혼란스러운 군중)에서 어려움을 겪는다는 점을 인정합니다. 이러한 엣지 케이스에서는 초기 기하학적 사전 정보를 얻기 위한 기성 단안 깊이 추정기에 대한 의존도가 높아져 노이즈가 발생할 수 있으며, 이는 신뢰할 수 없는 모션 생성으로 이어질 수 있습니다. 향후 연구에서는 이러한 물리적 극한 상황을 처리하기 위해 더 강력한 시각 기초 모델(visual foundation models)을 통합하는 것을 제안합니다.