MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

이 논문은 단일 영상으로부터 1 초 만에 4D 동적 장면을 재구성하고, 외관·기하·모션을 통합적으로 모델링하여 다양한 제로샷 응용을 지원하는 MoVieS 모델을 제안합니다.

핵심

🎬 MoVieS: 1 초 만에 움직이는 3D 세상을 만들어내는 마법

이 논문은 MoVieS(Motion-Aware View Synthesis) 라는 새로운 인공지능 기술을 소개합니다. 이름만 들어도 알 수 있듯이, 이 기술은 **단순한 사진이 아니라 '움직임'까지 이해하는 4 차원 **(시간이 포함된 3D)을 만드는 데 특화되어 있습니다.

기존의 기술들이 한 장의 정지된 사진을 3D 로 만드는 데 집중했다면, MoVieS 는 동영상 한 편을 보고 그 안의 모든 사물이 어떻게 움직이고 변하는지 1 초 만에 완벽하게 재구성해냅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "부서진 유리조각"이 아니라 "살아있는 구슬"

기존의 3D 재구성 기술 (예: 3D Gaussian Splatting) 은 장면을 수백만 개의 **'작은 유리조각 **(Gaussian)으로 나눕니다. 이 조각들이 모여 3D 장면을 이루는데, 문제는 이 조각들이 움직이지 않는 정지된 상태라는 점입니다.

MoVieS 의 혁신은 바로 이 조각들에게 생명을 불어넣은 것입니다.

• 비유: 기존 기술이 정지된 인형극이라면, MoVieS 는 인형들이 스스로 춤추고 움직이는 애니메이션입니다.
• **동적 스퍼터 픽셀 **(Dynamic Splatter Pixel) MoVieS 는 각 픽셀 (화소) 을 단순한 점으로 보지 않고, **시간이 지남에 따라 모양과 위치를 바꿀 수 있는 '살아있는 구슬'**로 취급합니다. 카메라가 움직이거나 사물이 움직일 때, 이 구슬들이 자연스럽게 따라 움직이도록 설계된 것입니다.

2. 어떻게 1 초 만에 만들까? (학습된 직관)

기존의 방법들은 새로운 장면을 만들 때마다 수십 분에서 몇 시간씩 걸려서 하나하나 조각을 맞추는 '수공예' 방식이었습니다. 마치 퍼즐을 하나하나 맞춰가며 그림을 완성하는 것과 비슷합니다.

하지만 MoVieS 는 **대규모 데이터를 미리 공부한 '천재 예술가'**와 같습니다.

• 비유: MoVieS 는 수만 개의 영화와 동영상을 보며 "사람이 걷는 법", "차가 달리는 법", "물결치는 법"을 이미 머릿속에 완벽하게 외워둔 상태입니다.
• 결과: 새로운 동영상을 입력하면, 이 '외운 지식'을 바탕으로 1 초 이내에 3D 구슬들의 위치와 움직임을 예측해냅니다. 마치 마법처럼 순식간에 3D 세상을 만들어내는 것입니다.

3. MoVieS 가 할 수 있는 일 (세 가지 능력)

이 모델은 세 가지 일을 동시에 해냅니다. 마치 눈, 귀, 그리고 몸이 하나로 통합된 것과 같습니다.

1. **눈 **(외관 & 기하학) 사물이 어떤 색인지, 어떤 모양인지 (외관) 와 공간에 어떻게 배치되어 있는지 (기하학) 를 정확히 파악합니다.
2. **몸 **(움직임) 사물이 시간이 지남에 따라 어떻게 움직이는지 (모션) 를 계산합니다.
3. **마법 **(새로운 시점 & 시간)
   • 새로운 시점: 카메라가 실제로 찍지 않은 각도에서도 장면을 볼 수 있습니다. (예: 영화 속 주인공의 뒤에서 찍은 장면을 앞으로 돌려서 보는 것)
   • 새로운 시간: 동영상이 찍히지 않은 '중간 시간'의 장면을 만들어냅니다. (예: 공이 날아가는 중간 순간을 멈춰서 자세히 보는 것)

4. 왜 이것이 중요한가? (실생활 적용)

이 기술은 단순히 영상을 예쁘게 만드는 것을 넘어, 다양한 분야에서 혁신을 일으킬 수 있습니다.

• 로봇과 자율주행: 로봇이 복잡한 거리를 걸을 때, 정지된 지도만 보는 게 아니라 사람과 차가 어떻게 움직이는지 실시간으로 예측할 수 있게 도와줍니다.
• **증강현실 **(AR/VR) 게임이나 가상현실에서 실제 환경과 완벽하게 어울리는 움직이는 3D 객체를 즉시 생성할 수 있습니다.
• 영상 편집: 촬영하지 않은 각도나 시간을 자연스럽게 만들어내어, 영화 제작 비용을 획기적으로 줄여줍니다.
• 보안 및 감시: 움직이는 물체 (도난당한 물품이나 침입자) 를 자동으로 찾아내고 분리해내는 '움직임 감지' 기능을 무료로 제공합니다.

5. 요약: MoVieS 의 핵심 메시지

**"기존의 기술은 정지된 사진을 3D 로 만드는 데 10 분 걸렸다면, MoVieS 는 움직이는 동영상을 4D **(시간이 포함된 3D)

이 기술은 **움직임 **(Motion)을 이해하는 것이야말로 3D 세상을 진짜처럼 만드는 열쇠임을 증명했습니다. 이제 우리는 컴퓨터가 단순히 '보는' 것을 넘어, 움직이는 세상을 '이해'하고 '예측'하는 시대에 들어섰습니다.

---

한 줄 요약:

MoVieS 는 동영상을 보고 1 초 만에 "움직이는 3D 세상"을 만들어내는, AI 의 마법 같은 능력입니다.

기술 요약

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

1. 문제 정의 (Problem)

기존의 3D 장면 이해 및 신관 뷰 합성 (Novel View Synthesis, NVS) 연구들은 주로 정적 (Static) 인 장면을 가정하거나, 각 작업을 개별적으로 처리하는 경향이 있었습니다.

• 동적 장면의 한계: 실제 세계는 동적이며 다양합니다. 기존 동적 장면 재구성 방법들은 대부분 장면별 최적화 (per-scene optimization) 를 필요로 하거나, 광학 흐름 (optical flow), 포인트 트래킹 등 외부 감독 신호에 의존하여 학습 전 지식을 활용하지 못했습니다.
• 비효율성: 이러한 방법들은 추론 속도가 매우 느리고 (수 분에서 수십 분 소요), 대규모 데이터셋에서 학습된 사전 지식 (prior knowledge) 을 효과적으로 활용하지 못해 일반화 능력이 떨어집니다.
• 통합 부재: 외관 (Appearance), 기하학 (Geometry), 운동 (Motion) 을 단일 프레임워크 내에서 통합적으로 모델링하는 방법이 부족했습니다.

2. 방법론 (Methodology)

저자들은 MoVieS(Motion-aware View Synthesis) 라는 새로운 피드포워드 (feed-forward) 모델을 제안했습니다. 이 모델은 단안 비디오 (monocular video) 를 입력받아 1 초 이내에 4D 동적 장면을 재구성하고, 외관, 기하학, 운동을 통합적으로 학습합니다.

• 핵심 표현: Dynamic Splatter Pixel

  • 동적 3D 장면을 렌더링 가능한 변형 3D 입자 (deformable 3D particles) 인 'Dynamic Splatter Pixel'로 표현합니다.
  • 각 픽셀은 기준 좌표계 (canonical space) 의 3D 가우시안 원시 (Gaussian primitive) 와 시간 의존적 변형장 (deformation field) 으로 구성됩니다.
  • 정적 구조: $x$ (위치), $a$ (색상, 불투명도, 스케일 등).
  • 동적 운동: 시간 $t$에 따른 변위 $\Delta x(t)$ 및 속성 변화 $\Delta a(t)$를 예측하여 시계열적 추적을 가능하게 합니다.

• 아키텍처

  • 공유 이미지 인코더 및 백본: VGGT (Visual Geometry Grounded Transformer) 를 기반으로 한 사전 학습된 트랜스포머 백본을 사용하여 각 비디오 프레임을 인코딩하고 어텐션 메커니즘을 통해 시공간 정보를 집계합니다.
  • 카메라 조건부 (Conditioning): 카메라 포즈와 내파라미터를 플뤼커 임베딩 (Plücker embedding) 과 카메라 토큰 (Camera token) 으로 인코딩하여 특징에 주입합니다.
  • 세 가지 예측 헤드 (Prediction Heads):
    1. Depth Head: 각 프레임의 깊이 (Depth) 를 추정하여 3D 가우시안의 공간적 위치를 결정합니다.
    2. Splatter Head: 각 픽셀의 3D 가우시안 외관 속성 (색상, 불투명도 등) 을 예측하여 새로운 뷰 합성을 수행합니다.
    3. Motion Head: 쿼리 타임스탬프 (query timestamp) 에 조건부로 가우시안 원시의 3D 운동 벡터 ($\Delta x$) 와 속성 변형을 예측합니다. 이는 적응형 레이어 정규화 (AdaLN) 를 통해 시간 정보를 주입받습니다.

• 학습 전략 (Training Strategy)

  • 다양한 데이터셋 활용: 정적 (RealEstate10K, MatrixCity 등) 과 동적 (PointOdyssey, Stereo4D 등) 장면을 포함하는 대규모 이질적 데이터셋을 활용합니다.
  • 멀티태스크 손실 함수: 깊이 손실 (Depth loss), 렌더링 손실 (Rendering loss), 운동 손실 (Motion loss) 을 결합합니다.
  • 운동 감독 (Motion Supervision): 포인트 트래킹 데이터가 있는 경우, 점별 L1 손실과 분포 손실 (distribution loss, 프레임 내 상대적 거리 구조 보존) 을 함께 사용하여 운동의 정확도를 높입니다.
  • 커리큘럼 학습: 정적 장면 프리트레이닝 $\rightarrow$ 동적 장면 학습 $\rightarrow$ 고해상도 파인튜닝 단계를 거쳐 학습 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 통합 4D 프레임워크: 단안 비디오로부터 외관, 기하학, 운동을 통합적으로 모델링하는 최초의 피드포워드 4D 재구성 모델을 제안했습니다.
2. Dynamic Splatter Pixel: 정적 가우시안 스플래터링을 동적 장면에 적용하기 위해 변형 가능한 3D 입자 표현을 도입하여, 신관 뷰 합성과 동적 기하학 재구성을 연결했습니다.
3. 초고속 추론 및 제로샷 적용: 기존 최적화 기반 방법보다 수백 배 빠른 추론 속도 (약 1 초) 를 달성했으며, 추가 학습 없이도 장면 흐름 (Scene Flow) 추정, 이동 객체 분할 등 다양한 제로샷 (zero-shot) 응용이 가능합니다.

4. 실험 결과 (Results)

• 신관 뷰 합성 (Novel View Synthesis):
  • 정적 장면: RealEstate10K 에서 기존 SOTA 피드포워드 방법들 (DepthSplat, GS-LRM 등) 과 경쟁력 있는 성능을 보였습니다.
  • 동적 장면: DyCheck 및 NVIDIA 동적 장면 데이터셋에서 MoSca, Shape-of-Motion 등 최적화 기반 방법들보다 PSNR, SSIM, LPIPS 지표에서 우수한 성능을 보였습니다.
  • 속도: 기존 방법들이 수 분에서 수십 분이 소요되는 반면, MoVieS 는 약 0.93 초 만에 재구성을 완료하여 수백 배의 속도 향상을 달성했습니다.
• 3D 포인트 트래킹 (3D Point Tracking):
  • TAPVid-3D 벤치마크에서 BootsTAP, CoTracker3, SpatialTracker 등 강력한 베이스라인을 압도하는 성능을 기록했습니다. 특히 3D 공간에서의 오차 (EPE3D) 가 현저히 낮았습니다.
• 제로샷 응용:
  • 명시적인 운동 분할 감독 없이도 학습된 운동 맵을 임계값 처리하여 이동 객체 분할을 수행하거나, 장면 흐름 (Scene Flow) 을 추정하는 데 성공했습니다.

5. 의의 및 중요성 (Significance)

• 효율성과 일반화의 균형: MoVieS 는 대규모 데이터셋에서 학습된 강력한 사전 지식을 활용하여, 별도의 최적화 과정 없이도 동적 장면을 실시간에 가깝게 재구성할 수 있음을 증명했습니다.
• 다목적 활용성: 단일 모델로 깊이 추정, 3D 포인트 트래킹, 신관 뷰 합성, 장면 흐름 추정 등 다양한 4D 인지 태스크를 수행할 수 있어 로봇공학, AR/VR, 자율주행 등 embodied AI 분야에 필수적인 기술로 평가됩니다.
• 미래 지향성: 이 연구는 동적 장면 이해를 위한 범용 (generalizable) 모델 개발의 중요한 발걸음이며, 물리적 세계를 이해하고 상호작용해야 하는 에이전트들에게 필수적인 공간 지능을 제공합니다.

요약하자면, MoVieS는 동적 3D 장면을 단안 비디오로부터 1 초 만에 재구성하는 혁신적인 모델로, 기존 방법들의 느린 속도와 높은 계산 비용을 극복하면서도 우수한 정확도와 다양한 응용 가능성을 제시했습니다.