TriMotion: Modality-Agnostic Camera Control for Video Generation

기술 요약: TriMotion

문제 정의

카메라 모션 제어는 시점 변화를 유도하고, 영화적 공간을 구성하며, 생성 비디오 시스템에서 사용자의 의도를 실현하는 핵심적인 기술입니다. 최근 조건부 비디오 확산 모델(conditional video diffusion models)의 발전으로 다양한 조건 신호가 가능해졌으나, 기존의 카메라 제어 방식은 일반적으로 특정 단일 입력 양식(modality)에 국한되어 있습니다.

• **포즈 조건 방식(Pose-conditioned methods)**은 명시적인 기하학적 카메라 궤적이 필요하며, 이는 일반 사용자에게 직관적이지 않고 정확하게 지정하기 어렵습니다.
• **참조 비디오 기반 방식(Reference-video-based approaches)**은 모션 패턴을 암시적으로 인코딩하지만, 명시적인 궤적 제어가 부족하고 유연성이 제한적입니다.
• **텍스트 설명(Text descriptions)**은 직관적이지만, 명시적인 시간적 구조와 기하학적 제약이 부족하여 정밀하고 물리적으로 일관된 궤적 실행을 구현하기 어렵기 때문에 카메라 제어 분야에서는 충분히 탐구되지 않았습니다.

이러한 양식별 제한은 생성 시스템의 유연성을 저해합니다. 따라서 이질적인 입력(비디오, 포즈, 텍스트)을 연결하여 다양한 입력 유형에 걸쳐 일관된 카메라 모션 제어를 가능하게 하는 공유된 모션 표현(shared motion representation)이 필요합니다.

방법론

저자들은 카메라 제어가 가능한 비디오 생성을 위한 통합된 양식 불가지론적(modality-agnostic) 프레임워크인 TriMotion을 제안합니다. 이 프레임워크는 비디오, 포즈, 텍스트와 같은 다양한 제어 신호를 하나의 연속적인 모션 임베딩 공간으로 매핑합니다.

1. 모션 트리플릿 데이터셋 (Motion Triplet Dataset)

교차 양식 간의 동기화된 감독(supervision)이 필요한 크로스 모달 공간을 학습시키기 위해, 저자들은 Multi-Cam Video Dataset을 확장하여 모션 트리플릿 데이터셋을 구축했습니다.

• 소스: 정확한 그라운드 트루스 카메라 외부 파라미터(extrinsics)를 포함한 136K개의 고충실도 Unreal Engine 5 비디오.
• 처리: 자동화된 파이프라인을 통해 원시 카메라 외부 파라미터를 기하학에 기반한 자연어 설명으로 변환합니다.
  • 원시 포즈 시퀀스는 첫 번째 프레임에 고정된 상대적 궤적으로 변환됩니다.
  • 프레임별 이동(translation) 및 회전(rotation) 변화를 계산하고, 이를 정형화된 카메라 동작(예: Dolly, Pan, Tilt)에 매핑하여 압축된 심볼릭 시퀀스를 형성합니다.
  • 대규모 언어 모델(Qwen3-4B-Instruct)이 두 단계의 설명을 생성합니다: 짧은 요약과 시간적 전이 및 속도 변화를 기술하는 상세한 단락으로, 이때 명시적인 수치 값은 피합니다.
• 결과: 비디오, 카메라 궤적, 모션 설명이 정렬된 감독 정보를 제공하는 데이터셋을 확보했습니다.

2. 통합 모션 임베딩 공간 (Unified Motion Embedding Space)

TriMotion은 비디오, 텍스트, 포즈 입력이 정렬되는 공유 표현을 학습합니다.

• 인코더: 양식별 인코더($\Phi_{video}, \Phi_{text}, \Phi_{pose}$)는 모션 토큰 시퀀스를 생성합니다.
  • 비디오: 다중 뷰 기하 정보를 바탕으로 VGGT 기반의 특징 집계 모듈을 사용하여 카메라 토큰을 추출합니다.
  • 텍스트: 고정된 T5 인코더와 학습 가능한 모션 쿼리를 사용하여 텍스트 토큰에 크로스 어텐션(cross-attend)함으로써 시간적 역동성을 추론합니다.
  • 포즈: 평탄화된 카메라 외부 행렬을 프레임별 MLP를 통해 투영합니다.
• 정렬 목적 함수: 인코더는 다음을 보장하기 위해 복합 손실 함수로 학습됩니다:
  • 전역 정렬(Global Alignment): InfoNCE 손실을 통해 양식 간의 글로벌 모션 토크를 정렬합니다.
  • 시간적 동기화(Temporal Synchronization): 대응하는 시간적 토큰 간의 코사인 거리를 최소화합니다.
  • 기하학적 충실도(Geometric Fidelity): 공유된 포즈 회귀 모델이 임베딩으로부터 카메라 외부 파라미터를 예측하여, 공간이 물리적 3D 기하 구조를 보존하도록 합니다.

3. 잠재 모션 일관성 (Latent Motion Consistency)

픽셀 공간 디코딩 비용 없이 엄격한 기하학적 일관성을 보장하기 위해, TriMotion은 잠재 모션 일관성 목적 함수를 도입합니다.

• 모션 임베딩 예측기 ($\mathcal{M}_{pred}$): 깨끗한 잠재 비디오 표현($z_0$)으로부터 모션 임베딩 시퀀스를 추정하는 3D 컨볼루션과 시간적 트랜스포머로 구성된 모듈입니다.
• 학습 전략: 예측기는 타겟 모션 임베딩이 그라운드 트루스 비디오로부터 도출된 것과 일치하도록 학습됩니다.
• 확산 통합: 확산 학습 중, 모델은 노이즈가 섞인 입력으로부터 깨끗한 타겟 잠재 표현을 재구성합니다. 이 재구성된 잠재 표현은 고정된 예측기에 입력됩니다. 이후 예측된 모션 임베딩은 모션 일관성 손실을 사용하여 타겟 모션 임베딩과 비교됩니다. 이는 생성된 궤적이 잠재 공간에서 타겟과 직접적으로 일치하도록 강제합니다.

4. 생성 백본 (Generation Backbone)

프레임워크는 잠재 비디오 확산 트랜스포머를 활용합니다.

• 조건화(Conditioning): 디노이저(denoiser)는 전역 외관 설명, 첫 번째 소스 프레임, 그리고 블록별 투영 MLP를 통해 주입되는 통합 모션 임베딩 시퀀스에 의해 조건화됩니다.
• 학습: 모델은 균형 잡힌 공동 학습(joint training)을 통해 I2V(Image-to-Video) 및 V2V(Video-to-Video)를 모두 지원하며, 사전 학습된 생성적 사전 지식(generative priors)을 보존하기 위해 어텐션 레이어와 투영 MLP만을 업데이트합니다.

주요 기여

1. TriMotion 프레임워크: 비디오, 포즈 또는 텍스트 입력을 공유 모션 임베딩 공간으로 매핑함으로써 카메라 제어를 가능하게 하는 통합된 접근 방식을 제공합니다.
2. 모션 트리플릿 데이터셋: 다중 뷰 비디오와 기하학에 기반한 텍스트 설명을 쌍으로 구성하여 동기화된 멀티모달 감독을 가능하게 하는 새로운 데이터셋을 구축했습니다.
3. 잠재 모션 일관성: 픽셀 공간의 반복적인 디코딩 없이 궤적 충실도를 높이기 위해 확산 백본을 규제하는 새로운 목적 함수를 제안합니다.
4. 교차 양식 능력: 공유된 임베딩 공간을 통해 순차적 모션 합성(서로 다른 양식의 모션을 결합) 및 교차 양식 모션 보간(interpolation)과 같은 새로운 응용을 가능하게 합니다.

실험 결과

Koala-36M 및 RealEstate10K 데이터셋을 사용하여 I2V 및 V2V 작업에 대해 광범가한 실험을 수행했습니다.

• 정량적 성능: TriMotion은 시각적 품질(FVD, FID, CLIP Score), 동적 품질(Motion Smoothness, Temporal Flickering), 카메라 모션 정확도(Rotation Error, Translation Error, CamMC) 전반에서 최고 수준(SOTA) 또는 경쟁력 있는 결과를 달로 달성했습니다. 특히, 포즈 조건 변형이 대부분의 지표에서 가장 우수한 성능을 보였으나, 비디오 및 텍스트 변형 또한 매우 높은 경쟁력을 유지하여 공유 공간의 효과를 입증했습니다.
• 정성적 비교: TriMotion은 CamI2V, MotionClone, ReCamMaster와 같은 베이스라인 모델보다 더 깨끗한 비디오를 생성하고 모션이 안정적이며, 타겟 궤적을 더 충실히 따릅니다. 또한 명시적인 3D 포인트 클라우드 렌더링에 의존하는 방식(예: TrajectoryCrafter)에서 나타나는 아티팩트나 텍스처 저하 현상을 방지합니다.
• 어블레이션 연구(Ablation Studies):
  • 잠재 모션 일관성 손실을 제거하면 카메라 정확도가 크게 저하됩니다.
  • 타겟 전용 조건화(Target-only conditioning)가 소스/타겟 임베딩의 결합(concatenation)이나 차감(subtraction)보다 가장 깨끗한 모션 신호를 제공합니다.
  • 통합 모션 공간은 강력한 교차 양식 정렬(높은 Recall@1)과 기하학적 충실도(경쟁력 있는 포즈 회귀 정확도)를 보여줍니다.
• 사용자 조사: 인간 평가를 통해 기하학 기반 캡셔닝 파이프라인이 고품질의 설명을 생성하며, TriMotion이 기존 방식보다 아티팩트가 적고 타겟 모션을 더 충실히 따르는 비디오를 생성함을 확인했습니다.

의의 및 주장

본 논문은 TriMotion이 양식별 입력의 한계를 극복함으로써 카메라 제어 가능 비디오 생성의 새로운 벤치마크를 설정한다고 주장합니다. 공유 모션 임베딩 공간을 학습함으로써, 이 프레임워크는 이질적인 입력에 걸쳐 유연하고 일관된 카메라 제어를 가능하게 합니다.

저자들은 잠재 모션 일관성 목적 함수가 전통적인 디코딩 병목 현상을 우회하면서 궤적 충실도를 향상시키는 데 결정적이라고 강조합니다. 또한, 공유 공간은 재학습이나 수동 궤적 설계 없이도 순차적 모션 합성과 교차 양식 모션 보간을 성공적으로 수행함으로써 새로운 상호작용 패러다임을 개척했습니다.

논문은 마지막으로, TriMotion이 부드러운 카메라 모션을 효과적으로 전달하지만, 보지 못한 넓은 영역을 요구하는 극단적인 궤적의 경우 경계 외삽(outpainting) 아티팩트가 발생할 수 있음을 인정하며 겸허히 마무리합니다. 향후 연구로는 명시적인 3D 배경 아웃페인팅을 통합하거나, 컬러 그레이딩와 같은 다른 영화적 속성을 공동으로 모델링하는 방향이 제시되었습니다.