기술 요약: OmniDirector

문제 정의

카메라 움직임은 비디오 생성에서 분위기, 감정, 서사적 깊이를 형성하는 핵심적인 요소입니다. 그러나 기존의 카메라 제어 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 텍스트 설명: 접근성은 높지만, 미묘한 영화적 속성을 정밀하게 정의하는 데 실패합니다.
2. 명시적 파라미터 표현: 행렬(matrices)이나 플뤼커 좌표(Plücker coordinates)를 사용하는 방식은 정밀도는 높으나, 사용자 장벽이 높고 멀티샷 생성 및 샷 전환 처리에 어려움을 겪습니다.
3. 비디오 참조 방식:
   • 명시적 파라미터 추출: 참조 환경과 공간적 규모가 다른 생성된 장면으로 카메라 궤적을 전이할 때 스케일 모호성(scale ambiguities) 문제가 발생합니다.
   • 암시적/엔드 투 엔드 학습: 동일한 카메라 움직임을 가지되 서로 다른 콘텐츠를 가진 교차 쌍 데이터(cross-paired data)에 의존합니다. 이러한 데이터는 현실 세계에서 매우 희귀합니다. 합성 데이터가 이를 완화할 수는 있지만, 실제 영상의 서사적 복잡성을 따라가지 못해 샷 컷(shot cuts) 및 복잡한 전환을 처리하는 성능이 떨어지는 경우가 많습니다. 또한, 기존 방식들은 모델이 카메라 궤적이 아닌 참조 비디오의 외형이나 캐릭터 움직임을 의도치 않게 복제하는 "정보 누출(information leakage)" 문제를 겪기도 합니다.

따라서 교차 쌍 학습 데이터 없이도 참조 비디오로부터 복잡한 멀티샷 카메라 움직임을 클로닝할 수 있는 범용적인 프레임워크가 부재한 상황입니다.

방법론

저자들은 멀티샷 카메라 클로닝을 달성하기 위해 멀티모달 디퓨전 트랜스포머(MMDiT)를 위한 통합 프레임워크인 OmniDirector를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 카메라 그리드 표현 (Camera Grid Representation)

카메라 움직임을 장면 콘텐츠로부터 분리하고 확장 가능한 학습을 가능하게 하기 위해, 저자들은 카메라 그리드를 도입했습니다.

• 개념: 원본 비디오나 명시적 파라미터를 사용하는 대신, 카메라 움직임을 3D 빈 공간 내의 공간 그리드를 포함하는 비디오로 렌더링합니다.
• 구축:
  • 참조 비디오에서 카메라 포즈($R_i, t_i$)를 추출합니다.
  • 바닥, 천장, 그리고 카메라 궤적을 둘러싸는 "터널 벽"을 나타내는 직교 그리드 라인을 사용하여 빈 3D 장면을 모델링함으로써 상대적 움직임을 시각화합니다.
  • 왜곡 모델(예: Kannala–Brandt 모델)을 사용하여 피쉬아이 왜곡(fisheye distortion) 및 돌리 줌(dolly zoom, 히치콕 줌)과 같은 특수 효과를 지원합니다.
• 장점:
  • 범용성: 싱글 샷과 멀티 샷 클로닝을 통합합니다.
  • 분리(Decoupling): 빈 장면을 통해 외형이나 캐릭터 움직임으로부터의 간섭을 방지합니다.
  • 확장성: 모든 비디오를 카메라 그리드로 변轉換할 수 있어, 수동으로 큐레이션된 교차 쌍 데이터 없이도 백만 규모의 학습 데이터셋을 구축할 수 있습니다.

2. OmniDirector 아키텍처 및 학습

• 아키텍처: 멀티모달 디퓨전 트랜스포머(MMDiT)를 기반으로 구축되었습니다.
• 입력 주입: 카메라 그리드($G$), 참조 이미지($I$), 노이즈가 섞인 비디오 잠재 변수($Z_v$)를 3D VAE를 통해 인코딩하고 프레임 차원에서 결합하여 통합 시공간 표현($z_{vis}$)을 형성합니다. 텍스트 조건은 별도로 처리되며 조인트 어텐션(joint attention)을 통해 시각적 토큰과 상호작용합니다.
• 학습 전략:
  • 데이터셋: 180만 개의 인터넷 규모 비디오 쌍(참조 비디오 + 생성된 카메라 그리드)으로 학습되었습니다.
  • 자기 재구성 목적 함수(Self-Reconstruction Objective): 학습 샘да 중 30%는 카메라 그리드 자체를 타겟 비디오로 사용합니다. 이는 모델이 그리드를 단순한 힌트로 취급하는 것이 아니라, 기하학적 구조와 시간적 역동성을 학습하도록 강제하여 허구적 상관관계에 과적합되는 것을 방지합니다.

3. 계층적 프롬프트 확장(PE) 에이전트

추론 과정에서 카메라 제어를 다른 신호(사용자 프롬프트, 참조 이미지)와 조화롭게 통합하기 위해 새로운 PE 에이전트를 사용합니다.

• 카메라 프롬프트 생성: MLLM(Qwen3-VL)이 다음으로 분해된 카메라 프롬프트($T_c$)를 생성합니다:
  • 샷 간(Inter-shot): 인접한 샷 사이의 관계를 분석하여 전환 시의 의미론적 일관성을 보장합니다.
  • 샷 내(Intra-shot): 포즈 추정과 시각적 보정을 바탕으로 개별 샷 내의 카메라 움직임을 설명합니다.
• 의미론적 융합(Semantic Fusion): 에이전트는 카메라 프롬프트, 참조 이미지, 사용자 프롬프트를 하나의 응집된 텍스트 조건으로 융합하여 충돌과 배경 누출을 방지합니다.
• 적응형 분류기 없는 가이드(Adaptive Classifier-Free Guidance, CFG): 조ละเอียด(coarse-to-fine) 디노이징 전략이 사용됩니다. 고노이즈 단계에서는 글로벌 공간 구조를 확립하기 위해 카메라 그리드 특징이 주입되며, 저노이즈 단계에서는 로컬 디테일을 정교화하기 위해 다른 신호들이 도입됩니다.

주요 기여

1. OmniDirector 프레임워크: 교차 쌍 데이터 없이 일반적인 멀티샷 카메라 클로닝을 달성하며, MMDiT를 위한 감독 수준의 제어를 제공하는 통합 비디오 생성 프레임워크입니다.
2. 카메라 그리드: 궤적을 콘텐츠로부터 분리하여 백만 규모의 학습 데이터셋 구축을 가능하게 하는, 카메라 움직임을 위한 새롭고 범용적인 시각적 표현입니다.
3. 계층적 프롬프트 확장 에이전트: 카메라 움직임을 멀티모달 신호와 체계적으로 통합하여, 멀티샷 시나리오에서의 의미론적 일관성을 보장하고 정보 누출을 최소화하는 메커즘입니다.

실험 결과

프레임워크는 싱글/멀티 샷 비디오, 다양한 해상도 및 복잡한 효과를 포함하는 1,094개의 다양한 샘플을 대상으로 평가되었습니다.

• 정량적 성능: OmniDirector는 모든 지표에서 최첨단 베이스라인(CamCloneMaster, Seedance2.0, LTX-LoRA)을 능가했습니다.
  • 카메라 정확도: 상대적 이동 오차(RTE) 16.84°와 이동 정밀도(T-Pre) 72.74%를 달성하였으며, 이는 두 번째로 우수한 방법 대비 이동 정밀도에서 39.3%의 상대적 개선을 나타냅니다.
  • 전환 정확도: 샷 전환에 대해 96.52%의 시간적 정밀도(Tem-Pre)와 83.79%의 의미론적 정밀도(Sem-Pre)를 달성했습니다.
  • 누출률: 가장 낮은 누출률(프레임 0.51%, 샷 3.38%)을 기록하며, 콘텐츠 누출로 어려움을 겪는 베이스라인들을 크게 앞질렀습니다.
• 정성적 성능: 모델은 복잡한 궤적(돌리 줌 및 아크 샷 포함)을 충실히 클로닝하고 멀티샷 시퀀스에서 의미론적 일관성을 유지하는 반면, 베이스라인들은 전환 시 실패하거나 움직임 아티팩트를 보이는 경우가 많았습니다.
• 창발적 능력: 모델은 제로샷 일반화 능력을 보여주며, 재학습 없이 원본 RGB 비디오나 Canny 엣지 시퀀스를 조건으로 주었을 때도 성공적으로 카메라 움직임을 실행합니다. 이는 카메라 그리드가 공간 역동성에 대한 이해를 효과적으로 끌어냈음을 시사합니다.

의의

본 논문은 OmniDirector가 카메라 제어의 정밀도와 접근성 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 카메라 그리드를 도입함으로써 저자들은 교차 쌍 데이터의 부족 문제와 명시적 파라미터 추출의 스케일 모호성을 우회했습니다. 이 프레임워크는 감독 수준의 제어를 통해 고충실도의 멀티샷 비디오 생성을 가능하게 하며, 직관적인 참조 기반 제어와 전문적인 영화 제작의 엄격한 요구 사항 사이의 간극을 효과적으로 메웁니다. 이 연구는 표준 인터넷 비디오에서 자동으로 큐레이션된 대규모 데이터셋을 통해 비디오 생성 모델을 학습시키는 새로운 패러다임을 구축합니다.