기술 요약: CineOrchestra

문제 정의

시네마틱 비디오 생성은 피사체(캐릭터/객체 정체성), 이벤트(시간적 동작 및 상호작용), 카메라(시점 움직임), 그리고 샷 전환(컷, 디졸브 등)이라는 네 가지 별개의 축을 동시에 제어해야 하는 본질적인 구성(compositional) 문제입니다. 현재의 텍xt-to-video 모델들은 일반적으로 단일 글로벌 캡션에 의존하여 단일 정적 샷을 생성하며, 이는 여러 엔티티가 특정 순간에 상호작용하고, 움직이는 카메라에 의해 포착되며, 전환 효과로 이어지는 영화 장면의 복잡성을 포착하는 데 실패합니다.

기존 연구들은 이러한 축들을 개별적으로 다룹니다:

1. 다중 피사체 개인화(Multi-subject personalization): 여러 정체성을 렌더링하는 데 집중하지만, 클립을 단일 글로벌 이벤트로 취급합니다.
2. 시간적 제어(Temporal control): 이벤트 타이밍을 관리하지만, 밀도 높은 인트라-샷(intra-shot) 묘사나 자연어 전환 정의가 부족한 경우가 많습니다.
3. 다중 샷 합성(Multi-shot synthesis): 연결된 샷들을 생성하지만, 종종 즉각적인 컷을 가정하며 세밀한 타이밍이나 정체성 연속성이 결여되어 있습니다.
4. 카메라 컨디셔닝(Camera conditioning): 시점 움직임을 제어하지만, 자연어보다는 명시적인 기하학적 신호(예: 3D 궤적)를 필요로 합니다.

이전에는 이 네 가지 축을 하나의 모델 내에 통합하여 통일된 지침으로부터 일관된 시네마틱 장면을 생성하는 프레임워크가 존재하지 않았습니다.

방법론

CineOrchestra는 새로운 엔티티 중심 시네마틱 컨디셔닝(Entity-Centric Cinematic Conditioning) 프리미티브를 통해 네 가지 시네마틱 축을 동시에 제어하는 통합 비디오 확산 트랜스포머(DiT) 프레임워크를 제안합니다.

1. 통합 컨디셔닝 프리미티브

핵심 통찰은 이질적인 시네마틱 요소들(시각적 피사체, 카메라 움직임, 전환)이 근본적으로 동일한 구조를 공유한다는 것입니다: 각 요소는 특정 시간 간격 동안 작용하는 하나의 엔티티입니다. CineOrchestra는 모든 요소를 (시작_시간, 종료_시간, 프롬프트)의 구조화된 튜플로 표현합니다:

• 시각적 피사체: 고유 태그(예: {magician}), 선택적 참조 이미지, 글로벌 정체성 묘사, 그리고 일련의 이벤트 레벨 밀도 묘사(예: "[0.1s – 2.3s] {magician} jumps")를 할당받습니다.
• 시네마토그래피: 두 개의 예약된 태그인 {camera}와 {transition}을 통해 확장되며, 이들은 이벤트 레벨의 묘사만을 가집니다 (예: "[6.3s – 6.4s] {transition} shows a hard cut" 또는 "[0.0s – 10.0s] {camera} pans left").
• 구성(Composition): 이 통합된 표현 방식은 복잡한 상호작용(예: {camera} pans across {magician})과 다양한 전환 유형(예: 디졸브, 페이드)을 단일 순방향 패스(forward pass) 내에서 가능하게 합니다.

2. 아키텍처

모델은 비디오 VAE를 갖춘 표준 비디오 DiT 백본을 기반으로 구축됩니다.

• 입력: 노이즈가 섞인 비디오 토큰은 참조 이미지 토큰(단일 프레임 비디오로 인코딩됨)과 결합되어 풀 셀프 어텐션(full self-attention)을 통해 처리됩니다.
• 컨디셔닝: 텍스트 프롬프트(글로벌 및 이벤트 레벨)는 T5를 통해 인코딩되고 크로스 어텐션(cross-attention)을 통해 주입됩니다.
• 매개변수 효율성: 이 프레임워크는 기본 DiT에 학습 가능한 매개변수를 추가하지 않습니다. 혁신은 전적으로 위치 인코딩 전략에 있습니다.

3. 협응된 회전 위치 임베딩(Coordinated Rotary Positional Embeddings, RoPE)

통합된 컨디셔닝을 처리하기 위해, 저자들은 위치 인코딩 문제를 해결하기 위한 두 가지 파라미터 프리(parameter-free) 협응형 RoPE 설계를 도입했습니다.

• 간격 샘플링된 시간적 RoPE (Interval-Sampled Temporal RoPE):

  • 문제: 표준 고정 캐덴스(fixed-cadence) RoPE는 매우 다른 지속 시간을 가진 이벤트(예: 0.1초의 컷 vs 10초의 팬)에 대해 적합하지 않습니다. 이는 서브 캐덴스 이벤트를 구별 불가능하게 만들고 짧은 이벤트로 어텐션을 편향시킵니다.
  • 해결책: 고정 샘플링 대신, 각 이벤트의 간격 $[t_s, t_e]$ 내에서 $N=16$개의 위치를 균등하게 샘플링합니다.
  • 정규화: Frobenius 노름이 **지속 시간에 불변(duration-invariant)**하도록 하도록 지속 시간 의존적 스칼라 $\beta(L)$을 적용합니다. 이는 넓은 간격이 위상 상쇄(phase cancellation)로 인해 작은 어텐션 피크를 받지 않도록 보장하여, 다양한 이벤트 길이에 대해 일관된 어텐션 동작을 보장합니다.

• 2D 엔티티-템포럴 크로스 어텐션 RoPE (2D Entity-Temporal Cross-Attention RoPE):

  • 문제: 다중 엔티티와 중첩되는 이벤트가 있을 때, 모델은 어떤 컨디션이 어떤 엔티티와 시간에 적용되는지 구별해야 합니다.
  • 해결책: 두 개의 축을 가진 2D RoPE를 구축합니다:
    1. 엔티티 인덱스 축: 서로 다른 엔티티를 분리하기 위해 표준 RoPE 회전을 사용합니다 (구별).
    2. 시간 축: 컨디션을 특정 타임프레임에 정렬하기 위해 간격 샘플링된 시간적 RoPE를 사용합니다 (라우팅).
  • 메커니즘: 비디오 토큰은 모든 피사체에 수용적(receptive)이 되도록 모든 엔티티 인덱스에 대해 평균화됩니다. 참조 이미지와 글로벌 묘사는 엔티티의 평균 시간 위치에 고정됩니다. 밀도 높은 이벤트 묘사는 정밀한 시간 좌표를 사용하여, 쿼리(비디오 프레임)와 키(컨디션)가 동일한 엔티티와 중첩되는 시간을 공유할 때만 날카로운 유사도 피크를 생성합니다.

4. 데이터 큐레이션

저자들은 CineBench(라이선스된 영화/TV로부터 추출)와 CineBenchSyn(LLM 생성 프롬프트 및 합성 이미지)을 구축했습니다. 주석은 Gemini 2.5를 사용하여 시각적 엔티티, 카메라 움직임, 전환을 엔티티 중심 프리미티브 형식으로 추출하는 데 사용되었습니다. 참조 이미지는 외형은 유지하면서 정체성을 변화시키기 위해 Qwen-Image-Edit을 사용하여 증강되었으며, 이를 통해 복사-붙여넣기 아티팩트를 완화했습니다.

주요 기여

1. CineOrchestra 프레임워크: 단일 순방향 패스 내에서 피사체, 이벤트, 카메라, 샷 전환을 통합된 엔티티 중심 프리미티브를 사용하여 공동 제어하는 최초의 비디오 확산 모델입니다.
2. 협응된 RoPE: 가변 지속 시간 이벤트를 처리하고 보조 마스크 없이 특정 시공간 영역으로 컨디션을 라우팅하는 두 가지 파라미터 프리 위치 인코딩 설계(간격 샘플링된 템포럴 및 2D 엔티티-템포럴)를 제공합니다.
3. 새로운 벤치마크: 다중 시네마틱 축에 걸친 밀도 높은 캡션 추종 및 샷 전환 타이밍을 평가하기 위해 설계된 CineBench 및 CineBenchSyn을 도입했습니다.

결과

CineBench 및 CineBenchSyn에서 평가했을 때, CineOrchestra는 여러 지표에서 6개의 전문화된 베이스라인(다중 참조 개인화 및 다중 샷 합성을 포함)보다 우수한 성능을 보였습니다.

• 밀도 높은 캡션 추종: 전문 모델들에 비해 피사체, 장면, 카메라, 전환에 대해 더 높은 ViCLIP 유사도를 달달성했습니다.
• 샷 전환 타이밍: 전환(예: 하드 컷, 디졸브)을 정확하게 타이밍 맞추는 리콜(recall) 레이트에서 베이스라인을 크게 앞질렀습니다.
• 피사체 정체성: 경쟁력 있는 Masked DINO (M-DINO) 점수를 유지하여, 최상위 개인화 모델들과 대등한 정체성 일관성을 보존했습니다.
• 사용자 연구: 쌍체 비교(pairwise comparison)에서 CineOrchestra는 엔티티, 텍스트 및 구조 관련 차원에서 모든 베이스라인보다 선호되었습니다. 모션 및 전반적인 품질 측면에서는 퍼셉추얼(perceptual) 베이스라인과 대등하거나 좋은 성적을 거두었습니다.

어블레이션 연구(Ablation studies)는 간격 샘플링된 템포럴 RoPE( $\beta(L)$ 정규화 포함)와 2D 엔티티-템포럴 RoPE 모두가 높은 정체성 일관성과 정밀한 전환 타이밍을 달성하는 데 필수적임을 확인해 줍니다.

의의 및 주장

본 논문은 CineOrchestra가 영화 수준의 비디오 생성을 향한 중요한 단계라고 주장합니다. 이 프레임워크는 이질적인 시네마틱 제어를 단일 엔티티 중심 프리미티브로 통합함으로써, 세밀한 제어 가능성과 장기적인 서사적 일관성을 조화시킵니다.

저자들은 이 접근 방식이 사용자가 자연어 스크립트와 참조 이미지를 사용하여 복잡한 장면을 연출할 수 있게 함으로써, 독립 영화 제작자와 교육자의 진입 장벽을 낮춘다는 점을 강조합니다. 그러나 다음과 같은 한계점에 대해서는 겸허한 입장을 유지합니다:

• 기하학적 정밀도: 카메라 제어는 자연어에 의존하므로, 정확한 기하학적 반복성보다는 접근성을 우선시합니다.
• 지속 시간: 모델은 기본 DiT의 컨텍스트 길이에 제한을 받으므로, 전체 길이의 영화보다는 단일 장면을 생성합니다 (단, 자기회귀적 확장은 미래의 방향으로 언급됨).
• 오디오: 현재 시스템은 순수하게 시각적입니다.

이 연구는 단일 프롬프트 비디오 생성을 넘어 스크립트 기반의 시네마틱 합성을 구현하기 위한 기초적인 단계로 자리매김하고 있습니다.