SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control

기술 요약: SmartDirector

문제 제기
최근 비디오 생성 기술의 발전이 짧은 단일 샷 클립의 합성에서 긴 다중 샷 내러티브 생성으로 전환됨에 따라, 기존 방법들은 내러티브 구조와 시간적 리듬에 대한 정밀한 제어 부족으로 고통받고 있습니다. 현재 접근 방식은 주로 텍스트 프롬프트나 첫 번째 및 마지막 프레임과 같은 희소한 조건 신호에 의존합니다. 이러한 한계는 미세한 시공간 콘텐츠를 관리하는 능력을 제한합니다. 또한, 인접한 키프레임을 짧은 클립의 시작/종료점으로 취급하는 단순한 전략은 종종 급격한 시간적 단절과 내러티브 일관성 상실을 초래합니다. 임의의 시간적 위치에 키프레임을 노이즈 잠재 공간에 삽입하는 더 직접적인 접근 방식은 표준 3D 변분 오토인코더 (VAE) 의 인과적 구조에 의해 근본적으로 방해받습니다. 이러한 VAE 들에서는 첫 번째 프레임이 독립적으로 인코딩되는 반면, 후속 프레임들은 이전 프레임에 대한 인과적 종속성을 가진 그룹으로 인코딩됩니다. 임의의 잠재 공간 대체는 이러한 종속성을 위반하여 시각적 아티팩트와 시간적 단절을 생성합니다.

방법론
본 논문은 키프레임 기반의 영화적 비디오 생성을 위해 설계된 통합된 2 단계 프레임워크인 SmartDirector를 제안합니다. 이 프레임워크는 단일 샷 생성, 다중 샷 내러티브 합성, 비디오 확장 등 다양한 시나리오를 지원합니다.

1. Director-Gen (생성 단계):

   • 멀티-청크 VAE 전략: 시간적 VAE 의 인과적 제약을 우회하기 위해, 비디오는 키프레임 위치에서 여러 청크로 분할됩니다. 각 키프레임은 해당 청크의 첫 번째 프레임으로 기능하며 독립적으로 인코딩됩니다. 이를 통해 키프레임은 인과적 종속성을 위반하지 않고 임의의 시간적 위치에 배치될 수 있습니다.
   • 전체 일관성: 결과적으로 생성된 멀티-청크 잠재 공간은 Diffusion Transformer(DiT) 에 의해 처리됩니다. 전체 시퀀스 전반에 걸쳐 글로벌 일관성을 유지하기 위해, 모델은 전체 시공간 어텐션 (attention) 을 사용하여 각 청크가 모든 다른 청크의 글로벌 컨텍스트에 주의를 기울일 수 있도록 합니다.
   • MC-RoPE(멀티-청크 회전 위치 임베딩): 표준 위치 임베딩으로 인해 청크 경계에서 발생하는 시간적 단절을 해결하기 위해, 저자들은 MC-RoPE 를 제안합니다. 이는 키프레임 위치에 분수 시간 인덱스를 할당하여 통합된 잠재 시퀀스 전반에 걸쳐 시간적 매끄러움을 유지합니다.
   • 출력: 이 단계는 저해상도 비디오 (예: 480p) 를 생성합니다.

2. Director-SR(초해상도 단계):

   • 키프레임 기반 정제: 저해상도 출력은 종종 세부적인 디테일 (예: 얼굴 특징, 텍스트) 이 부족하다는 점을 인식하여, 이 단계는 고해상도 키프레임을 의미적 앵커로 활용하여 출력을 정제합니다.
   • 메커니즘: 모듈은 저해상도 (LR) 비디오와 고해상도 (HR) 키프레임을 입력받습니다. 멀티-청크 VAE 전략을 사용하여 HR 과 LR 잠재 공간을 독립적으로 인코딩합니다. 키프레임 인덱스에서는 조건 부여를 강제하기 위해 LR 잠재 공간이 해당 HR 잠재 공간으로 대체됩니다.
   • 플로우 매칭: 모델은 LR 잠재 공간을 HR 잠재 공간으로 매핑하는 속도장을 예측하기 위해 플로우 매칭을 사용하여, 생성 아티팩트를 보정하면서 비디오를 고해상도 (예: 1080p) 로 효과적으로 업스케일링합니다.

데이터 파이프라인
프레임워크를 훈련하기 위해 저자들은 특수한 데이터 파이프라인을 구축했습니다. 저작권이 없는 영화를 큐레이션하고, 이를 단일 샷으로 분할한 후, 비전 - 언어 모델 (VLM) 을 사용하여 공유되는 장면과 스토리라인을 가진 연속된 샷들을 일관된 다중 샷 시퀀스로 집계했습니다. 데이터셋은 Qwen3-VL 및 Gemini-3-Pro 와 같은 모델을 통해 생성된 카메라 운동, 캐릭터 등장, 전체적인 내러티브 설명을 포함한 구조화된 캡션을 포함합니다.

주요 기여

• 통합 프레임워크: 단일 샷, 다중 샷, 비디오 확장 작업에 대한 유연한 키프레임 기반 생성을 가능하게 하는 SmartDirector 제안.
• 멀티-청크 VAE 전략: 시간적 VAE 의 인과적 한계를 해결하여 키프레임이 임의의 위치에 삽입되더라도 매끄럽고 연속적인 생성을 보장하는 새로운 설계.
• 키프레임 기반 초해상도: 세부 디테일을 복원하고 아티팩트를 보정하기 위해 고해상도 키프레임을 의미적 앵커로 활용하는 정제 모듈로, 표준 픽셀 수준 복원 방법과 구별됨.

결과
광범위한 실험은 SmartDirector 가 Dreamina Multiframes 시스템과 같은 기존 최첨단 접근법보다 훨씬 우수함을 입증합니다.

• 정량적 지표: 단일 샷 시나리오에서 SmartDirector 는 Fréchet Video Distance(FVD) 를 기준선인 226.85 에서 41.12 로 감소시켰습니다. 다중 샷 시나리오에서는 개선이 더욱 두드러져 FVD 를 251.83 에서 65.65 로 감소시켰습니다.
• 의미적 충실도: 지시 준수, 내러티브 일관성, 물리적 일관성, 비디오 품질, 미적 품질의 다섯 가지 차원에 대한 LLM 기반 평가를 통해, SmartDirector 는 단일 샷 설정에서 평균 91.30 점, 다중 샷 설정에서 88.48 점을 기록하여 기준선 (각각 83.87 및 59.32) 을 크게 앞섰습니다.
• 인간 평가: Good/Same/Bad(GSB) 쌍별 비교 연구에서 SmartDirector 는 다중 샷 시나리오의 전체 품질에서 54.73% 의 승리율을 기록하여 우수한 정체성 일관성과 내러티브 리듬을 보여주었습니다.
• 초해상도 성능: SparkVSR 과 독립적으로 평가했을 때, SmartDirector 는 PSNR 및 SSIM 점수는 유사하지만 LPIPS 점수는 현저히 낮아, 우수한 지각적 품질과 디테일 복원을 나타냈습니다.

의의 및 주장
본 논문은 SmartDirector 가 스토리보드와 같은 전문 영화 제작 관행과 AI 생성 간의 간극을 메움으로써 영화적 비디오 생성에서 중요한 진전을 이루었다고 주장합니다. 키프레임을 스토리보드의 직접적인 대응물로 취급함으로써, 이 프레임워크는 내러티브 구조와 시간적 리듬에 대한 정밀한 제어를 제공합니다. 저자들은 멀티-청크 VAE 전략과 MC-RoPE 가 임의의 키프레임 삽입과 시간적 VAE 의 인과적 구조 사이의 근본적인 충돌을 성공적으로 해결했다고 강조합니다. 또한, 2 단계 설계는 계산 효율성과 고품질 출력 간의 균형을 효과적으로 유지하여, 시퀀스 전반에 걸쳐 엔티티 정체성과 공간적 일관성을 유지하는 일관된 고해상도 다중 샷 내러티브 생성을 가능하게 합니다. 저자들은 2 단계 파이프라인이 초기 합성 과정에서 약간의 정보 병목 현상을 초래하지만, 후속 초해상도 단계가 이를 효과적으로 완화하여 이상적인 단일 단계 고해상도 생성기의 품질에 근접한 결과를 산출한다고 지적합니다.