SkyReels-V4: 멀티모달 비디오 - 오디오 생성, 인페인팅 및 편집을 위한 통합 모델

1. 문제 정의 (Problem)

기존의 비디오 생성 모델들은 다음과 같은 한계를 가지고 있었습니다:

• 모달리티의 분리: 비디오 생성과 오디오 생성이 별도의 파이프라인으로 처리되어, 오디오와 비디오의 동기화 (립싱크, 리듬 일치 등) 가 불완전하거나 비동기적인 문제가 발생했습니다.
• 기능의 단편화: 생성 (Generation), 인페인팅 (Inpainting), 편집 (Editing) 기능이 서로 다른 모델이나 아키텍처로 분리되어 있어, 하나의 프레임워크에서 통합적으로 처리하는 것이 어려웠습니다.
• 입력의 제한: 텍스트뿐만 아니라 이미지, 비디오 클립, 마스크, 오디오 참조 등 다양한 멀티모달 조건을 동시에 이해하고 반영하는 모델이 부족했습니다.
• 고해상도/장기 생성의 비효율성: 1080p 이상의 고해상도와 15 초 이상의 긴 영상을 생성할 때 발생하는 막대한 연산 비용과 메모리 요구사항을 해결하는 효율적인 전략이 부재했습니다.

2. 방법론 (Methodology)

2.1. 아키텍처: 듀얼 스트림 MMDiT (Dual-Stream MMDiT)

• 이중 스트림 구조: 비디오 생성과 오디오 생성을 담당하는 두 개의 병렬 브랜치 (Video Branch, Audio Branch) 로 구성되었습니다.
• 공유 텍스트 인코더: 강력한 멀티모달 대형 언어 모델 (MLLM) 을 기반으로 한 공유 텍스트 인코더를 사용하여 텍스트, 이미지, 비디오, 오디오에 대한 통합된 의미적 이해와 지시 추종 (Instruction Following) 능력을 제공합니다.
• 하이브리드 블록 설계:
  • 초기 레이어 (Dual-Stream): 비디오/오디오 토큰과 텍스트 토큰이 별도의 파라미터를 가지며 상호작용하여 강한 교차 모달 정렬을 달성합니다.
  • 후기 레이어 (Single-Stream): 병렬 처리를 위해 토큰을 결합하여 공유 파라미터로 처리하며 계산 효율성을 극대화합니다.
• 상호 주의 메커니즘 (Bidirectional Cross-Attention): 비디오와 오디오 스트림 간에 양방향 크로스 어텐션을 도입하여 시간적 동기화를 보장합니다.
• 시간 정렬 (Temporal Alignment): 비디오 (21 프레임) 와 오디오 (218 토큰) 의 시간 해상도 차이를 해결하기 위해 RoPE (Rotary Positional Embedding) 주파수를 조정하여 정렬합니다.

2.2. 통합 인페인팅 프레임워크 (Unified Inpainting via Channel Concatenation)

• 채널 연결 (Channel Concatenation): 비디오 생성, 인페인팅, 편집 작업을 모두 '마스크가 지정된 인페인팅' 문제로 통합합니다.
  • 입력은 노이즈가 있는 비디오 잠재 변수 (V), 조건부 프레임 (I), 마스크 (M) 를 채널 차원에서 연결하여 구성됩니다.
  • 이를 통해 텍스트 - 비디오 (T2V), 이미지 - 비디오 (I2V), 비디오 확장, 시작 - 종료 프레임 보간, 임의의 스페이스 - 타임 편집이 단일 인터페이스로 처리됩니다.
• 오디오 적응: 비디오가 수정되거나 편집될 때, 오디오 브랜치는 수정된 비디오 콘텐츠에 맞춰 처음부터 오디오를 생성하며 양방향 크로스 어텐션을 통해 동기화를 유지합니다.

2.3. 멀티모달 컨텍스트 학습 (Multi-Modal In-Context Learning)

• 비주얼 참조: 참조 이미지나 비디오 클립을 VAE 로 인코딩하여 시간 축에 연결 (Temporal Concatenation) 하고, 오프셋이 적용된 3D RoPE 를 사용하여 조건부 토큰과 생성 대상 토큰을 구분합니다. 이를 통해 정교한 시각적 패턴 (신원, 질감, 포즈 등) 을 참조하여 생성하거나 편집할 수 있습니다.
• 오디오 참조: 음성, 음악, 배경음 등의 오디오 참조도 컨텍스트 학습을 통해 오디오 생성을 유도합니다.

2.4. 효율성 전략 (Efficiency Strategy)

• 저해상도 전체 + 고해상도 키프레임 생성: 1080p 전체 영상을 직접 생성하는 대신, 저해상도 전체 시퀀스와 고해상도 키프레임을 동시에 생성합니다.
• 리파이너 (Refiner) 모듈: 생성된 결과에 전용 초해상도 (Super-Resolution) 및 프레임 보간 (Frame Interpolation) 모델을 적용하여 최종적으로 1080p, 32FPS, 15 초 길이의 고품질 영상을 완성합니다.
• VSA (Video Sparse Attention): 긴 시간적 컨텍스트와 고해상도 입력에 대한 계산 부하를 줄이기 위해 계층적 희소 어텐션 메커니즘을 도입하여 연산 비용을 약 3 배 절감합니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처: 텍스트, 이미지, 비디오, 마스크, 오디오 참조 등 풍부한 멀티모달 입력을 지원하며, 생성, 인페인팅, 편집을 단일 아키텍처에서 통합 처리하는 최초의 비디오 파운데이션 모델입니다.
2. 동시 비디오 - 오디오 생성: 듀얼 스트림 MMDiT 를 통해 시각적 콘텐츠와 청각적 콘텐츠를 동기화하여 고품질로 동시에 생성합니다.
3. 효율적인 고해상도 생성: 저해상도 전체/고해상도 키프레임 생성 전략과 리파이너 모듈을 결합하여 1080p/32FPS/15 초 길이의 시네마틱 품질 영상을 실용적으로 생성할 수 있게 했습니다.
4. 범용성: 이미지 - 비디오, 비디오 확장, 객체 제거/추가, 스타일 변경 등 다양한 작업을 마스크 기반 인페인팅으로 통일하여 유연하게 처리합니다.

4. 실험 결과 (Results)

• Artificial Analysis Arena: 공개 리더보드에서 '텍스트 - 비디오 (오디오 포함)' 카테고리에서 1 위, '텍스트 - 비디오 (오디오 없음)'에서 2 위를 기록하며 Veo 3.1, Kling 3.0 등 주요 상용 모델을 능가했습니다. 이미지 - 비디오 생성에서도 상위권을 유지했습니다.
• SkyReels-VABench (인간 평가): 2,000 개 이상의 프롬프트를 대상으로 한 정밀 평가에서 **지시 추종 (Instruction Following)**과 **동작 품질 (Motion Quality)**에서 가장 높은 점수를 기록했습니다. 시각적 품질, 오디오 - 비디오 동기화, 오디오 품질 등 모든 차원에서 최상위권 성능을 보였습니다.
• GSB (Good-Same-Bad) 비교: Kling 2.6, Seedance 1.5 Pro, Veo 3.1, Wan 2.6 등 주요 경쟁 모델들과의 쌍대 비교에서 전반적인 품질과 세부 차원 모두에서 일관되게 우위를 점했습니다.

5. 의의 (Significance)

SkyReels-V4 는 영화 제작 및 콘텐츠 창작 분야에서 시각과 청각이 완벽하게 조화된 시네마틱 품질의 영상을 단일 모델로 생성, 편집, 인페인팅할 수 있는 새로운 기준을 제시합니다. 특히 고해상도와 긴 영상 생성의 계산적 난제를 효율적으로 해결하고, 다양한 멀티모달 입력을 통합적으로 처리함으로써 차세대 멀티모달 비디오 생성 시스템의 파운데이션 모델로 자리 잡았습니다. 이는 단순한 생성을 넘어, 복잡한 스토리텔링과 정교한 편집이 필요한 전문적인 영상 제작 환경에 직접 적용 가능한 기술적 도약을 의미합니다.