SkyReels-V4 技术总结

1. 研究背景与问题 (Problem)

当前的视频生成领域正经历从单模态（仅视频）向多模态（视频 + 音频）联合生成的范式转变。尽管已有如 Veo-3.1、Sora-2、Kling 等商业系统实现了音视频同步生成，但现有模型仍存在以下显著局限：

• 功能碎片化：缺乏一个统一的框架能同时处理生成（Generation）、修复（Inpainting）和编辑（Editing）任务。
• 多模态输入支持不足：现有模型通常仅支持文本提示，或仅支持视觉参考（图像/视频），缺乏对音频参考、掩码（Masks）以及复杂多模态指令（文本 + 图像 + 视频 + 音频）的统一理解与执行能力。
• 音视频对齐与质量：在高分辨率（如 1080p）、长时长（15 秒+）及多镜头叙事场景下，实现高质量的音视频同步生成极具挑战，且计算成本高昂。
• 编辑能力缺失：大多数联合生成模型无法进行细粒度的视频编辑（如基于参考图的换装、特定区域修改等）。

SkyReels-V4 旨在解决上述问题，构建一个统一的多模态视频基础模型，能够同时支持多模态输入、音视频联合生成以及生成/修复/编辑的一体化操作，并达到电影级（Cinematic）的质量标准。

2. 方法论 (Methodology)

SkyReels-V4 采用了一种创新的架构设计，核心包括双流 MMDiT 结构、统一的通道拼接修复框架、多模态上下文学习以及高效的生成策略。

2.1 核心架构：双流 MMDiT (Dual-Stream MMDiT)

模型采用对称的双分支架构，基于多模态扩散 Transformer (MMDiT)：

• 视频分支：负责视频合成，初始化自预训练的文生视频模型。
• 音频分支：负责音频生成，从头训练，架构与视频分支匹配。
• 共享文本编码器：两个分支共享一个基于**多模态大语言模型 **(MLLM) 的冻结文本编码器。该编码器接收拼接后的视觉和声学描述，提供统一的多模态语义上下文，增强了跨模态对齐能力。
• 混合块设计：
  • 前 M 层（双流设计）：视频/音频 Token 与文本 Token 保持独立的参数（自适应层归一化、QKV 投影、MLP），但在联合自注意力中交互，确保早期层的强跨模态对齐。
  • 后 N 层（单流设计）：将视频/音频与文本 Token 拼接后共享参数，最大化计算效率。
  • 强化文本条件：在单流阶段后增加额外的文本交叉注意力层，防止语义稀释。
• 双向音视频交叉注意力：每个 Transformer 块包含双向交叉注意力机制（音频关注视频特征，视频关注音频特征），确保全网络深度的时序同步。
• 时序对齐：通过调整 RoPE（旋转位置编码）的频率缩放（音频频率缩放约 0.096），解决视频（21 帧）与音频（218 个 Token）之间的时序分辨率差异。

2.2 统一视频修复框架 (Unified Inpainting via Channel Concatenation)

为了在一个模型中统一处理生成、扩展、编辑等任务，SkyReels-V4 在视频分支采用了通道拼接（Channel Concatenation）策略：

• 输入形式：将噪声视频潜变量 ($V$)、条件帧潜变量 ($I$) 和掩码 ($M$) 沿通道维度拼接：$Z_{input} = Concat(V, I, M)$。
• 任务统一：通过不同的掩码配置，将多种任务统一为修复问题：
  • **文生视频 **(T2V)：全掩码（全生成）。
  • **图生视频 **(I2V)：首帧条件，后续生成。
  • 视频扩展：前 $k$ 帧条件，后续生成。
  • 首尾帧插值：首尾帧条件，中间生成。
  • 视频编辑：任意时空掩码，保留区域为 1，编辑区域为 0。
• 音频协同：在修复/编辑任务中，音频分支根据（部分条件或已编辑的）视频内容从头生成音频，通过双向交叉注意力确保音画同步。

2.3 多模态上下文学习 (Multi-Modal In-Context Learning)

模型支持通过参考图像、视频片段和音频进行细粒度控制：

• MLLM 指令遵循：参考视觉输入与文本提示共同通过 MLLM 编码，理解复杂组合指令（如“参考图 A 中的人物，在视频 B 的风格下说话”）。
• 上下文视觉条件：参考图像/视频帧经 VAE 编码后，沿时间维度拼接并置于噪声潜变量之前，通过自注意力机制直接注入细粒度视觉模式（如身份、纹理、姿态）。
• 位置编码偏移：使用带有时序偏移的 3D RoPE，将条件 Token 标记为负时间索引，以区分条件上下文与生成目标。
• 音频参考：音频参考（如语音样本、背景音乐）同样作为上下文条件注入音频分支。

2.4 高效生成策略 (Efficiency Strategy)

为了解决 1080p、32 FPS、15 秒长视频生成的计算瓶颈，提出联合低分辨率全序列与高分辨率关键帧生成策略：

1. 基座模型：同时生成低分辨率的全序列和高分辨率的关键帧。
2. Refiner 模块：包含专用的视频超分辨率 (VSR) 和帧插值模型。
   • 利用 VSA (Video Sparse Attention) 技术降低计算成本。
   • 将低分辨率潜变量插值至目标分辨率，并用基座模型预测的高分关键帧替换对应位置，最后拼接噪声潜变量输入 DiT 模型进行细化。

2.5 训练策略

采用多阶段渐进式训练：

1. 视频预训练：从 T2I 开始，逐步引入 T2V、Inpainting，分辨率从 256p 逐步提升至 1080p。
2. 音频预训练：基于海量语音数据从头训练音频骨干。
3. 音视频联合训练：同时训练 T2V、T2AV（文生音视频）和 T2A。
4. **监督微调 **(SFT)：使用高质量多模态数据（含图像/视频/音频参考）进行微调，强化指令遵循和音画对齐。

3. 关键贡献 (Key Contributions)

1. 首个统一的多模态基础模型：SkyReels-V4 是首个同时支持丰富多模态输入（文本、图像、视频、掩码、音频）、音视频联合生成以及生成/修复/编辑统一框架的模型。
2. 创新的架构设计：提出了基于双流 MMDiT 的架构，通过共享 MLLM 编码器和双向交叉注意力，实现了高质量的音视频同步与细粒度控制。
3. 统一的修复范式：通过通道拼接将图像生视频、视频扩展、编辑等任务统一为掩码修复问题，极大提升了模型的灵活性和泛化能力。
4. 高效的电影级生成：通过“低分全序列 + 高分关键帧 + 超分/插值”的策略，在保持 1080p/32FPS/15s 高规格输出的同时，显著降低了计算成本，使其在实际生产环境中可行。
5. 多模态上下文学习：实现了基于参考图像、视频和音频的细粒度生成与编辑，支持多身份生成和身份保持编辑。

4. 实验结果 (Results)

• Artificial Analysis Arena：
  • **文生音视频 **(T2V+Audio)：排名 第 1，超越 Kling 3.0 和 Veo 3.1。
  • **文生视频 **(T2V)：排名 第 2。
  • 图生音视频：排名 第 4。
  • 图生视频：排名 第 7。
• **SkyReels-VABench **(人工评估)：
  • 在包含 2000+ 提示词的综合基准测试中，SkyReels-V4 在**指令遵循 **(Instruction Following) 和 **运动质量 **(Motion Quality) 上表现尤为突出。
  • 在视觉质量、音画同步和音频质量上也达到了 SOTA 水平。
  • 在 GSB (Good-Same-Bad) 对比中，相比 Kling 2.6、Seedance 1.5 Pro、Veo 3.1 和 Wan 2.6 等竞品，SkyReels-V4 在整体质量和各细分维度上均获得了更高的“好 (Good)"评分比例。

5. 意义与影响 (Significance)

SkyReels-V4 代表了多模态视频生成领域的重要里程碑：

• 技术整合：它打破了生成、修复、编辑之间的壁垒，证明了单一架构可以高效处理复杂的影视级创作任务。
• 工业级应用潜力：其支持 1080p、32FPS、15 秒长视频及多镜头叙事的能力，结合高效的生成策略，使其能够直接应用于专业视频创作、广告制作和影视后期流程。
• 多模态交互新范式：通过引入音频参考和复杂的视觉上下文学习，模型能够理解并执行更贴近人类导演思维的指令（如“参考这段音乐的节奏和这段视频的风格”），极大地提升了人机协作的创造力。
• 开源与基准：该工作为后续研究提供了新的基准（Baseline），特别是在音视频同步、多模态指令遵循和统一编辑框架方面，推动了整个领域向更智能、更统一的方向发展。