💻 computer science

MOVA: Towards Scalable and Synchronized Video-Audio Generation

本文介绍了 MOVA（MOSS Video and Audio），这是一个拥有 32B 参数量（推理时激活 18B）的开源混合专家（MoE）模型，能够实现高质量且音画同步的图像/文本到视听内容（IT2VA）生成。

原作者： OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zh

发布于 2026-02-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Shiqi Jiang, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于人工智能领域非常前沿的研究论文。如果要把这个复杂的“MOVA”模型讲给普通人听，我们可以把它想象成一个**“正在学习如何演戏的超级数字演员”**。

以下是通俗易懂的解读：

1. 核心问题：以前的 AI 像是在“默片时代”演戏

想象一下你看一部电影，画面很精彩，但声音和画面完全对不上：主角明明在说话，声音却像是在隔壁房间传来的；或者主角明明在打鼓，声音却像是在切菜。

以前的 AI 生成视频，通常是“分两步走”：先用一个模型画出视频（像是在拍默片），再用另一个模型配音（像是在后期配音）。这两者之间没有“眼神交流”，所以很难做到完美的同步，尤其是说话时的嘴型（Lip-sync）。

2. MOVA 是什么？：一个“身心合一”的超级演员

MOVA（MOSS Video and Audio）不再是分两步走，它采用了一种**“身心合一”**的训练方式。

比喻： 以前的 AI 像是“画师”和“乐师”各干各的；而 MOVA 就像是一个真正的演员。当这个演员在表演时，他的大脑（视频模型）和嗓子（音频模型）是实时连接在一起的。他一边思考动作，一边控制声带，动作和声音是同时产生的，自然而然就达到了“声画同步”。

3. 它是怎么做到的？（三个黑科技）

① “双塔结构”与“桥梁” (Dual-Tower & Bridge)

比喻： 我们可以把 MOVA 想象成两个天才：一个是视觉天才（负责看和画），一个是听觉天才（负责听和唱）。
为了让他们配合，研究人员在他们之间搭了一座**“超级桥梁”**（Bridge Module）。通过这座桥，视觉天才可以告诉听觉天才：“嘿，我现在要张嘴说话了，你准备好声音！”听觉天才也可以告诉视觉天才：“我要发出一声巨响了，你记得让画面抖一下！”

② “对齐的罗盘” (Aligned RoPE)

比喻： 视频和音频的“节奏”是不一样的。视频是按帧跳动的，音频是连续的波浪。如果节奏对不上，就会出现“音画错位”。
研究人员给他们装了一个**“同步罗盘”**，确保无论视频跳得多快，音频都能精准地踩在同一个时间点上，就像交响乐团里的指挥家，让所有人都在同一个节拍上。

③ “魔鬼训练营” (Data Engineering)

比喻： 要想成为顶级演员，得看海量的优秀剧本。
研究团队并没有随便找点视频就喂给 AI，而是建立了一个**“超级筛选流水线”**。他们用 AI 去检查成千上万小时的视频：这个视频画质好吗？声音清晰吗？声音和画面对得上吗？只有那些“演技精湛、声画完美”的素材，才会被选进“训练教材”里。

4. 它能做什么？（超能力展示）

精准对口型： 不管是说中文还是英文，嘴型都能跟上说话的内容，不再有“假人感”。
环境音感知： 如果画面里有人在森林里走，它能自动配上踩在落叶上的“沙沙”声，而不是干巴巴的背景音乐。
文字变影音： 你只要输入一句话（比如“一个女孩在雨中奔跑”），它就能直接给你一个既有雨声、又有脚步声、画面还极其真实的短片。

5. 总结

MOVA 的意义在于：它打破了“看”与“听”的界限。

它证明了：如果我们让 AI 在学习时就同时理解视觉和听觉，它就能创造出真正具有“生命感”的内容，而不仅仅是两个不同模态的简单拼接。这为未来的虚拟电影、游戏和元宇宙技术打开了一扇巨大的门。

这是一篇关于 MOVA (MOSS Video and Audio) 的技术论文总结。MOVA 是一个开源的、可扩展的同步音视频生成基础模型。

1. 问题背景 (Problem)

目前的视频生成领域存在以下几个核心挑战：

音视频脱节： 大多数视频生成模型（如 Sora, Wan 等）仅关注视觉，忽略了音频。现有的音视频生成通常采用“级联流水线”（先生成视频，再根据视频生成音频），这会导致模态间缺乏深度交互，增加计算成本并累积误差，难以实现精准的音视频同步（如唇形同步）。
闭源限制： 尽管 Veo3 和 Sora2 等模型展示了同步生成的能力，但它们都是闭源的，限制了研究社区在高质量音视频生成领域的进展。
技术挑战： 实现端到端音视频生成面临三大难题：数据管线（需要精细的音视频描述）、模态融合（两种模态的信息密度不同，如何实现双向交互）以及可扩展性验证（在大规模参数和数据下能否持续提升性能）。

2. 核心方法论 (Methodology)

MOVA 采用了非对称双塔架构 (Asymmetric Dual-Tower Architecture)，旨在利用预训练的单模态模型并实现高效融合。

A. 模型架构

双塔设计： 使用一个 14B 参数的预训练视频 DiT（基于 Wan2.2）作为视频塔，以及一个 1.3B 参数的文本到音频 DiT 作为音频塔。
桥接模块 (Bridge Module)： 通过一个 2.6B 参数的双向交叉注意力（Bidirectional Cross-Attention）模块将两个塔连接，实现视频特征向音频的注入以及音频特征向视频的注入。
对齐旋转位置编码 (Aligned RoPE)： 由于视频和音频的采样频率（时间网格）不同，研究者修改了 RoPE，将视频索引映射到音频时间尺度上，确保物理时间上的 token 在位置编码上是严格对齐的，防止音视频漂移。

B. 数据工程 (Data Engineering)

研究团队构建了一个三阶段的数据清洗与标注管线：

预处理： 统一分辨率（720p）、帧率（24fps）和时长（8.05s），利用 VAD（语音活动检测）和场景检测进行切分。
质量评估： 从音频质量（信号与美学）、视频质量（技术与美学）以及音视频对齐度（使用 SynchFormer 和 ImageBind）三个维度进行严格过滤。
精细化标注： 使用多模态大模型（如 Qwen3-Omni, MiMo-VL）分别生成视觉和音频描述，最后利用大语言模型（GPT-OSS）进行合并，生成语义丰富的统一描述。

C. 训练策略

两阶段训练： 首先进行音频塔的预训练，随后进行视频塔、音频塔与桥接模块的端到端联合训练。
渐进式课程学习： 训练分为三个阶段：从 360p 多样化数据 $\rightarrow$ 360p 高质量过滤数据 $\rightarrow$ 720p 最高质量数据。
双 $\sigma$ 偏移 (Dual Sigma Shift)： 允许视频和音频拥有独立的噪声调度（Noise Schedule），使音频能根据其特性进行更平滑或更激进的去噪。
异构学习率： 给桥接模块设置更高的学习率，以加速跨模态对齐，同时保持预训练塔的稳定性。

D. 推理优化

双分类器自由引导 (Dual CFG)： 提出了一种新的引导公式，允许用户独立调节“文本引导强度”和“跨模态对齐强度”，从而在生成质量与同步精度之间取得平衡。

3. 主要贡献 (Key Contributions)

模型开发： 开发了拥有 32B 总参数（18B 激活）的同步音视频生成模型 MOVA。
数据管线： 设计了一套可扩展的、精细化的音视频自动标注与清洗流程。
架构创新： 提出了非对称双塔架构、Aligned RoPE 以及 Dual CFG 策略，解决了模态融合与时间对齐问题。
开源精神： 发布了模型权重、训练代码和推理代码，推动开源社区的研究。

4. 实验结果 (Results)

音视频同步： 在 Verse-Bench 基准测试中，MOVA 在音频保真度（IS）、语义对齐（IB-Score）和唇形同步（LSE-D/C）方面均显著优于 LTX-2 和 Ovi 等现有模型。
唇形同步： 实验证明，随着训练阶段的推进，模型在处理复杂的语音与口型映射方面表现出极强的能力。
人类偏好： 在 Arena 式的人类偏好评估中，MOVA 的 ELO 分数显著高于对比模型，证明其生成的视频在视觉质量、音频自然度和音视频同步感上更符合人类审美。
涌现能力： 模型展现了强大的 T2VA (Text-to-Video-Audio) 能力，即在没有初始图像的情况下，仅凭文本即可生成高质量的同步音视频。

5. 研究意义 (Significance)

MOVA 的出现填补了开源领域高质量音视频生成模型的空白。它证明了通过大规模数据工程、非对称双塔架构以及精细的训练调度，可以实现与闭源顶尖模型（如 Sora2）相媲美的音视频同步生成效果。这为未来的多模态生成研究（如更长视频、更复杂物理规律模拟）提供了重要的技术路径和基准。