💻 computer science

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

本文介绍了 OmniDance，这是一个利用新构建的大规模 CIPE-Dance 数据集和专门的架构，在保持高视觉保真度和可控性的同时，实现最先进的音乐驱动、文本驱动及多模态舞蹈视频生成的框架。

原作者： Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想制作一段舞蹈视频，让一个人完美地随乐起舞，看起来就像真实的人类一样。直到目前为止，AI 在这方面一直表现欠佳。它要么能让人物随音乐律动，但看起来像个闪烁的卡通人物；要么看起来很真实，但动作僵硬，忽略了节拍。

这篇论文介绍了一个名为 OmniDance 的新系统，它通过结合一个庞大的全新舞蹈数据库和一种更聪明的 AI 学习舞蹈方式，解决了这个问题。

以下是他们是如何实现的，分为几个简单的部分：

1. 问题所在：“空荡荡的舞池”

把现有的 AI 舞蹈工具想象成在空旷舞台上尝试学习舞蹈的舞者。它们没有足够的优秀范例可以研究。

数据差距： 互联网上缺乏足够高质量且经过组织、方便 AI 学习的舞蹈视频。
方法差距： 制作视频的 AI 模型被训练去“听”文字（例如“一个正在跳舞的人”），但它们不知道如何“听”音乐（节奏和节拍），否则就会感到困惑。

2. 解决方案第一部分：构建庞大的图书馆 (CIPE-Dance)

为了解决数据问题，研究人员构建了 CIPE-Dance。

“专家筛选”流水线： 想象一下你正在雇佣一位舞蹈教练来从互联网中寻找最好的视频。他们没有让一个人检查所有内容，而是使用了一个由不同职责的 AI “专家”组成的团队。
- 首先，一个“轻量级”专家快速检查视频是否清晰且高质量。
- 然后，“重量级”专家会检查特定的舞蹈问题，例如：是只有一个人在跳舞吗？（不允许多人团体舞）。摄像机抖动是否太厉害？ 人是不是背对着镜头？
结果： 他们最终获得了 300,000 个高质量舞蹈片段（超过 400 小时的视频）。
“编舞笔记”： 他们并没有只是把视频丢进文件夹里。他们使用 AI 为每个视频编写了详细的“舞蹈笔记”，不仅描述了舞者的穿着，还描述了他们的动作方式（例如：“臀部隔离运动”、“俏皮的意图”、“有节奏的手臂摆动”）。这为 AI 提供了一个丰富的词汇表供其学习。

3. 解决方案第二部分：聪明的老师 (OmniDance)

为了解决方法问题，他们开发了 OmniDance，它就像一位知道如何同时教授三种不同类型课程的舞蹈老师：

文本生成视频 (Text-to-Video)： 根据文字描述进行舞蹈表演。
音乐生成视频 (Music-to-Video)： 仅根据一首歌进行舞蹈表演。
音乐 + 文本 (Music + Text)： 同时基于音乐和文本进行舞蹈表演。

他们使用了一种巧妙的三步训练策略（课程学习）：

第 1 步（热身）： AI 首先学习仅使用文本描述来跳舞。这稳定了它呈现真实人类形象的能力。
第 2 步（引导练习）： 他们引入了音乐，但 AI 仍有文本辅助。它学习音乐如何与文本相契合，就像学生在阅读乐谱的同时学习如何跟随节拍。
第 3 步（独奏表演）： 最后，AI 学习仅使用音乐进行舞蹈，不再需要文本帮助。

4. 秘诀：“深度感知”的专业化

论文描述了一种被称为 “音乐-文本渐进式专业化” (Music-Text Progressive Specialization) 的聪明架构技巧。

类比： 想象建造一座房子。
- 浅层网络（地基）： AI 首先使用文本来构建舞蹈的“结构”（整体风格、姿态、故事）。这就像是在铺设砖块。
- 深层网络（装饰）： 当视频生成的过程接近尾声时，AI 会转向关注音乐。它利用节奏来添加“最后的润色”（具体的时机、弹跳感、能量）。
为什么有效： 如果你试图在完全相同的强度下同时听节拍和阅读指令，你会感到困惑。通过让文本设定舞台，并让音乐精炼细节，舞蹈看起来会非常自然且精准踩点。

5. 结果

当他们测试 OmniDance 时，它的表现优于所有其他现有方法。

视觉效果： 舞者看起来很真实，面部和衣服保持一致（没有闪烁或崩坏）。
动作： 动作富有表现力且流畅。
节奏： 舞者能精准地踩中鼓点和音乐的变化。
灵活性： 你可以给它一段音乐、一段文本提示，或者两者兼有，它都能表现出色。

简而言之： OmniDance 是一个新的 AI 系统，它通过研究一个经过精心筛选的庞大真实舞蹈视频库，并以循序渐进的方式接受训练，从而让它既能理解舞蹈的“故事”（文本），又能理解舞蹈的“节奏”（音乐），而不会产生混淆。

技术摘要：OmniDance

问题陈述

音乐驱动的舞蹈视频生成旨在合成与音乐在时间上对齐且具有表现力的动态人体动作，同时保持高视觉保真度。尽管人工智能生成内容（AIGC）取得了显著进展，但现有方法难以同时实现表现力强的动作和高质量的视觉效果。作者确定了阻碍进展的两个主要局限性：

数据集局限性： 缺乏专门为舞蹈视频生成定制的大规模、高质量数据集和有效的数据收集流水线。现有数据集通常规模较小（例如，FineDance 仅包含约 8 小时的动作数据）或缺乏特定的编舞注释。
方法论局限性： 缺乏将音乐作为补充调节信号有效地集成到视频生成基础模型（VGFMs）中的原则性框架级解决方案，这些模型通常是在没有音频监督的情况下训练的。现有方法通常依赖于中间表示（2D 关键点或 3D SMPL），或者未能充分利用端到端扩散模型的潜力，导致动作表现力受限或视觉外观退化。

方法论：OmniDance

为了解决这些挑战，作者提出了 OmniDance，这是一个统一的框架，旨在将音乐调节集成到文本/图像到视频（TI2V）基础模型中，且不损害其原有的可控性或视觉保真度。该框架在三个协同设计的层面上运行：

1. 数据集：CIPE-Dance

作者推出了 CIPE-Dance，这是迄今为止最大的开源舞蹈视频生成数据集，包含约 300,000 个高质量片段（超过 400 小时）。

构建流水线： 采用“渐进式专家驱动数据收集流水线”来过滤来自流行创作者的网络爬取数据。它利用渐进式的由易到难策略，首先使用轻量级验证专家（Qwen3-VL-2B）处理简单任务，随后使用更重的过滤专家（Qwen3-VL-8B）来识别并消除复杂的失败模式（例如，多人舞蹈、镜面反射、场景不稳定）。
注释： 该数据集具有由 Qwen3-VL-8B 生成的编舞信息文本注释，涵盖五个维度：身体动态、编舞内容、表现力、镜头呈现和整体外观。
多样性： 该数据集涵盖了 30 多种舞蹈流派、多样化的环境（工作室、街道、家庭）以及多样的表演者人口统计特征。

2. 模型架构：音乐-文本渐进式专业化

基于 WAN2.2-TI2V-5B 扩散 Transformer（DiT）骨干网络，OmniDance 引入了一种深度感知的专业化机制：

架构： 在每个 DiT 模块中添加了一个额外的音乐交叉注意力层。
渐进式专业化： 受“浅层捕捉低频全局结构，深层细化高频细节”这一观察结果的启发，模型采用了深度感知缩放策略。文本调节在浅层占据主导地位以建立语义布局，而音乐分支的影响力（通过残差更新）在深层逐渐增加，以细化节奏感驱动的运动动态。缩放因子定义为 $(\ell/L)^\gamma$ ，其中 $\ell$ 是层索引， $L$ 是总深度。

3. 训练策略：由易到难的课程学习

为了将 TI2V 能力扩展到统一的 TI2V、音乐到视频（MI2V）以及音乐-文本-到-视频（MTI2V）生成，采用了三个阶段的课程学习：

第一阶段（文本适配预热）： 模型仅在 TI2V 上进行训练，以使预训练骨干网络适应舞蹈相关的文本描述，同时保持音乐分支冻结。
第二阶段（锚定音乐集成）： 引入音乐分支，并在 TI2V 和 MTI2V 上训练模型。这使得音乐调节可以在文本引导下被学习，从而防止预训练 TI2V 能力发生突发性退化。
第三阶段（模态解耦）： 模型在所有三项任务（TI2V、MTI2V、MI2V）上进行训练，从而实现在缺失文本时仅凭音乐生成舞蹈视频。

4. 推理策略：模态专用型 CFG

作者提出了一种**模态专用型无分类器指导（CFG）**策略。认识到文本传达全局语义而音乐提供时间动态，指导权重是随时间变化的：

早期时间步： 文本引导占主导地位，以建立全局语义。
后期时间步： 音乐引导的影响力逐渐增强，以细化节奏感驱动的运动动态。
指导尺度随时间衰减（文本： $5 \to 1$ ；音乐： $4 \to 2$ ），确保从语义布局到节奏细化的平滑过渡。

核心贡献

CIPE-Dance 数据集： 引入了规模最大的开源舞蹈视频生成数据集（30 万个片段），具有编舞信息注释，并通过一种新型的渐进式专家流水线构建。
OmniDance 框架： 一个统一的框架，通过三层设计（架构、课程学习和推理）成功地将音乐调节注入 TI2V 基础模型，支持在 TI2V、MI2V 和 MTI2V 任务之间无缝切换。
最先进的性能（SOTA）： 广泛的实验证明，OmniDance 在所有三项生成任务中均达到了 SOTA 性能，并展现出强大的多模态集成能力。

实验结果

实验在 CIPE-Dance 数据集上进行，评估了视频质量、运动质量和对齐度。

TI2V 任务： OmniDance 在视频质量指标（IQ: 67.74, AQ: 55.17）和运动保真度（FIDk: 13.55）方面优于强基线模型（CogVideoX1.5-5B, HunyuanVideo, WAN2.2-TI2V-5B）。
MI2V 任务： OmniDance 在音乐驱动生成方面取得了 SOTA 结果，在视觉质量（IQ: 65.61）和节拍对齐度（BAS: 0.293）方面超越了微调后的谈话头像模型（Hallo2）和仅推理基线模型（WAN-S2V, Echomimic-V3）。
MTI2V 任务： 模型展示了有效的多模态协同作用，在保持高一致性（OC: 13.08）和强节拍同步（BAS: 0.287）的同时，保持了身份和场景的稳定性。
消融研究： 移除渐进式专业化（MTPS）或课程阶段会显著降低时间平滑度和节拍对齐度，验证了所提议的架构和训练设计的必要性。

意义与主张

论文声称，OmniDance 通过解决数据稀缺和有效音乐集成的双重挑战，标志着多模态驱动舞蹈视频生成迈出了重要一步。通过利用大规模、高质量的数据集以及尊重文本（语义）与音乐（动态）互补作用的原则性框架，作者证明了生成既具有高视觉保真度又具有表现力且符合节奏的运动的舞蹈视频是可能的。该工作将三个不同的生成任务统一到一个模型中，消除了对独立生成器的需求。虽然作者承认目前尚不支持实时生成，但他们建议将该方法与蒸馏技术相结合，为未来的效率提升提供了极具前景的路径。