技术摘要：MACE-Dance

问题陈述

音乐驱动舞蹈视频生成的任务旨在从音频输入和参考图像中合成高质量的舞蹈视频。尽管在音乐驱动 3D 舞蹈生成、姿态驱动图像动画和音频驱动说话人合成等相关领域已取得进展，但现有方法由于生成目标和约束的根本性不匹配，未能充分解决这一特定任务。

• 3D 舞蹈生成：虽然这些方法能有效生成运动学上合理的动作，但在渲染为 2D 视频时，往往缺乏逼真的人 - 景交互和高保真视觉纹理。
• 姿态驱动图像动画：这些方法依赖手动姿态设计，对于复杂的全身体舞蹈序列而言既耗时又困难。此外，现有的音频驱动方法（例如说话人）侧重于简单的上半身手势，而非舞蹈所需的全身体复杂运动。
• 直接端到端方法：当前关于直接音乐到视频生成的有限研究往往未能捕捉舞蹈固有的 3D 特性，导致运动质量（例如物理不合理性）和视觉外观（例如模糊、伪影）受损。

核心挑战在于同时实现 (1) 运动学合理且具有艺术表现力的舞蹈动作，以及 (2) 具有强时空一致性的高保真视觉外观。

方法论：MACE-Dance

作者提出了 MACE-Dance，这是一个利用级联混合专家（MoE）架构的框架。该系统将复杂任务解耦为两个专用阶段：运动专家和外观专家，两者通过显式的3D 运动表示（SMPL 参数）而非 2D 关键点连接。这一选择保留了全身几何结构，将姿态与视角解耦，并提供了对遮挡的鲁棒性。

1. 运动专家（音乐到 3D 运动）

该模块生成以音乐为条件的 3D 运动序列，强制执行运动学合理性和艺术表现力。

• 架构：采用具有BiMamba-Transformer 混合骨干网络的扩散模型。
  • BiMamba：利用双向状态空间模型捕捉音乐和舞蹈序列中的模态内局部依赖关系，确保细粒度的时间连续性。
  • Transformer：通过交叉注意力建模跨模态全局上下文，将整体舞蹈结构与长期音乐乐句对齐。
  • 非自回归生成：模型一次性生成整个序列，提高了效率，并避免了自回归方法中常见的暴露偏差。
• 训练策略：作者采用无引导训练（GFT），而非传统的无分类器引导（CFG）。GFT 训练单个模型以隐式表示温度控制的采样行为，从而减轻分布不匹配并增强生成稳定性。
• 损失函数：模型使用重建损失、3D 关节损失、速度损失和脚部接触损失的加权和进行优化，以确保物理真实性。

2. 外观专家（运动与参考条件视频合成）

该模块通过利用生成的 3D 运动来动画化参考图像，从而合成最终视频，同时保持视觉身份和时空连贯性。

• 基础模型：基于通用角色动画模型 Wan-Animate 构建。
• 解耦微调策略：为解决通用动画与复杂舞蹈之间的领域差距，作者引入了一种两阶段微调方法：
  • 运动学阶段：仅微调身体适配器（Body Adapter），以增强运动学条件约束和运动遵循性，确保生成的视频严格遵循 3D 运动引导，而不改变骨干网络的生成先验。
  • 美学阶段：在每个 DiT 块的注意力和前馈投影上附加轻量级 LoRA 适配器。该阶段优化视觉质量，增强纹理保真度（皮肤、头发、织物）并处理复杂的摄像机编排，同时保持主体的身份特征。
• 投影器：一个 3D 到 2D 运动投影器将运动专家输出的 SMPL 序列转换为外观专家所需的 2D 关键点，从而桥接 3D 和 2D 领域。

主要贡献

1. 数据集与基准：作者 curated 了 MA-Data，这是一个包含 7 万段片段（116 小时）的大规模数据集，涵盖 20 多种舞蹈流派。它结合了 3D 渲染数据（以运动为中心）和野外互联网数据（以外观为中心）。他们还设计了一个全面的运动 - 外观评估协议，涵盖运动学保真度、多样性、同步性和视觉质量指标。
2. MACE-Dance 框架：一个级联 MoE 框架，通过协同整合运动和外观生成，在音乐驱动舞蹈视频生成方面实现了最先进（SOTA）的性能。
3. 运动专家创新：引入了 BiMamba-Transformer 混合架构和无引导训练（GFT）策略，在 FineDance 数据集上实现了音乐驱动 3D 舞蹈生成的 SOTA 性能。
4. 外观专家创新：开发了去耦合的运动学 - 美学微调策略，在 MA-Data 数据集上实现了姿态驱动图像动画的 SOTA 性能。

结果

大量实验表明，MACE-Dance 在多项指标上优于现有基线（包括与动画模型串联的 3D 生成方法，以及通用人体运动视频生成器）：

• 运动质量：在 FineDance 数据集上，运动专家取得了最佳的 FID（17.83）、多样性（DIV）和节拍对齐分数（BAS），表明其具有高保真度、多样性和音乐同步性。
• 视频质量：在 MA-Data 数据集上，MACE-Dance 在成像质量（IQ）、美学质量（AQ）、主体一致性（SC）和时间闪烁（TF）方面取得了 SOTA 分数。
• 用户研究：一项涉及 40 名参与者的双盲用户研究证实，在所有六个维度上，MACE-Dance 都受到压倒性的偏好，优于基线（例如 Hallo2、EDGE、Lodge、MEGA）：舞蹈同步性、舞蹈质量、舞蹈创意、感知质量、时间一致性和身份一致性。
• 长序列生成：该框架成功生成了连贯的长序列视频（推理时最长可达 34 秒），没有显著的运动漂移或视觉退化，这得益于 BiMamba-Transformer 的长度外推能力和基于姿态锚定的中继渲染。

意义与主张

论文声称，MACE-Dance 代表了舞蹈领域 AIGC 的重大进步。通过将任务显式解耦为运动和外观生成，并利用 3D 中间表示，该框架克服了端到端模型在处理虚假跨模态相关性和物理合理性方面的局限性。

作者强调，他们的方法不仅为视频质量和运动表现力设立了新的基准，还提供了一条可控且可解释的流水线。显式的 3D 运动输出允许下游应用，如运动编辑、重定向到不同的角色绑定，以及在 VR/AR 和具身 AI 中的潜在应用，使其区别于黑盒视频生成模型。这项工作强调了专用专家模块和结构化中间表示在解决复杂多模态生成任务中的重要性。