🤖 AI

TokenDance: Token-to-Token Music-to-Dance Generation with Bidirectional Mamba

TokenDance 是一种基于双向 Mamba 架构的两阶段音乐生成舞蹈框架，通过双模态离散化与局部 - 全局 - 局部令牌到令牌生成机制，有效解决了现有模型因数据局限导致的泛化性差和动作单一问题，在生成质量与推理速度上均达到了业界领先水平。

原作者： Ziyue Yang, Kaixing Yang, Xulong Tang

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyue Yang, Kaixing Yang, Xulong Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TokenDance 的新系统，它的核心任务是：让电脑听着音乐，自动编排出逼真的舞蹈动作。

想象一下，你给电脑放一首歌，它就能像真人舞者一样，随着节奏扭动身体。虽然现在的技术已经能做这件事，但往往跳得比较呆板、重复，或者跟音乐“对不上拍子”。

TokenDance 就像是一个天才的舞蹈教练，它通过两个独特的“绝招”解决了这些问题。我们可以用生活中的例子来理解它的工作原理：

1. 核心痛点：为什么以前的电脑跳舞不好？

以前的方法就像让一个只会死记硬背的学生去跳舞。

问题：现有的舞蹈数据太少（就像只有几本舞蹈教材），而且电脑是直接“硬算”动作的（连续回归）。
后果：遇到没学过的音乐，电脑就慌了，只能重复以前学过的几个简单动作，或者动作变得很僵硬，缺乏灵魂。

2. TokenDance 的两大“绝招”

第一招：把音乐和舞蹈变成“乐高积木” (Dual-Modality Tokenization)

这是 TokenDance 最聪明的地方。它不再把音乐和舞蹈看作连续的、模糊的信号，而是把它们拆解成一个个具体的“积木块”（Token）。

舞蹈的拆解（上下身分离）：
想象一下，人的舞蹈动作可以拆成“上半身”和“下半身”。
- 以前的方法是把整个人作为一个整体来学，容易顾此失彼。
- TokenDance 把上半身（比如挥手、扭腰）和下半身（比如脚步移动）分开打包成不同的积木。这样，电脑就可以像搭乐高一样，灵活地组合出各种新动作，既不会乱，又很丰富。
- 比喻：就像把一套复杂的西装拆成了“上衣”和“裤子”两个独立的模块，你可以随意搭配不同的上衣和裤子，而不是只能穿整套固定的西装。
音乐的拆解（听懂“节奏”和“风格”）：
音乐听起来千变万化，但在编舞看来，它其实是由有限的元素组成的。
- TokenDance 把音乐拆成两部分：“声学特征”（比如鼓点的快慢、节奏的强弱，决定脚什么时候踩）和**“语义特征”**（比如是爵士风、嘻哈风还是流行风，决定动作的风格）。
- 比喻：以前电脑听歌像是在听一团模糊的噪音；现在 TokenDance 像是一个乐理大师，它能把歌拆解成“这是 4/4 拍的节奏”和“这是嘻哈风格”，然后分别用对应的积木去匹配舞蹈。

第二招：拥有“上帝视角”的生成器 (Bidirectional Mamba)

有了积木，怎么把它们拼起来呢？TokenDance 用了一个叫 Bidirectional Mamba 的“超级大脑”。

双向思考：
普通的 AI 看音乐是“从左到右”（只听前面，不知道后面）。但跳舞需要预判！
- TokenDance 的“大脑”是双向的。它既看前面的音乐，也看后面的音乐。
- 比喻：就像你在开车，普通的司机只看车头前方（容易急刹车）；而 TokenDance 的司机既能看后视镜，也能看前方，知道前面马上要转弯，所以提前就做好了准备。这让舞蹈动作的衔接非常丝滑，不会突然卡顿。
非自回归（一次成型）：
以前的 AI 跳舞像“挤牙膏”，跳一个动作，停顿一下，再想下一个动作，速度很慢。
- TokenDance 像打印机，它利用 Mamba 的特性，可以一次性把整段舞蹈的积木全部打印出来。
- 比喻：以前是“手工作坊”（做一个停一下），现在是“流水线工厂”（瞬间完成）。这让它的生成速度极快，几乎可以实时响应。

3. 效果如何？

实验证明，TokenDance 就像是一个既懂乐理又懂人体力学的顶级舞者：

跳得更像人：动作自然，不会像机器人一样僵硬。
跟拍更准：动作和音乐的鼓点完美卡在一起。
花样更多：面对没听过的“野路子”音乐，它也能编出新颖的舞蹈，而不是只会重复老套路。
速度更快：生成一段舞蹈只需要几秒钟，比以前的方法快了好几倍。

总结

简单来说，TokenDance 就是给电脑装上了**“乐高积木思维”（把复杂的动作和音乐拆解成小块）和“双向预判能力”**（同时看前后文），让它能像真人一样，快速、灵活且富有情感地随着音乐起舞。这对于未来的虚拟偶像、VR 游戏和舞蹈教学来说，是一个巨大的进步。

TokenDance 论文技术总结

1. 研究背景与问题定义

音乐到舞蹈生成（Music-to-Dance Generation） 在虚拟现实、舞蹈教育和数字角色动画等领域具有广泛应用。然而，现有的 3D 舞蹈生成方法面临以下核心挑战：

数据规模受限与泛化性差：现有的主流 3D 舞蹈数据集（如 AIST++, FineDance）规模较小（仅数小时），导致模型难以覆盖现实世界（In-the-wild）中多样化的音乐风格和复杂的编舞模式。
生成质量与表达力不足：现有模型生成的舞蹈往往过于简单、重复，缺乏真实感和表现力。
现有方法的局限性：
- 单阶段方法（One-stage）：直接在连续空间回归运动参数，缺乏显式的运动先验，容易产生累积误差和流形漂移（Manifold Drift）。
- 两阶段方法（Two-stage）：虽然引入了离散的运动单元（Token），但通常将音乐视为连续的条件信号，未能显式建模细粒度的节奏线索和高层音乐结构，导致在复杂音乐下编舞保守。

核心洞察：尽管音乐表面看似无限多样，但从编舞角度看，其可抽象为有限的、可组合的元素（如特定的节奏型、风格类别）。舞蹈相关的音乐信息实际上位于一个结构化且低维的流形上。

2. 方法论：TokenDance 框架

TokenDance 提出了一种两阶段音乐到舞蹈生成框架，通过双模态离散化（Dual-Modality Tokenization）和基于 Bidirectional Mamba 的 Token-to-Token 生成来解决上述问题。

2.1 第一阶段：双模态离散化 (Dual-Modality Tokenization)

该阶段利用**有限标量量化（Finite Scalar Quantization, FSQ）**将连续的音乐和舞蹈信号离散化为可重用的 Token。

舞蹈离散化：
- 分解策略：将 SMPL 参数分解为上半身和下半身两个独立部分，分别构建代码本（Codebook）。这种解耦允许模型更灵活地重组动作，增加运动多样性。
- 约束机制：在重建过程中引入运动学（Kinematic）和动力学（Dynamic）约束，确保关节位置、速度和加速度在关节空间和正向运动学空间的一致性，保证物理合理性。
- 量化技术：使用 FSQ 替代传统的 VQ-VAE，避免了代码本坍塌（Codebook Collapse）和利用率不均的问题，无需辅助损失函数。
音乐离散化（创新点）：
- 分解策略：将音乐特征分解为语义特征（Semantic）（如 MFCC，代表风格）和声学特征（Acoustic）（代表节奏和音色）。
- 独立量化：分别为语义和声学特征分配独立的 FSQ 代码本。这种设计不仅解耦了不同抽象层级的信息，还通过组合将离散表示的表达能力从 $O(L)$ 扩展到 $O(L^2)$ 。
- 意义：将音乐到舞蹈的生成从连续回归问题转化为结构化的序列预测问题，显著降低了有限数据下的学习难度，增强了模型对未见音乐的泛化能力。

2.2 第二阶段：Token-to-Token 生成 (Local-Global-Local Generator)

该阶段基于**双向 Mamba（Bidirectional Mamba, BiMamba）**骨干网络，构建了一个“局部 - 全局 - 局部”的生成架构。

架构设计：
1. 局部音乐扫描器（Music Local Scanners）：分别处理语义和声学音乐 Token，捕捉短程的节奏和结构线索。
2. 全局扫描器（Global Scanner）：融合多模态信息，并通过**风格感知门控机制（Genre-aware gating）**进行 refinement，确保长序列的风格一致性。
3. 局部舞蹈扫描器（Dance Local Scanners）：将全局特征分解为上半身和下半身分支，预测离散的运动 Token。
核心组件：双向 Mamba (BiMamba)
- 双向性：标准 Mamba 是单向的，而舞蹈生成需要同时利用前后文（如音乐的前后拍、动作的过渡）。BiMamba 通过并行处理正向和反向序列并融合，增强了全局上下文建模。
- 高效性：Mamba 基于选择性状态空间模型（S6），支持**非自回归（Non-autoregressive）**的并行推理，显著提高了生成速度，适合实时交互场景。
- 局部连续性：相比 Transformer，Mamba 具有更强的序列归纳偏置，能更好地建模细粒度的局部时间连续性。

3. 主要贡献

TokenDance 框架：提出了一种高效的两阶段生成框架，在生成质量和推理速度上均达到了 SOTA（State-of-the-Art）。
音乐离散化（Music Tokenization）：首次在两阶段框架中引入音乐 Token 化，将音乐抽象为有限的可组合元素，显著提升了模型在多样化音乐输入下的泛化能力，且该模块具有模型无关性（Model-agnostic）。
Local-Global-Local 生成器与 BiMamba：设计了分层生成架构，结合双向 Mamba 骨干，实现了局部节奏对齐、全局编舞连贯性和高效非自回归推理的平衡。

4. 实验结果

作者在 AIST++、FineDance 和 PopDanceSet 三个数据集上进行了广泛实验。

定量指标：
- 生成质量：在 AIST++ 上，TokenDance 取得了最低的 FIDk (21.55) 和最高的运动多样性 (DIVk=8.05)。在 FineDance 和 PopDanceSet 上，FIDg 和 DIVg 指标均表现优异，显著优于 Bailando, EDGE, Lodge 等基线模型。
- 节奏同步：Beat Alignment Score (BAS) 保持在与 SOTA 相当的水平，证明在提升多样性的同时未牺牲节奏准确性。
- 推理速度：得益于非自回归设计，TokenDance 的推理延迟极低。在 1024 帧序列上仅需 1.22 秒，远快于其他方法（如 FACT 需 35.88 秒）。
定性分析：
- 生成的舞蹈动作更加自然、流畅，减少了重复循环和不稳定的脚部接触。
- 在跨风格（如傣族舞、现代舞、Popping）测试中，模型能保持风格特异性并准确对齐音乐。
用户研究：在双盲用户测试中，TokenDance 在舞蹈同步性 (DS)、质量 (DQ) 和创造力 (DC) 三项指标上均获得最高评分，接近真人编舞（GT）水平。
消融实验：
- 验证了音乐分解（声学/语义分离）对重建和生成任务的关键作用。
- 证明了BiMamba优于单向 Mamba 和 Transformer，特别是在全局连贯性和节奏对齐方面。
- 证实了音乐 Token 化在不同模型架构（FACT, Bailando）和不同音乐特征（MERT, Jukebox）下均能带来性能提升。

5. 意义与价值

TokenDance 通过引入双模态离散化和高效的状态空间模型，有效解决了当前音乐到舞蹈生成中数据稀缺导致的泛化性差和生成质量低的问题。

理论价值：揭示了编舞相关音乐信息的结构化本质，证明了将连续信号转化为离散 Token 对于提升生成模型鲁棒性的有效性。
应用价值：极高的推理速度使其能够应用于实时虚拟化身动画、交互式舞蹈教育等对延迟敏感的场景。
未来方向：计划引入更大规模数据集和文本条件，以实现更灵活的用户指定编舞控制。

综上所述，TokenDance 不仅刷新了多项基准测试记录，更为解决小样本下的多模态生成问题提供了新的范式。