💻 computer science

DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding

DiMo 引入了一个统一的离散扩散框架，将掩码建模扩展到双向文本-运动理解与生成，通过迭代式标记细化、残差向量量化和组相对策略优化，实现了灵活的质量-延迟权衡以及多样化的运动任务。

原作者： Ning Zhang, Zhengyu Li, Kwong Weng Loh, Mingxi Xu, Qi Wang, Zhengyu Wen, Xiaoyu He, Wei Zhao, Kehong Gong, Mingyuan Zhang

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ning Zhang, Zhengyu Li, Kwong Weng Loh, Mingxi Xu, Qi Wang, Zhengyu Wen, Xiaoyu He, Wei Zhao, Kehong Gong, Mingyuan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一本巨大的、神奇的速写本。在过去，如果你想根据一段描述来画一个跳舞的人，或者根据一段舞蹈视频来写一个故事，你必须使用两个不同的速写本，或者使用一个非常僵化的速写本，它只能一次画一笔，从左到右。如果你在第一笔时犯了错，整幅画就毁了，而且你无法轻松地回头修正，而不必重新开始。

DiMo 是一种全新的“智能速写本”，它改变了规则。它是一个能够同时做两件事的单一系统：

阅读描述并绘制动作（文本生成动作，Text-to-Motion）。
观看动作并编写描述（动作生成文本，Motion-to-Text）。

以下是它的工作原理，我使用了日常生活的类比：

1. “模糊照片”游戏（它是如何生成的）

大多数旧方法的工作方式就像一个人一次写一个词。一旦写下一个词，就无法更改。如果他们写了“小狗跑了”，他们很难在不重写整个句子的情况下将“跑了”改为“跳了”。

DiMo 的工作方式不同。 想象你有一张舞者的照片，但它完全被静态噪声覆盖了（就像一个充满雪花点的模糊电视屏幕）。

过程： DiMo 并不不是逐笔绘制舞者。相反，它会一次性观察整个模糊的图像。它会猜测舞者的样子，然后猜测“下一个版本”应该是什么样子的，并不断重复这个细化过程。
魔力所在： 它可以在图像的任何地方瞬间修复错误。如果左臂看起来很奇怪，它可以只修复左臂，而不会弄乱右腿。它通过在并行步骤中进行“去噪”来实现这一点，就像不断锐化一张模糊的照片，直到它变得清晰无比。

2. “速度 vs 质量”旋钮

因为 DiMo 是通过步骤来细化图像的，所以你可以选择生成结果的速度。

需要快？ 你可以提前停止过程（比如在第 5 步时）。舞者的样子会显得有些粗糙，但你能立即得到结果。
需要完美？ 你可以让它运行更多步骤（比如 30 步）。舞者看起来会非常逼真且流畅。
这就像一个带有“速度 vs 质量”旋钮的相机。你可以滑动它，以获得你在特定时刻所需要的结果。

3. “高清晰度”翻译器 (RVQ)

为了让舞者看起来真实，DiMo 使用了一个特殊的工具，叫做残差向量量化 (Residual Vector Quantization, RVQ)。

类比： 想象你试图仅用 10 种颜色来描述一幅复杂的画作。它看起来会很块状且丑陋。现在想象你有一个拥有 1,000 种颜色的调色板，但你分层使用它们。首先，你铺设大的形状（身体），然后你添加肌肉，最后添加像发丝这样微小的细节。
结果： DiMo 将动作分解为这些层级。这使得它能够分别捕捉“粗略”的动作（如行走）和“精细”的细节（如手指的抽动），从而产生更平滑、更真实的动画。

4. “智能教练” (GRPO)

有时，即使动作看起来很好，它可能也与你告诉它的故事不符（例如，文本说“跳跃”，但角色却在“行走”）。

类比： DiMo 有一个内置的“教练”（称为 GRPO）。在 DiMo 完成一次动作后，教练会检查：“这符合文本吗？”如果不符合，教练会给系统一个轻微的提示，让它重试。随着时间的推移，DiMo 会学会更好地听从教练，确保舞蹈与故事完美契合。

它究竟能做什么？

根据论文，DiMo 是处理动作和文本的瑞士军刀：

文本生成动作： 你输入“一个人正在做后空翻”，它就会生成视频。
动作生成文本： 你上传一段舞蹈视频，它会写出类似“舞者正在旋转并跳跃”的标题。
修复错误： 如果你的视频有一个缺失的部分（比如中间有一段断开），DiMo 可以填补这个缺口，而不需要新的指令。
修正标题： 如果你有一个视频和一个不太匹配的标题，DiMo 可以修正标题以准确描述正在发生的事情。

总结

论文声称 DiMo 比以往的方法更好，因为它不会卡在开头的一个错误上。它可以观察全局，在任何地方修复错误，并让你选择生成速度或质量的高低。它已在标准数据集（HumanML3D 和 KIT-ML）上进行了测试，证明它可以在一个统一的框架内创建高质量的舞蹈并编写准确的描述。

技术摘要：DiMo —— 用于动作生成与理解的离散扩散模型

1. 问题陈述

当前双向文本-动作理解与生成的途径主要依赖于自回归（AR）范式，例如通过将动作标记化并逐个解码序列的 GPT 式模型。虽然这些方法为文本生成动作（T2M）和动作生成文本（M2T）提供了统一的接口，但它们存在固有的局限性：

延迟缩放： 由于采用顺序解码，端到端延迟随序列长度线性增加。
可编辑性有限： 自回归解码的单向特性阻碍了全局性的、多步的修正，使得编辑和补全任务变得困难。
架构碎片化： 将文本条件化变体（如动作补全）与无文本条件变体进行统一，通常需要独立的工程分支和专门的训练技巧。

本文认为，一个能够实现高质量生成、低延迟解码、可编辑性以及多任务统一的统一框架仍然是一个开放的挑战。

2. 方法论：DiMo 框架

DiMo（离散扩散模型）提出了一个离散扩散风格的框架，将文本和动作都视为噪声序列。DiMo 没有采用顺序自回归，而是采用全局上下文下的迭代掩码标记细化（iterative masked token refinement），从而实现并行去噪。

核心组件

动作标记化 (RVQ)：
为了提高动作表示的保真度，DiMo 使用了残差向量量化 (RVQ)。连续的 3D 动作序列被离散化为多层级的标记。与单阶段量化相比，这种方法在同等比特率下实现了更低的量化误差，同时保留了粗略的身体结构和高频细节。
统一架构：
该模型构建在 基于 BERT 的掩码语言模型骨干网络 之上，该网络天然契合双向去噪目标。它集成了：
- 动作编码器： 使用轻量级 Transformer 编码器处理每个残差层的 RVQ 标记流。
- 动作解码器： 使用并行预测头来细化骨干特征，并在所有 RVQ 层级上同时输出动作词表上的逻辑值（logits）。
- 共享嵌入空间： 文本和动作特征在共享的去噪框架内进行融合。
多任务调度：
DiMo 通过随机采样将三个任务统一在一个训练循环中：
- 文本生成动作 (T2M)： 从未被掩码的文本提示中恢复受损的动作标记。
- 动作生成文本 (M2T)： 将预留的动作标记翻译成自然语言描述（标题生成）。
- 动作生成动作 (M2M)： 在没有文本输入的情况下，对被掩码的动作标记进行自监督恢复，从而增强动作预测和补全能力。
训练与优化：
- 损失函数： 模型通过线性掩码调度进行训练，使用掩码交叉熵损失，使模型暴露在不同程度的损坏之下。
- 推理策略： 使用置信度引导的渐进式推理策略。模型首先提交高置信度的标记，并在 $K$ 个去噪步骤内不断细化不确定区域。
- 强化学习 (GRPO)： 为了增强对齐性和可控性，该框架引入了群体相对策略优化 (GRPO)。这种无需评论员（critic-free）的变体利用特定任务的奖励对模型进行微调：
  - T2M 奖励： 通过将生成的动作标题（通过冻结的 M2T 分支）与真实值在 CLIP 嵌入空间中进行比较，来衡量语义正确性。
  - M2T 奖励： 结合了动词一致性、语义相似度 (CLIP) 和长度惩罚，以防止输出退化。

3. 主要贡献

本文概述了三个主要贡献：

范式转变与可调解码： DiMo 将扩散-LLM 训练机制引入双向文本-动作建模。与严格从左到右的解码不同，迭代式的掩码细化实现了逐步自我修正，降低了对早期标记错误的敏感性。至关重要的是，细化步骤的数量 ( $K$ ) 提供了一个可调的质量-延迟权衡，允许从业者选择帕累托最优的操作点。
统一能力与扩展性： 该框架本质上支持标准的 T2M/M2T，以及无文本条件和文本条件下的动作补全与预测。它还展示了在无需改变架构的情况下，在动作引导的文本修正和占位符消歧方面的鲁棒性。
实际有效性： 通过使用 RVQ 进行标记化以及使用 GRPO 进行对齐，DiMo 在 HumanML3D 和 KIT-ML 数据集上取得了具有竞争力的结果，展示了单一模型内强大的动作质量和双向理解能力。

4. 实验结果

实验在 HumanML3D 和 KIT-ML 数据集上进行。

文本生成动作 (T2M)： DiMo 取得了具有竞争力的 FID 分数（使用 GRPO 时为 0.047），表明其具有极高的几何和感知保真度。虽然检索指标 (R@1) 具有竞争力，但作者指出这些指标高度依赖于评估器的训练分布。
动作生成文本 (M2T)： DiMo 在各项文本指标（BLEU, ROUGE-L, CIDEr, BERTScore）上均表现强劲，表明所学习的动作表示保留了丰富且结构化的语义信息。
质量-延迟权衡： 关于去噪步骤 ( $K$ ) 的消融研究表明，将步骤从 30 减少到 5 可以显著缩短推理时间，而仅产生轻微的质量下降。值得注意的是，即使在较少的步骤下，DiMo 也能以极低的延迟在 T2M FID 上超越现有方法。
标记化深度： 研究发现 6 阶段的 RVQ 是最优选择，平衡了重建保真度 (MSE) 与下游任务的性能。

5. 重要性与主张

本文声称，DiMo 通过利用掩码细化和并行去噪的效率，解决了自回归动作生成的根本瓶颈。其重要性在于：

统一性： 成功地将 T2M、M2T 和 M2M 任务统一起来，无需单独的模型或专门的分支。
灵活性： 通过调整去噪步骤的数量，提供了一种天然的权衡推理速度与生成质量的机制。
鲁棒性： 证明了单个模型可以处理多样化的任务，包括无文本条件的动作补全和动作引导的文本修正，从而验证了用于跨模态建模的统一语义空间的有效性。

作者总结道，DiMo 在动作真实感和语义一致性之间提供了强大的平衡，为未来的动作系统提供了一个可扩展且可扩展的范式。