RDM: Recurrent Diffusion Model for Human Motion Generation

本文提出了一种名为 RDM 的循环扩散模型，它利用归一化流显式地以前序噪声帧为条件来生成人体运动，从而在避免完全去噪开销的同时实现了长序列生成并显著降低了推理成本。

要点

这篇文章介绍了一种名为 RDM (Recurrent Diffusion Model，循环扩散模型) 的新方法，专门用来让计算机根据文字描述生成人类的动作（比如“一个人拿着篮球运球”）。

为了让你更容易理解，我们可以把生成动作的过程想象成**“画一幅长卷画”或者“写一部长篇小说”**。

1. 以前的方法有什么痛点？

在 RDM 出现之前，生成动作主要有两种“笨办法”：

• 方法 A：一次性画完（Volume Diffusion）
  • 比喻：就像你要画一幅长卷画，你必须在画布上一次性把整幅画都画出来，不能只画一部分。
  • 问题：如果画卷太长，电脑内存会爆炸，算不过来。所以以前的模型只能生成很短的动作（比如只能画 5 秒），想画长一点就卡住了。
• 方法 B：像写日记一样一段段写（Autoregressive Diffusion）
  • 比喻：这就像写小说，写完第一章，必须把第一章彻底改好、定稿，才能开始写第二章。
  • 问题：虽然能写很长，但效率极低。因为每写新的一段，电脑都要把前面所有已经写好的部分重新“精修”一遍，非常耗时。而且，如果第一章稍微有点小瑕疵，后面可能会越写越歪（动作不连贯）。

2. RDM 是怎么做的？（核心创新）

RDM 提出了一种**“循环扩散”的新思路。我们可以把它想象成“接力赛”或者“滚雪球”**。

• 核心思想：
  想象你在画长卷画。RDM 不需要一次性画完，也不需要每画一笔都把整幅画重画一遍。
  它画完第一小段后，保留第一小段的“草稿状态”（带点噪点/模糊），直接把它作为画第二小段的参考底稿。

  • 比喻：就像你写小说，写完第一章，你不需要把第一章彻底定稿，而是直接拿着第一章的草稿去构思第二章。第二章的灵感直接来源于第一章的草稿，这样既快又连贯。

• 技术魔法：正态流（Normalizing Flows）

  • 问题：直接拿“草稿”去参考，数学上有个大麻烦：草稿是模糊的，直接传递可能会导致概率计算出错，就像用模糊的地图导航，容易迷路。
  • 解决：RDM 使用了一种叫“正态流”的数学工具。
  • 比喻：这就像给“草稿”加了一个**“智能翻译器”**。无论草稿有多模糊，这个翻译器都能保证它传递到下一段时，依然符合逻辑和概率规则，不会让动作“崩坏”。

3. RDM 厉害在哪里？

1. 能画超长画卷（无限生成）：
   以前的模型只能画固定长度（比如 5 秒），RDM 可以一直画下去。只要文字描述是“一个人运球”，它就能一直生成运球的动作，直到你喊停。而且动作非常连贯，不会像以前的模型那样，画到后面脚就“飘”了或者动作变形了。

2. 速度极快（跳过步骤）：
   这是最酷的一点。以前的“接力赛”方法，每接一棒都要把前面的棒子擦得锃亮（完全去噪）才能接。
   RDM 发明了一种**“楼梯式采样”**技巧。

   • 比喻：想象下楼梯。以前的方法是每下一层都要把楼梯擦干净再下。RDM 的方法是：直接看准了，跨步跳下几层！它跳过了很多不必要的计算步骤，直接跳到关键节点。
   • 结果：生成同样长度的动作，RDM 比以前的方法快得多（有的情况下快 10 倍以上）。

3. 动作更自然：
   因为它是“带着草稿”去生成下一段，所以动作之间的过渡非常自然，不会出现“断片”或者“脚底打滑”的情况。

4. 总结

如果把生成人类动作比作**“导演指导演员排练”**：

• 旧方法：要么要求演员一次性把整场戏演完（太累，演不长）；要么演完一场戏，导演要把整场戏重新排练一遍才能开始下一场（太慢）。
• RDM 方法：导演看着演员上一场的即兴发挥（带点模糊的草稿），直接指导下一场戏。既不需要重头再来，又能保证剧情连贯，而且导演还能跳过一些琐碎的排练步骤，直接抓重点。

一句话总结：RDM 让电脑生成动作变得更快、更长、更连贯，就像给动作生成装上了“涡轮增压”和“自动驾驶”系统。

技术摘要

RDM：用于人体运动生成的循环扩散模型 (Recurrent Diffusion Model) 技术总结

1. 研究背景与问题 (Problem)

人体运动生成是计算机动画、游戏和机器人领域的关键任务，但面临以下主要挑战：

• 高维性与细粒度：人体运动具有极高的自由度，生成细节丰富且连贯的运动序列非常困难。
• 现有扩散模型的局限性：
  • 体积扩散 (Volume Diffusion)：如 MotionDiffuse 等方法将整段序列视为一个整体进行扩散。这种方法计算成本高昂，且受限于固定的训练视野（Horizon），难以生成长序列，且容易导致运动不连贯。
  • 自回归扩散 (Autoregressive Diffusion)：如 AMD、CLoSD 等方法通过逐帧或逐段生成来扩展序列长度。然而，它们通常依赖完全去噪（fully denoising）前序帧来生成后续帧。这种机制不仅增加了训练和推理的复杂性，还导致推理延迟高，且难以在保持概率模型性质的同时处理长序列依赖。

2. 方法论 (Methodology)

作者提出了 RDM (Recurrent Diffusion Model)，一种受循环神经网络 (RNN) 启发的新型扩散框架，旨在解决上述问题。

核心架构：循环扩散 formulation

RDM 将扩散过程扩展到时间维度，构建了一个 2D 网格结构（时间步 $t$ vs 序列段 $i$）：

• 显式条件依赖：与自回归模型不同，RDM 在前向（加噪）和反向（去噪）过程中，都显式地以前序的噪声帧（noisy frames）为条件，而不是完全去噪的干净帧。
• 去噪与预测解耦：这种设计将去噪任务与未来帧预测任务纠缠在一起，打破了生成序列长度的限制，使其能够生成无限长的序列（Horizon-agnostic）。

关键技术：归一化流 (Normalizing Flows)

循环结构带来的核心挑战是：循环变换本身不能保证概率分布的有效性，这会导致扩散模型的损失函数（KL 散度）在理论上失效。

• 解决方案：RDM 引入 归一化流 (Normalizing Flows) 来建模时间依赖关系。
• 机制：
  • Diffusion-only：初始段（$x^0_0$）使用标准的高斯加噪/去噪。
  • Diffusion-flow：后续段（$x^i_t, i>0$）在加噪和去噪时，利用可逆的归一化流（Real-NVP）将当前段映射回初始段（$x^0_t$），在“扩散 - 流”混合空间中进行操作。
  • 概率保持：通过流的雅可比行列式（Jacobian determinant）调整概率密度，确保在循环变换下概率分布依然有效，从而推导出闭合形式的训练损失。

推理优化：阶梯采样 (Staircase Sampling)

• 跳过扩散步：RDM 不需要像传统自回归模型那样完全去噪前序帧。利用归一化流的可逆性，RDM 可以在 2D 网格上以“阶梯”方式采样。
• 效率提升：通过跳过冗余的扩散步骤，RDM 显著降低了推理延迟和计算量（FLOPs）。

3. 主要贡献 (Key Contributions)

1. 新颖的循环扩散公式：提出了一种利用归一化流通过噪声隐藏状态建模时空依赖的扩散框架，建立了非马尔可夫（Non-Markovian）的运动合成框架。
2. 与视野无关的推理机制：解耦了生成长度与训练约束，实现了稳定、开放式的长序列合成，且无需重新训练即可生成超出训练视野的序列。
3. 高效的推理策略：通过跳过扩散步骤（Staircase Sampling），在保持运动保真度的同时，显著降低了推理延迟，速度远超自回归基线。
4. 理论完备性：利用归一化流解决了循环扩散中概率分布定义的理论难题，推导出了有效的训练损失函数。

4. 实验结果 (Results)

实验在 KIT-ML 和 HumanML3D 数据集上进行，对比了体积扩散（如 MotionDiffuse, Light-T2M）和自回归扩散（如 AMD, CLoSD, MD-x）基线。

• 生成质量：
  • RDM 在文本到运动生成任务中，其性能（R-Precision, FID, Multimodality）与最先进的体积扩散模型（如 Light-T2M, MotionDiffuse）相当。
  • 在长序列生成（Rollout）任务中，RDM 显著优于自回归基线（如 MD-4/7），生成的运动在超出训练视野后依然保持与文本提示的高度对齐和连贯性（例如“运球”动作在长序列中未出现脚部接触错误）。
• 计算效率：
  • 推理速度：RDM 的推理时间显著低于基线。在 HumanML3D 上，RDM-4 配置比 CLoSD 快 11.25 倍至 18.11 倍。
  • FLOPs：RDM 的计算量（FLOPs）比体积扩散模型低几个数量级，且随着序列长度增加，其效率优势更加明显。
• 用户研究：在主观评估中，RDM 生成的运动在自然度、平滑度和语义对齐方面获得了约 86% 的用户偏好率，优于所有基线。

5. 意义与影响 (Significance)

• 突破长序列生成瓶颈：RDM 成功解决了扩散模型在生成长序列时的计算瓶颈和连贯性问题，为生成任意长度的自然人体运动提供了可行的方案。
• 理论创新：首次将归一化流与扩散模型结合用于循环时间建模，解决了循环结构下概率分布定义的理论难题，为未来的时序生成模型提供了新的设计思路。
• 实际应用价值：其高效的推理速度使其非常适合对实时性要求高的应用场景，如游戏动画生成、虚拟角色控制及机器人运动规划。
• 未来方向：论文指出 RDM 可以自然地扩展到潜在空间（Latent Space）进行训练，这将是未来研究的重要方向，有望进一步提升生成质量和效率。

总结：RDM 通过引入循环结构和归一化流，在保持扩散模型高质量生成的同时，实现了长序列生成的效率与连贯性突破，是目前人体运动生成领域的一项重要进展。