📊 statistics

Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

本文提出了 Riemannian Motion Generation (RMG) 框架，通过将人体运动表示为乘积流形并利用黎曼流匹配学习动力学，在 HumanML3D 和 MotionMillion 数据集上实现了当前最先进的人体运动生成效果。

原作者： Fangran Miao, Jian Huang, Ting Li

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fangran Miao, Jian Huang, Ting Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RMG（黎曼运动生成） 的新方法，用来让电脑生成更自然、更逼真的人类动作。

为了让你轻松理解，我们可以把“教电脑生成动作”想象成教一个机器人跳舞。

1. 以前的方法：在“平地”上画复杂的迷宫

过去，大多数让电脑生成动作的方法，都是把人的身体动作看作是在平坦的欧几里得空间（就像一张无限大的白纸）上的一堆数字坐标。

比喻：想象你要教机器人走路。以前的方法是把机器人的每一个关节（膝盖、手肘、肩膀）的位置，都强行拉直成 X、Y、Z 三个坐标轴上的数字。
问题：人的身体是有结构的，关节转动是有物理限制的（比如膝盖不能向后弯）。但在“平地”上，电脑不知道这些限制。它可能会生成出“膝盖向后折”或者“手臂穿过身体”这种违背物理常识的奇怪动作。
后果：为了修正这些错误，研究人员不得不给电脑加很多“事后诸葛亮”的规则（比如“如果膝盖角度不对，就强行改回来”）。这就像是在平地上画了一个极其复杂的迷宫，让机器人走，走错了再把它拉回来，效率低且容易出错。

2. 这篇论文的核心思想：在“球面”上跳舞

这篇论文的作者认为，人的动作其实不是发生在平坦的“白纸”上，而是发生在一种有特定形状的“曲面”（数学上叫黎曼流形）上。

比喻：
- 旋转：想象你的手臂绕着肩膀转。这不像是在直线上移动，更像是在球面上画圈。如果你把球面强行压平，球面上的圆就会变形。
- 平移：人在地上走，就像在平面上移动。
- RMG 的做法：作者不再把动作强行压平，而是直接在这个“曲面”上教机器人跳舞。
  - 对于旋转，他们让数据在球面（S3）上流动。
  - 对于走路，他们让数据在平面（R3）上流动。
  - 最后，把这两个面拼在一起，形成一个混合的“动作宇宙”。

3. 他们是怎么做的？（黎曼流匹配）

既然动作是在“曲面”上发生的，那怎么教电脑学习呢？他们使用了一种叫**“黎曼流匹配”**的技术。

比喻：
- 以前的方法：像是在平地上推一个球，让它从 A 点滚到 B 点。如果路不平，球就会乱滚。
- RMG 的方法：他们给机器人画了一条**“最短路径”**（数学上叫测地线，Geodesic）。在球面上，两点之间的最短路径是大圆航线（就像飞机飞行的路线），而不是直线。
- 过程：电脑学习如何沿着这条“大圆航线”平滑地移动。因为这条路本身就是符合物理规律的，所以生成的动作天生就是合理的，不需要事后修正。

4. 为什么要这么做？（分解与简化）

作者发现，人的动作其实可以拆解成几个简单的部分：

全身怎么移动（平移）：就像你在地板上滑步。
身体怎么转（旋转）：就像你在原地转圈。
关节怎么动：就像你的胳膊和腿怎么摆。

以前的方法把这些混在一起，数据量巨大且充满冗余（就像把“转圈”和“平移”混在一个巨大的、乱七八糟的坐标堆里）。
RMG 的做法：像拆乐高一样，把动作拆成“平移块”和“旋转块”，每个块放在它最自然的“家”（对应的曲面）里。

好处：这样不仅数据量变小了（更精简），而且因为每个部分都在它自己的“规则”下运行，生成的动作更稳定、更自然。

5. 效果如何？

他们在两个著名的动作数据集（HumanML3D 和 MotionMillion）上进行了测试，结果非常惊人：

更逼真：生成的动作看起来不像机器人，更像真人。
更听话：如果你输入“跳舞”，它生成的动作就真的是在跳舞，而不是乱扭。
更通用：这种方法不仅在小数据集上好用，在超大规模的数据集（MotionMillion，有 100 万个动作片段）上也能跑得飞快，而且效果最好。

总结

简单来说，这篇论文就是告诉我们要**“尊重身体的几何结构”**。

旧方法：试图把弯曲的关节强行拉直，然后拼命修补错误。
新方法 (RMG)：承认关节是弯曲的，直接在弯曲的“轨道”上教电脑生成动作。

这就好比，如果你想教人游泳，与其在陆地上模拟划水动作（旧方法），不如直接把人放进水里，让他顺应水的浮力和阻力去游（新方法）。结果自然是更自然、更流畅、更省力。

这项技术未来可以让游戏里的 NPC 动作更真实，让虚拟偶像跳舞更优美，甚至帮助机器人更好地在现实世界中行动。

这是一篇关于**黎曼运动生成（Riemannian Motion Generation, RMG）**的学术论文技术总结。该论文提出了一种统一框架，用于在黎曼流形上表示和生成人体运动，旨在解决传统欧几里得空间方法在建模人体运动时的几何结构缺失问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心痛点：现有的人体运动生成方法大多在欧几里得空间（Euclidean Space）中学习。然而，真实有效的人体运动遵循结构化的非欧几里得几何（例如旋转由单位四元数表示，位于球面上；姿态具有内在的尺度不变性）。
现有局限：
- 冗余表示：传统方法通常将关节位置、旋转等拼接成高维欧几里得向量，导致数据分布实际上位于低维流形上，但在高维空间中训练，引入了不必要的冗余和“平坦方向”（flat directions），使得优化困难且采样不稳定。
- 后处理约束：为了保证运动的有效性（如关节不穿透、旋转合法），现有方法往往依赖后处理或隐式约束，而非在生成过程中内建几何一致性。
- 归一化问题：传统方法依赖数据集级别的均值/方差归一化，破坏了运动数据的内在几何结构。

2. 方法论 (Methodology)

论文提出了 RMG (Riemannian Motion Generation) 框架，其核心思想是将运动分解为几个具有自然几何结构的因子，并在**乘积流形（Product Manifold）**上进行建模和生成。

2.1 运动表示与流形分解

RMG 将单帧运动分解为以下因子，并将每个因子映射到其天然的黎曼流形上：

全局平移 (Global Translation, $T$ )：
- 表示：根节点（如骨盆）的轨迹。
- 流形：欧几里得空间 $\mathbb{R}^3$ 。
全局朝向与关节旋转 (Global Orientation & Joint Rotations, $R$ )：
- 表示：使用单位四元数（Unit Quaternions）表示旋转。
- 流形：超球面 $S^3$ 。对于 $J$ 个关节，旋转部分位于乘积流形 $(S^3)^J$ 上。
- 优势：相比 6D 旋转表示，四元数无冗余，诱导平滑的测地线，且维度更低（4 维 vs 6 维）。
局部姿态 (Local Pose, $P$ )（可选）：
- 表示：Kendall 预形状空间（Pre-shape space），对平移和尺度不变。
- 流形：预形状流形 $S^J_3$ 。
最终选择：通过消融实验，作者发现仅使用 $T + R$ （平移 + 旋转）的紧凑表示最为稳定和有效，因此最终模型采用流形 $M_{RMG} = \mathbb{R}^3 \times (S^3)^J$ 。

2.2 黎曼流匹配 (Riemannian Flow Matching)

为了在流形上学习生成动力学，RMG 采用了黎曼流匹配技术：

先验分布：定义在流形上的中心高斯分布（Wrapped Gaussian），参考点设为静止姿态（零平移、单位旋转）。
测地线插值：在训练时，构建从先验样本 $x_0$ 到真实样本 $x_1$ 的**测地线（Geodesic）**路径 $x_t$ ，而非欧几里得空间的线性插值。
速度场学习：
- 目标速度：定义为测地线切空间中的速度向量 $v_t(x_t|x_1) = \frac{1}{1-t} \text{Log}_{x_t}(x_1)$ 。
- 网络输出：神经网络 $v_\theta$ 输出欧几里得空间向量，必须通过投影算子 $\Pi_{T_{x_t}M}$ 投影到切空间，以强制满足流形约束。
损失函数：最小化目标切向速度与预测切向速度之间的均方误差。
推理采样：从先验分布采样 $x_0$ ，通过**黎曼欧拉积分（Riemannian Euler integration）**沿学习到的向量场积分，确保生成的轨迹始终保持在流形上。

3. 主要贡献 (Key Contributions)

统一几何框架：提出了 RMG，将人体运动建模为乘积流形上的生成过程，利用黎曼流匹配学习动力学，实现了表示与生成的几何一致性。
紧凑且高效的黎曼表示：设计了一种基于 $T+R$ 的紧凑表示，具有内在归一化特性（无需外部归一化），并系统评估了不同几何表示在运动生成中的有效性。
大规模可扩展性验证：首次证明了黎曼流匹配可以有效扩展到大规模数据集（MotionMillion）和现代高容量生成架构（Diffusion Transformer）。
SOTA 性能：在 HumanML3D 和 MotionMillion 数据集上取得了最先进的性能，证明了基于几何感知的建模是生成高保真运动的有效途径。

4. 实验结果 (Results)

HumanML3D 数据集：
- 在标准 HumanML3D 格式下，RMG 取得了 0.043 的 FID（优于之前的 MoMask 0.045），表明运动真实性和分布匹配度极高。
- 在 MotionStreamer 格式下，RMG 在所有报告指标（FID, R@1, Diversity, MModality）上均排名第一。
- 在多样性（Diversity）和文本 - 运动对齐（R@1）之间取得了极佳的平衡。
MotionMillion 数据集（大规模验证）：
- 在包含 100 万运动片段的数据集上，RMG 显著优于基线模型。
- FID 从基线的 10.3 降低至 5.6，R@1 提升至 0.86。
- 证明了该方法具有良好的可扩展性，性能提升不仅仅来自模型规模，更源于黎曼表示的有效性。
消融实验：
- $T+R$ vs 其他： $T+R$ 表示在引导尺度（Guidance Scale）变化下最稳定，FID 最低。引入姿态坐标（ $P$ ）或时间差分（$dT, dR$）反而导致性能下降或不稳定。
- 理论支持：证明了在低维流形上学习流匹配比在高维欧几里得空间学习具有更优的统计收敛率（误差界与内在维度 $d$ 相关，而非环境维度 $D$ ）。

5. 意义与影响 (Significance)

范式转变：该工作挑战了将运动视为无约束欧几里得向量的传统观念，确立了**“表示几何（Representation Geometry）”**作为运动生成核心设计原则的地位。
物理合理性：通过在流形上直接建模，RMG 天然保证了生成运动的物理合法性（如旋转的连续性、关节约束），减少了对后处理的依赖。
通用性：该方法不仅适用于文本到运动生成，其基于流形的建模思想可推广至其他具有内在几何结构的生成任务（如机器人控制、3D 形状生成等）。
可扩展性：证明了复杂的几何建模方法可以成功应用于大规模数据和现代大模型架构，为未来高保真、长序列的人体运动生成提供了可行的技术路线。

总结：RMG 通过利用人体运动的内在非欧几里得几何结构，结合黎曼流匹配技术，成功解决了传统方法在优化难度、采样稳定性和物理合理性方面的瓶颈，在多个基准测试中刷新了记录，并为生成式 AI 在几何敏感领域的应用提供了新的理论依据和实践框架。