🤖 AI

EquiFusion: Kinematics-Agnostic Human Motion Prediction via Equivariant Latent Diffusion

EquiFusion 引入了首个与运动学无关的人体动作预测模型，该模型采用一种将骨架连接性作为显式输入的置换等变潜变量扩散架构，从而实现了卓越的跨数据集泛化能力、零样本能力，并以显著高于以往方法的高效性达到了最先进的性能。

原作者： Cecilia Curreli, Florian Hofherr, Dominik Muhle, Abhishek Saroha, Riccardo Marin, Daniel Cremers

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Cecilia Curreli, Florian Hofherr, Dominik Muhle, Abhishek Saroha, Riccardo Marin, Daniel Cremers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人跳舞。在过去，如果你想让机器人学习“嘻哈”风格，你必须为它构建一个专门的大脑。如果你接着想让它学习“芭蕾”，你就得构建一个完全不同的新大脑，或者尝试强行拉伸、扭曲这个“嘻哈大脑”，试图让它看起来像个“芭蕾大脑”。这种拉伸和扭曲的过程被称为重定向（retargeting），而这篇论文指出，这是一个混乱、易错且会让机器人的平衡感崩溃的噩梦。

EquiFusion 的研究人员表示：“别再为每种舞蹈风格构建一个大脑了。”他们构建了第一个不关心它正在观察什么样的骨架的机器人大脑。无论骨架拥有 17 个关节、22 个关节，甚至由于某些关节缺失（比如隐藏的手臂），这个全新的模型都能用一个单一且灵活的思想来处理这一切。

“魔法”成分：置换等变性（Permutation Equivariance）

要理解他们是如何做到的，想象一群朋友围成一圈手拉手站立。在旧模型中，计算机必须记住谁站在什么位置。如果朋友 A 移动到了朋友 B 的位置，计算机就会感到困惑，因为它被编程为预期朋友 A 出现在特定的座位上。

EquiFusion 使用了一种叫做置换等变性的数学技巧。你可以把它想象成一个通用的翻译器，它理解的是朋友之间的关系，而不是他们的具体座位。无论你如何交换圆圈中朋友的顺序，模型都能理解“手 A 正握着手 B”，而不论是谁站在哪里。这使得模型能够学习一次运动的规则，并将其应用于任何骨架、任何位置，而无需为每种新的身体形状重新训练。

他们排除了什么

论文非常明确地指出了哪些方法是无效的，以及他们正在避免什么：

不再使用“重定向”： 他们明确反对旧的方法，即在将一种骨架类型转换为另一种骨架类型（例如将 17 关节骨架转换为 22 关节骨架）后再喂给模型。他们发现这会引入误差（例如添加会摇晃的假脚），并将数据转移到模型从未见过的奇怪分布中。
不再使用“特定关节”的大脑： 他们拒绝为每个数据集（如 Human3.6M、AMASS 或 Nymeria）训练独立网络的想法。论文证明，权重与特定关节数量或类型绑定的模型无法泛化到新的、未见的骨架。
不再依赖来自 SMPL 的“先验知识”： 他们不依赖于预存在的 3D 人体模型（如 SMPL），因为这些模型需要特定的网格数据或蒙皮信息，而这些信息在现实世界的动作捕捉数据中往往是无法获得的。

结果：更小、更快、更聪明

作者不仅仅是在猜测；他们测量了一切。以下是他们的实验结果：

零样本（Zero-Shot）魔法： 他们在模型从未见过的骨架上进行了测试（例如，在以 22 关节的 AMASS 数据集进行训练后，测试具有 17 关节的 H36M 数据集）。该模型能够“开箱即用”，无需任何额外训练。
巨大的效率提升： 由于它使用一个大脑应对所有身体，该模型的参数量比最接近的竞争对手 SkelDiff 小了 75%。它也运行得快了两倍。
更高的准确度： 在标准测试中，它达到了最先进的结果。例如，在 H36M 数据集上，它将预测误差（uADE）降低到了 7.86 厘米（相比之下，需要使用重定向的次优方法为 10.81 厘米）。
处理缺失部分： 在一个“零样本”测试中，他们从输入中隐藏了整个肢体（如一只手臂），模型仍然能够相当好地预测身体其余部分的未来运动，而其他模型则会失败或需要复杂的、人工的修复。

他们有多确定？

论文对这些发现非常有信心，因为他们用严谨的数学和广泛的实验支撑了它们。

经过证明的数学： 他们提供了数学证明（引理 1 和定理 2），表明如果一个模型要处理任意大小的骨架，其权重必须与关节数量无关。他们证明了之前的模型违反了这一规则，而 EquiFusion 在设计上满足了这一要求。
衡量的性能： 他们不仅是在模拟，还在大规模真实世界数据集（AMASS、Nymeria、Human3.6M）上进行了训练，并针对现有的最佳方法进行了测试。结果显示，在零样本场景下，各项指标的性能提升至少为 25%，在真实感方面提升高达 70%。
一个局限性： 作者指出一个小小的局限：虽然模型可以处理缺失的“叶节点”关节（如手臂末端的手），但如果中间的关节缺失而末端仍然存在（例如缺少肘部但手还在），它会表现得比较吃力。他们认为这是一个有待未来研究的开放性问题。

简而言之，EquiFusion 表明，我们不再需要强迫世界去适应我们的模型。相反，我们可以构建一个足够灵活的模型来适应世界，无论是一个全身舞者、一个局部视角，还是一个我们从未见过的全新骨架结构。

技术摘要：EquiFusion

问题陈述

随机三维人体运动预测（Stochastic 3D Human Motion Prediction, SHMP）旨在从过去的观测中建模出多样化且符合物理规律的未来运动分布。现有 SHMP 方法的一个根本瓶颈是运动学刚性（kinematics rigidity）。目前的模型将人体骨骼运动学（特定的图结构、关节数量和连接方式）硬编码为结构先验。这造成了几个关键限制：

缺乏泛化能力： 在一个数据集（例如具有 17 个关节的 Human3.6M）上训练的模型，无法在不重新训练的情况下推断出不同运动学结构（例如具有 22 个关节的 AMASS）的运动。
训练效率低下： 为每种不同的运动学结构训练一个独立的模型实例是计算资源的浪费，且不切实际。
重定向误差： 为了处理未见的运动学结构，现有方法依赖于运动重定向（在不同骨骼之间转换运动）。这一过程会引入显著的误差、漂移和分布偏移，从而降低预测质量。
遮挡处理： 除非在专门针对此类损坏数据进行过训练，否则现有方法难以处理部分观测（肢体被遮挡）的情况，而这类数据在标准数据集中非常罕见。

本文指出，核心问题在于以往的架构学习到的权重依赖于关节的数量（cardinality）和特定的排序，这违反了模型必须能够处理任意运动链的要求。

方法论：EquiFusion

作者提出了 EquiFusion，这是第一个运动学无关（kinematics-agnostic）的 SHMP 模型。它被实现为一个置换等变潜扩散模型（Permutation Equivariant Latent Diffusion Model）。

核心原理

置换等变性 (Permutation Equivariance, PEQ)： 作者形式化地提出，为了使模型具备运动学无关性，其学习到的参数必须与关节数量 ( $J$ ) 无关。他们证明了置换等变性——即重新排列输入关节会导致输出也进行相应的重新排列——是满足该条件的充分条件。
- 从数学上讲，如果 $P$ 是一个置换矩阵，模型 $f$ 必须满足 $f(PX, PAP^T) = P f(X, A)$ 。
- 这确保了权重在所有关节之间共享，而不是特定于某个关节索引。
显式运动学输入： 与将骨骼视为隐式先验的以往方法不同，EquiFusion 将运动学的邻接矩阵 ( $A$ ) 作为显式输入参数。这使得模型能够动态适应任何图结构。
架构：
- 潜扩散 (Latent Diffusion)： 为了提高效率，模型在低维潜空间而非原始输入空间中运行。
- 等变自编码器： 一个基于 Transformer 的自编码器将运动序列映射到潜空间 $z$ $z$ 。至关重要的是，Transformer 中的 Token 代表的是关节（而非时间），且架构使用了设计为置换等变的图卷积 (Graph Convolution) 和 图注意力 (Graph Attention) 层。
  - 图卷积： 使用邻接矩阵来聚合邻居特征，而不使用学习到的特定关节权重。
  - 自注意力： 通过图卷积计算查询（Query）、键（Key）和值（Value）向量，确保注意力机制遵循图结构。
- 等变去噪器： 在以观测到的过去和邻接矩阵为条件的潜域中预测未来运动。
运动参数化（骨骼方向）： 为了在不依赖数据学习的情况下确保物理一致性（例如固定的骨骼长度），作者将运动表示为相对骨骼方向向量，而非绝对 3D 坐标。
- 这种表示法通过设计保证了肢体长度的一致性。
- 它消除了基于坐标的预测中常见的肢体拉伸或抖动问题。
- 它可以很容易地从位置和旋转表示中导出，便于跨数据集训练。

主要贡献

零样本运动学的形式化： 本文引入并形式化了 SHMP 的两种新型零样本任务：
- 预测训练期间未见到的全身体运动学。
- 在无需针对此类损坏数据进行显式训练的情况下，预测部分运动学（肢体被遮挡或缺失）。
运动学无关架构： 提出了一种原则性的、端到端的置换等变架构，该架构满足关节顺序无关性的数学约束，从而使单个模型能够处理多个数据集和运动学结构。
具有高效率的最先进性能 (SOTA)： EquiFusion 在标准基准测试（AMASS, Human3.6M）上达到了 SOTA 结果，同时其参数量比最接近的竞争对手（SkelDiff）精简了 75%，并且显著减少了训练和推理时间。
统一训练： 首次实现了能够在异构数据集（如 AMASS 和 Nymeria）上同时训练单个模型的能力，为人体运动大模型（Foundation Models）的发展开启了可能性。

实验结果

作者在三个主要数据集上评估了 EquiFusion：AMASS (22 关节)、Human3.6M (17 关节) 和 Nymeria (23 关节)。

零样本运动学： 在 AMASS 上训练并在 Human3.6M 上测试（反之亦然）时，EquiFusion 的表现优于所有需要重定向流水线的基准模型，其精度提升高达 27%，真实感提升达 72%。它在无需任何运动学转换的情况下实现了这一点。
部分观测： 在存在肢体遮挡（随机移除）的零样本场景中，Equi是否能生成合理的运动，而无需进行启发式补全或重新训练，其表现优于依赖对称补全或静止姿态填充的基准模型。
可扩展性与效率：
- 参数量： EquiFusion 使用约 7.9M 参数，而 SkelDiff 使用约 26.5M 参数。在处理单个数据集时，它比对手精简了 75%；考虑到基准模型需要三个独立的实例，其精简程度达到了 90%。
- 训练/推理： 它实现了更快的训练和推理速度，将所需时间减半。
消融实验： 实验证实，移除置换等变性（例如添加位置编码）会破坏零样本能力。骨骼方向参数化被证明能显著提高真实感和身体一致性指标。

意义与主张

本文声称 EquiFusion 为鲁棒的人体运动预测建立了一个新的、灵活的标准。通过打破对硬编码图结构的依赖，它解决了限制 SHMP 仅能应用于单一数据集、单一运动学应用的泛化瓶颈。

作者强调，这项工作代表了从特定运动学模型向真正运动学无关框架的转变。这使得以下目标成为可能：

基础模型 (Foundation Models)： 训练一个能够处理所有可用人体运动数据的单一“基础模型”，无论其采集技术或骨骼拓扑结构如何。
现实世界应用： 直接应用于存在遮挡、肢体缺失或多样化体型等场景，无需进行人工工程处理或数据重定向。
效率： 大幅降低了在不同环境下部署 SHMP 系统时的计算资源和存储需求。

论文总结道，虽然存在重定向方法，但它们容易出错且计算量巨大；EquiFusion 提供了一种既具有数学严谨性又在经验上更优越的端到端解决方案。