💬 NLP

SeMoCo: A Semantic-First Motion Codec for Motion Language Modeling

该论文介绍了 SeMoCo，一种语义优先的运动编解码器，它将运动标记分解为语义和运动学组件，以提高重建精度和语言驱动的运动生成能力，并同时创建了大规模的 $\Omega$ -MotionVerse 数据集。

原作者： Tianlv Huang, Hetian Guo, Ziyi Cai, Song Wang, Yanping Zhang, Zipei Fan, Xuan Song, Guangming Wu, Xin Zheng

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianlv Huang, Hetian Guo, Ziyi Cai, Song Wang, Yanping Zhang, Zipei Fan, Xuan Song, Guangming Wu, Xin Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

让计算机理解人类运动是一个处于语言与物理学交汇点的难题。多年来，研究人员一直试图教会机器根据文本描述生成逼真的动作，要求它们根据一个简单的句子创建一个人走路或跳跃的视频。为了实现这一点，计算机需要一种将人体在空间中连续、流动的运动转化为其可以处理的格式的方法，就像将一段口语句子转化为一串字母一样。早期的尝试将运动视为平滑、不间断的数据流，但最近的一种方法表明，将运动分解为离散的、独立的单元——就像句子中的单词一样——可以让计算机生成更复杂且更多变的动作。然而，一个显著的障碍仍然存在：用于将运动分解为这些单元的工具主要是为了尽可能准确地重建运动而设计的，而不是为了理解运动本身的含义。它们将细微的重心转移与深蹲这类重大动作视为同类数据，迫使计算机只能通过试错来学习其中的区别。

一组研究人员推出了一种名为 SeMoCo 的新系统，它改变了这种翻译发生的方式。该方法不再强迫计算机在尝试重建运动的同时去猜测运动的含义，而是从一开始就将这两个任务分离。该系统将运动的每一刻都视为一个包含两个不同部分的微小信息包：一个捕捉动作总体含义的主代码，以及一系列填充身体运动精细细节的次级代码。这种方法的设计灵感来自于语音识别的工作原理，即单词的核心含义与其说话者声音的具体细微差别是分离的。通过为动作的含义提供一个专门的“插槽”，该系统可以根据运动的“故事”来预测接下来的发展，同时由一个独立的过程来处理关节的精确几何结构。

研究人员利用他们创建的大规模人类运动数据集构建了这个系统，并将其命名为 Ω-MotionVerse。该数据集汇集了来自各种来源（包括专业动作捕捉和视频重建）的近一千小时记录的运动，并将它们标准化为单一且一致的格式。他们在这些数据上训练了新的编解码器 SeMoCo，以学习如何将运动压缩成这些双层数据包。结果显示，该系统重建人物运动的准确度高于以往的方法，将关节位置的误差降低到了几乎察觉不到的水平。更重要的是，当研究人员使用这些数据包根据文本描述生成新的运动时，计算机生成的动作不仅在物理上是逼真的，而且在语义上也是正确的，能够更可靠地匹配提示词的意图。

核心创新在于系统组织信息的方式。在旧的方法中，计算机必须同时搞清楚运动的含义和关节的细节，这往往会导致一种折中方案，即为了其中之一而牺牲另一方。SeMoCo 通过使用“语义优先”的方法避免了这个问题。当系统观察一段短时间的运动时，它首先识别出宏观动作（例如“坐下”或“转身”），并将此分配给一个特定的标记（token）。然后，它使用另一组标记来描述肢体的精确轨迹以及脚部与地面的接触。这种分离使得语言模型能够专注于动作序列的推进（即动作的故事线），而不会被每个关节角度的复杂数学计算所困扰。模型根据之前的动作来预测下一个动作，然后填充该动作的具体细节，从而创造出一个既高效又精确的生成过程。

为了测试他们的工作，研究人员使用标准的运动生成和预测基准，将他们的系统与几种现有模型进行了对比。在仅根据压缩形式重建记录运动的任务中，SeMoCo 表现优于所有其他方法，在测量预测关节与实际关节之间的距离方面达到了最低误差率。在被要求根据文本生成新运动时，该系统展示了强大的结果，特别是在其将文本描述与生成的运动相匹配的能力方面。研究人员发现，虽然较大的模型通常在生成基于文本的运动方面表现更好，但规模带来的优势并非普遍适用；对于根据一段简短的历史片段来预测未来运动的任务，他们模型中一个更小、更专门的版本实际上表现得更好。这表明，信息的组织方式与计算机内存的单纯大小同样重要。

这项研究还强调了这种新设计中固有的权衡。通过优先考虑运动的语义含义，该系统与那些完全忽略含义的系统相比，在重建的绝对精度上确实承受了一定的代价。然而，研究人员认为，对于任何需要计算机理解并根据语言生成动作的应用场景来说，这是一个必要且有益的交换。该系统并不声称已经完全解决了人类运动生成的问题，但它通过展示分离“做什么”与“怎么做”可以带来更好的结果，为未来指明了一条清晰的路径。这项工作证明，当计算机被赋予一种清晰、结构化的方式来理解运动背后的意图时，它所生成的动作不仅在物理上是合理的，而且能够真正响应用户的指令。

技术摘要：SeMoCo —— 一种面向语义优先的运动编解码器，用于运动语言建模

1. 问题陈述

离散运动表示显著推进了自回归文本生成运动（T2M）的发展。然而，现有的运动分词器（tokenizer）主要针对重建保真度而非语义效用进行优化。在标准的向量量化（VQ）或残差向量量化（RVQ）框架中，码本是根据连续的重建残差进行组织的。这迫使模型通过相同的重建驱动层级来同时编码高层动作意图（语义含义）和细粒度运动学细节（轨迹、接触、关节运动）。

因此，生成的标记序列并未根据语义角色显式地分配容量。虽然语音分词器已成功采用了“语义优先”的方法——将语义信息提取到第一个 RVQ 层级，同时保留残差用于副语言细节——但将这一范式迁移到运动领域并非易事。运动需要协调的轨迹和流畅的动力学以实现文本指定的意图，而纯重建目标往往无法优先处理这种复杂性。

2. 方法论

2.1 SeMoCo：语义优先的运动编解码器

SeMoCo 引入了一种运动编解码器，显式地将每个运动标记内的语义信息与运动学信息分离。该架构由两条平行的量化路径组成：

语义路径（Semantic Path）： 一个专门的向量量化器（VQ）用于编码与运动语义对齐的主码。该流通过窗口级语义蒸馏进行监督。一个冻结的文本生成运动检索（TMR）编码器作为教师，通过时间头聚合语义嵌入，以最小化与教师嵌入的余弦距离。这直接将窗口级的动作信息注入到主流中。
运动学路径（Kinematic Path）： 一个独立的残差向量量化器（RVQ），包含 $L$ 个阶段，用于编码高保真重建所需的残差运动学细节。该路径仍按重建残差进行组织，从而保留细粒度的动力学、足部接触和关节旋转。

运动标记结构： 每个运动标记 $m_t$ 是一个“语义优先数据包”，由一个语义标记 ( $q^{sem}_t$ ) 和一个由 $L$ 个运动学残差标记组成的序列 ( $q^{kin, 1:L}_t$ ) 构成。这些标记通过加法方式解码以重建运动。

2.2 双轴运动语言模型

基于 SeMoCo 的标记结构，作者提出了一个用于语言条件化运动生成的双轴生成器。该模型将时间演进与标记内精细化解耦：

时间轴（语义演进）： 时间 Transformer 模拟语义状态随时间的演变。它根据前序数据包的历史记录和文本条件，预测下一个数据包的语义标记 ( $q^{sem}_t$ )。
深度轴（运动学精细化）： 一个轻量级深度解码器在每个数据包内自回归地预测残差运动学标记 ( $q^{kin, 1:L}_t}$ ），该预测以预测的语义标记和前序运动学残差为条件。

这种分解使得模型能够在语义层面保持时间连贯性，同时将自回归精细化限制在局部运动学层级内，避免了将所有细节序列化为单一扁平化标记流的需求。

2.3 $\Omega$ -MotionVerse 数据集

为了支持训练和评估，作者构建了 $\Omega$ -MotionVerse，这是一个大规模、多源的语料库，包含约 1,000 小时的文本标注人类运动。该数据集在 SOMA 骨架表示下统一了多种来源（MotionGV, BONES-SEED, HumanML3D, Fit3D, HumanSC3D），并标准化为 50 Hz 且经过地面对齐的规范化处理。

3. 核心贡献

本文概述了三个主要贡献：

SeMoCo 编解码器： 一种语义优先的运动编解码器，为每个运动标记内的语义和运动学条目提供独立的监督和量化路径，利用教师蒸馏的语义对齐。
双轴生成器： 一种运动语言模型，能够对跨时间的语义演进进行建模，并在每个标记内执行自回归运动学精细化，有效地将时间建模与局部细节生成分离。
$\Omega$ -MotionVerse： 一个大规模、统一的约 1,000 小时文本-运动对数据集，促进了不同运动源的联合训练与评估。

4. 实验结果

4.1 运动重建

在 HumanML3D 测试集上，SeMoCo 实现了对比的编解码器（MoMask, MotionGPT3, MotionMillion）中的最佳重建精度。

MPJPE： 19.22 mm（MoMask 为 32.39 mm）。
PA-MPJPE： 16.42 mm（MoMask 为 20.14 mm）。
这表明，与标准的仅残差方法相比，语义优先的分离并没有损害、反而提高了几何保真度。

4.2 运动预测

在给定 0.5s 前缀预测未来运动的任务中，Ours-Lite 版本（150M 参数）在所有指标（ADE, FDE, minADE50, minFDE50）上均取得了最低误差，优于更大规模的模型以及 MDM 和 MotionGPT 等基线模型。值得注意的是，较大的 Ours-Base (400M) 在此特定任务中并未表现出优于 Ours-Lite 的优势，这表明存在任务相关的规模效应。

4.3 文本生成运动

评估分为两个赛道进行：标准 HumanML3D（SMPL/HumanML3D 惯例）和 TMR-SOMA（原生 SOMA 表示）。

TMR-SOMA 赛道： SeMoCo (Ours-Base) 展示了强大的性能，将 R@1 从 0.326 (Lite) 提升至 0.422 (Base)，并实现了比 Ours-Lite 更低的 FID (0.913)。
对比性能： 虽然 Kimodo 在 TMR-SOMA 赛道中取得了最强的整体表现，但 SeCo 在 MotionGV 子集上表现优异，并持续优于其他基线（MoMask, MotionGPT3, MotionMillion）。
定性结果： 生成的运动在多样化提示词（例如，“向前弯腰并坐下”、“向前慢跑”）下表现出高度的语义一致性和时间连贯性。

4.4 消融实验

针对分词器布局的消融研究显示，带有语义监督的 Split-branch 配置产生了最佳的生成指标（FID 0.186, R@1 0.484）。然而，这伴随着重建精度的轻微权衡（与无语义监督的 split-branch 相比，MPJPE 从 13.70 mm 增加到 15.93 mm），证实了语义监督带来的“重建代价”。

5. 重要性与主张

本文声称 SeMoCo 成功证明了语义优先运动标记对于下游生成任务的有效性。通过将语义意图与运动学细节解耦，该方法允许自回归模型专注于高层运动演进，同时分别精细化局部动力学。

作者谦虚地总结道，虽然结果支持语义优先的数据包结构，但不意味着语义与运动学的完全解耦。这项工作强调，分词器的组织方式定义了每个预测步骤可用的信息，并且只要管理好重建保真度的权衡，语义优先的方法可以实现最先进的重建和强大的生成性能。 $\Omega$ -MotionVerse 的引入进一步为运动语言建模的未来研究提供了标准化的、大规模的资源。