💻 computer science

Language-Guided Transformer Tokenizer for Human Motion Generation

本文提出了 LG-Tok，一种语言引导的 Transformer 分词器（Language-Guided Transformer Tokenizer），它通过将自然语言与运动进行对齐以创建紧凑的高层语义表示，从而在 HumanML3D 和 Motion-X 基准测试上超越了现有最先进的方法，提升了重建质量和生成效率。

原作者： Sheng Yan, Yong Wang, Xin Du, Junsong Yuan, Mengyuan Liu

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sheng Yan, Yong Wang, Xin Du, Junsong Yuan, Mengyuan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人跳舞

想象一下，你想根据你输入的一句话来教机器人跳舞，比如“一个人以蜿蜒的方式行走”。这篇论文介绍了一个名为 LG-Tok 的新系统，它充当了你的文字与机器人动作之间的超级高效翻译官。

作者认为，目前的方法就像是试图通过列出每一个肌肉抽搐来描述一段复杂的舞蹈。信息量太大，导致计算机很难学习这种舞蹈。他们的解决方案是？利用文字本身来承担繁重的任务，这样计算机只需要学习运动的特定“风味”即可。

问题所在：“音符太多”的困境

在计算机生成动作的世界里，存在一个常见的权衡：

高质量重建： 为了让机器人的动作完全像真人一样，你需要大量的微小数据点（token）。这就像是一张高分辨率的照片；像素越多，画面越清晰。
难以学习： 然而，如果你给计算机太多的微小数据点去记忆，它会被淹没。这就像是试图通过给一个人一份包含 1,000 个音符而不是 100 个音符的乐谱来教他们唱歌。他们可能会记对音符，但却无法将整首歌连贯地组合起来。

之前的方法试图通过单纯增加“音符”的数量来解决这个问题，但这反而增加了计算机的工作难度。

解决方案：LG-Tok（“智能翻译官”）

作者提出了 LG-Tok，它改变了游戏规则。他们不再强迫计算机去死记硬背每一个微小的细节，而是让自然语言（文本描述）来处理“宏观”的概念。

类比：建筑师与泥瓦匠
想象一下建造一座房子：

旧方法： 你给泥瓦匠（计算机）一份蓝图，上面写着每一块砖的位置指令。泥瓦匠必须同时记住每一块砖的位置和整体的设计。这既累人又容易出错。
LG-Tok 方法： 你给泥瓦匠一个简单的指令：“建造一座维多利亚风格的房子。”泥瓦匠已经知道维多利亚风格的房子长什么样了（高层语义含义）。现在，泥瓦匠只需要专注于这座房子的特定、独特的细节，比如门的颜色或窗户的形状。

通过使用文字来解释运动的“风格”，计算机就被解放出来，可以专注于文字无法描述的细粒度细节。这使得系统学习得更快，并能产生更好的舞蹈。

核心秘诀：三大绝招

1. Transformer “大脑”
旧系统使用简单的局部工具（比如放大镜）来观察动作。它们可以看到一步一个脚印，但在理解整个舞蹈方面却很吃力。

LG-Tok 使用了 Transformer，这就像拥有了一个广角镜头。它可以同时观察整个句子和整个舞蹈序列，理解步行的开始是如何与结束相连的。这有助于计算机掌握运动的“全局”上下文。

2. “语言丢弃”安全网
这里存在一个风险：如果计算机过度依赖文本，它可能会停止学习如何自主运动。它可能只会模仿文本的“感觉”，而无法真正理解运动的物理特性。

解决方法： 作者使用了一种“语言丢弃”（Language-Drop）方案。在训练期间，他们会随机关闭文本指令。这迫使计算机在没有文本这个“拐杖”的情况下学习运动。
好处： 稍后在生成舞蹈时，计算机可以使用文本来引导风格，但即使文本很模糊，它也知道如何运动。这就像训练学生用教科书解数学题，然后把教科书拿走，以确保他们真正理解了数学。

3. “双重检查”系统
该系统由两个部分组成：一个 Tokenizer（将舞蹈压缩成代码）和一个 Detokenizer（将代码还原回舞蹈）。

在 LG-Tok 中，文本对这两个部分都有帮助。它帮助将舞蹈压缩成智能、紧凑的代码，同时也帮助将代码还原为真实的舞蹈。这创造了一个更紧密、更高效的循环。

实验结果：用更少的数据跳出更好的舞

论文在三个数据集（HumanML3D、KIT-ML 和 Motion-X）上进行了测试。结果令人印象深刻：

更高质量： 生成的动作看起来更真实，并且与文本描述的匹配度比之前的最先进方法更高。例如，在 HumanML3D 测试中，他们的系统得分显著更高（其 FID 分数为 0.057，而次优方法为 0.114）。
高效性： 他们还创建了一个“迷你版”（LG-Tok-mini），它使用的 token 数量仅为一半（数据点），但表现依然与大型模型不相上下。这证明了他们的“智能翻译”方法比单纯向问题中投入更多数据要高效得多。

总结

简而言之，LG-Tok 是一种教计算机如何运动的新方法。它不再强迫计算机去死记硬背舞蹈的每一个微小细节，而是利用语言的力量来解释运动的“神韵”。这使得计算机能够专注于独特的细节，从而生成更流畅、更真实、更高效的动作。

技术摘要：用于人类动作生成的语言引导 Transformer 分词器（LG-Tok）

问题陈述

在文本驱动的人类动作生成范式中，结合动作分词（Tokenization）与生成模型的两阶段方法已成为核心。然而，在重建质量与生成复杂度之间存在着一个根本性的权衡。现有方法通常依赖于增加离散标记（Tokens）的数量来提高动作重建的保真度（以 rFID 衡量）。虽然这增强了重建效果，但也增加了序列长度，从而提高了自回归生成模型的学习难度，并往往导致生成质量（以 gFID 衡量）下降。

此外，现有的分词器主要采用卷积神经网络（CNN）架构。这些架构受限于局部感受野，难以支持实现自然语言描述与动作语义对齐所需的全局语言引导。此外，在分词阶段盲目引入语言条件存在**捷径学习（Shortcut Learning）**的风险，即模型会过度依赖文本嵌入进行重建，从而无法独立捕捉细粒度的动作细节。

方法论：LG-Tok

作者提出了语言引导分词（Language-Guided Tokenization, LG-Tok），这是一个专门在分词阶段将自然语言与动作对齐，以产生紧凑且高层语义表示的框架。

1. 基于 Transformer 的分词器与解分词器

与以往基于 CNN 的方法不同，LG-Tok 在分词器（编码器）和解分词器（解码器）中均采用了基于 Transformer 的架构。

全局上下文： 利用自注意力机制，该模型增强了全局上下文感知能力，克服了 CNN 局部感受野的局限性。
架构： 分词器和解分词器构建于类 LLaMA 组件之上，包括 RMSNorm、SwiGLU 激活函数以及用于适应短序列任务（基数为 100）的旋转位置嵌入（RoPE）。同时集成了类 UNet 的长跳跃连接（Long Skip Connections），以确保高保真度的重建。
输入机制： 将一组可学习的潜在标记（Latent Tokens）与线性投影的动作特征及文本嵌入（来自冻结的 LLaMA 编码器）进行拼接，构成输入。分词器仅输出对应于可学习潜在标记的表示。

2. 语言引导分词

其核心创新在于将语言引导扩展到了分词阶段，而不仅仅是生成阶段。

语义抽象： 通过在分词过程中注入文本嵌入，潜在标记得以从冗余的高层语义编码中解脱出来。这使得它们能够专注于捕捉文本本身无法传达的细粒度动作细节。
双重收益： 这种方法使潜在标记能够在分词期间吸收语言语义知识，并允许语言条件在解分词过程中辅助动作重建。

3. 语言丢弃方案（Language-Drop Scheme）

为了防止模型陷入“捷径学习”（即过度依赖文本进行重建），作者引入了语言丢弃方案。

训练策略： 在训练期间，语言条件会被以概率 $p$ （设定为 0.1）随机移除。这迫使分词器和解分词器学习独立于语言输入的、鲁棒且自给自足的标记表示。
推理能力： 该方案实现了生成过程中的无语言引导解码。通过训练模型在有文本和无文本的情况下均能运行，作者可以直接在动作空间中应用分类器自由引导（Classifier-Free Guidance）。最终的动作是通过在无条件和有条件重建之间进行外推合成的：
$\hat{m} = (1 + g) \times \hat{m}_c - g \times \hat{m}_u$
其中 $g$ 是引导尺度。

核心贡献

语言引导分词（LG-Tok）： 一种在分词阶段将自然语言与动作对齐的新方法，产生了紧凑的高层语义表示，从而简化了生成学习。
基于 Transformer 的架构： 引入了全 Transformer 架构的分词器和解分词器，利用注意力机制实现有效的跨模态对齐和全局上下文建模，脱离了标准的 CNN 分词器。
语言丢弃方案： 一种缓解捷径学习的学习策略，并独特地实现了直接在动作空间（而非仅在 Logit 或噪声空间）中进行分类器自由引导解码。

实验结果

该方法在三个基准数据集上进行了评估：HumanML3D、KIT-ML 和 Motion-X。

最先进的性能（SOTA）： LG-Tok 在多个指标上均优于现有方法（如 MARDM、MoMask、T2M-GPT）。
- 在 HumanML3D 上，LG-Tok 实现了 0.542 的 Top-1 R-Precision 和 0.057 的 FID，显著超过了 MARDM（分别为 0.500 和 0.114）。
- 在 Motion-X 上，LG-Tok-mid 达到了 0.591 的最佳 Top-1 R-Precision。
效率： LG-Tok-mini 变体仅使用 104 个标记（约为标准 236 个标记配置的一半），同时保持了极具竞争力的性能（HumanML3D 上的 FID 为 0.085），验证了其语义表示的效率。
重建与生成： 该方法成功平衡了权衡关系。在 HumanML3D 上，增加标记数会提升所有指标。在更大的 Motion-X 数据集上，作者确定了一个“甜点区”（160 个标记），在此处生成质量达到最优，随后增加的序列长度开始给生成模型带来负担。
消融实验： 实验证实，在分词器和解分词器中同时注入语言会产生最佳结果。语言丢弃方案被证明对于防止捷径学习和稳定 FID 指标至关重要。

重要性与主张

论文声称 LG-Tok 解决了动作分词中重建保真度与生成难度之间的基本矛盾。通过将语言与动作的对齐转移到分词阶段，该方法产生的潜在标记既具有丰富的语义，又保持了紧凑性。

作者强调，其方法：

简化了生成学习： 通过将高层语义编码的任务交给语言引导，生成模型面临的学习负担降低（由困惑度降低所证实）。
增强了灵活性： 语言丢弃方案允许多样化的生成策略，包括无语言引导生成，且无需重新训练。
具有良好的泛化性： 该框架在应用于不同的生成骨干网络（MoSa 和 MoMask）时均表现出一致的改进，表明其在离散分词管线中的广泛适用性。

这项工作将自己定位为迈向更高效、更具语义感知能力的动作生成的一步，利用 Transformer 的灵活性来克服多模态对齐中局部感受野架构的局限性。