💬 NLP

Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

该论文提出了首个双语文本生成动作基准 BiHumanML3D 及一种具备跨语言对齐能力的基线模型 BiMD，有效解决了现有模型在双语语义理解上的不足，实现了高质量的双语及零样本代码切换动作生成。

原作者： Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于“教 AI 听懂并做出双语动作”的有趣故事。为了让你轻松理解，我们可以把这项技术想象成教一个只会说中文或只会说英文的“虚拟演员”如何根据剧本（文字）来跳舞或做动作。

以下是用大白话和比喻对这篇论文核心内容的解读：

1. 遇到的难题：演员只会说一种语言

以前，AI 生成的“文字转动作”（Text-to-Motion）技术，就像是一个只会说英语的顶级舞蹈演员。

问题一：语言不通。 如果你用中文写剧本（比如“向前跨步”），这个演员完全听不懂，或者只能靠猜，做出来的动作往往南辕北辙。
问题二：混合语言会“死机”。 现在的用户很灵活，喜欢中英文混着说（比如："He walks in a 逆时针 circle"）。以前的 AI 遇到这种“中英夹杂”的指令，就像是一个只会听英语的翻译官突然听到中文，直接懵圈，做出来的动作也是错的。
问题三：没有双语教材。 以前只有英语的动作 - 文字配对数据，没有高质量的中文数据。这就好比想教演员中文跳舞，却只有一本英文教材，硬翻肯定翻不准。

2. 解决方案一：造一本“双语字典” (BiHumanML3D)

为了解决没教材的问题，作者们做了一件很酷的事：他们人工 +AI 辅助，重新编写了一本“双语动作字典”。

怎么做？ 他们拿来了现有的英语动作数据，先让大语言模型（LLM）把它翻译成中文，但这还不够。因为机器翻译经常把“跨步”翻成“走过”，把“挥手”翻成“打招呼”，丢掉了动作的精髓。
人工修正： 于是，他们请了 17 位“动作教练”（人工标注员），像校对员一样，拿着翻译稿和原始动作视频，把那些翻译得不准的地方一个个改过来。
成果： 最终得到了一套BiHumanML3D数据集。这就像给演员提供了一本中英对照的精准剧本，确保中文的“跨步”和英文的"step over"在动作上是完全对应的。

3. 解决方案二：给演员装个“双语大脑” (BiMD + CLA)

有了教材，怎么教演员呢？作者没有选择“雇两个演员，一个说中文，一个说英文”，而是训练了一个能同时理解两种语言的“超级演员”。

核心魔法：跨语言对齐 (CLA)
想象一下，中文的“跳跃”和英文的"Jump"在演员的大脑里，原本是两个完全不同的房间，互不相通。
- CLA 的作用： 就像在两个房间之间打通了一扇隐形门。它强行把中文的“跳跃”概念和英文的"Jump"概念在数学空间里拉到一起，让它们变成同一个意思。
- 效果： 现在，无论你对演员说中文“跳跃”还是英文"Jump"，甚至说“跳一下 Jump"，他都能瞬间理解，并做出完全一样的完美跳跃动作。
零-shot 能力（举一反三）：
最神奇的是，这个模型甚至没怎么见过英文训练数据，但因为它学会了“语言对齐”的规律，当它第一次看到英文指令时，也能猜出大概意思并做出动作。这就像你学会了“猫”和"Cat"是同一个东西，哪怕你以前只见过中文的猫，突然看到英文的"Cat"，你也能认出那是猫。

4. 为什么不用“先翻译再跳舞”？

你可能会问：“为什么不直接用翻译软件把中文翻成英文，再让原来的英语演员跳呢？”

比喻： 这就像让一个蹩脚的翻译先把剧本翻给演员听。
- 丢失细节： 翻译可能会把“向左侧翻滚”翻成“翻滚”，演员就不知道往哪边翻了。
- 文化差异： 有些动作（比如中国的“作揖”）在英语里很难找到对应的词，翻译过去就变味了。
- 结果： 直接翻译再生成，动作往往很僵硬、不准确。而作者的方法（BiMD）是直接理解双语，动作更自然、更精准。

5. 最终效果：更准、更稳、更懂你

实验结果显示，这个新方法（BiMD）：

动作更逼真： 做出来的动作和真实人类动作的相似度极高（FID 分数极低，说明很接近真人）。
听懂率更高： 无论是纯中文、纯英文，还是中英混杂，它都能准确理解并做出对应动作。
用户更喜欢： 让人类评委盲测，大家更喜欢这个新模型做出来的动作，觉得它更懂剧本的意思。

总结

这篇论文就像是在说：

以前 AI 跳舞只能靠英语，而且中英混着说就傻眼。现在我们造了一本精准的双语动作字典，并给 AI 装了一个能打通中英文概念的“超级大脑”。现在，不管你是用中文、英文，还是中英文混搭下指令，AI 都能像专业的双语演员一样，精准、流畅地跳出你想要的动作，甚至还能举一反三，听懂它没学过的语言。

这不仅让游戏、电影制作和机器人控制更有趣，也让非英语国家的用户能更方便地享受 AI 技术。

这篇论文提出了一种新的双语文本生成动作（Text-to-Motion）基准及其基线模型，旨在解决当前动作生成领域缺乏双语数据支持以及现有模型跨语言语义理解能力不足的问题。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有局限：目前的文本生成动作（Text-to-Motion）研究主要集中在英语单语环境，缺乏高质量的非英语或双语数据集。这限制了该技术在非英语用户群体中的应用，也导致模型难以捕捉具有文化特异性的动作。
主要挑战：
1. 数据稀缺：缺乏高质量的双语（特别是中英）文本 - 动作配对数据集。
2. 翻译生成管道的失效：简单的“先翻译后生成”（Translate-then-Generate）策略无法处理代码切换（Code-switching，即一句话中混合使用两种语言）场景，且直接翻译往往丢失细微的动作语义（如方向、身体部位细节）。
3. 通用模型的不足：现有的多语言预训练编码器（如 mBERT, T5）在动作生成任务上表现不佳，存在严重的语言性能不平衡，且缺乏针对动作特定语义的优化。

2. 核心贡献 (Key Contributions)

BiHumanML3D 数据集：
- 这是首个双语文本生成动作基准数据集。
- 基于广泛使用的 HumanML3D 数据集扩展而成，包含 13,312 个高质量的中英双语动作描述。
- 构建过程采用多阶段 LLM 辅助标注流程（大模型翻译 + 辅助模型润色 + 人工校验），确保了语义的准确性和上下文的一致性。
BiMD 模型 (Bilingual Motion Diffusion)：
- 提出了一种统一的双语动作扩散模型，能够直接从双语输入生成高质量动作。
- 引入了跨语言对齐 (Cross-Lingual Alignment, CLA) 模块，显式地将不同语言的语义表示对齐到统一的潜在空间。
性能突破：
- 在 BiHumanML3D 上，BiMD 结合 CLA 显著优于单语模型和翻译基线。
- 实现了零样本跨语言生成（Zero-shot）和代码切换（Code-switching）场景下的鲁棒生成。

3. 方法论 (Methodology)

3.1 数据集构建流程 (BiHumanML3D Construction)

采用多阶段流水线构建双语数据：

数据筛选：从 HumanML3D 中过滤掉过短或过长的动作序列。
LLM 辅助翻译：使用大语言模型（如 DeepSeek）将英文描述翻译为中文。
润色与修正：使用辅助模型（如 Qwen）修正翻译中的性别偏见、直译错误和不自然表达。
人工校验：人工标注员结合 LLM 辅助工具对翻译进行最终审查和修正，特别是针对包含多个动词的复杂动作。
一致性检查：通过规则检查（如方向词）确保语言一致性。

3.2 模型架构 (BiMD Framework)

模型基于潜在扩散模型（Latent Diffusion），包含两个核心组件：

跨语言对齐 (Cross-Lingual Alignment, CLA)：
- 目标：消除语言间的语义鸿沟，使中英文文本在潜在空间中具有可互换的表示。
- 实现：采用知识蒸馏 (Knowledge Distillation) 策略。
  - 教师模型 (Teacher)：冻结的 OpenCLIP（英文表现强，结构清晰）。
  - 学生模型 (Student)：可训练的多语言模型 XLM-Base。
  - 损失函数：使用对称 KL 散度 ( $L_{CLA}$ ) 最小化学生模型生成的中英文嵌入与教师模型英文嵌入之间的距离。这使得学生模型能将中文嵌入映射到教师模型构建的高质量英文语义空间中。
- 优势：避免了从头训练专用模型的昂贵成本，同时解决了通用多语言编码器在动作任务上的性能不平衡问题。
双语扩散训练 (Bilingual Diffusion Training)：
- 在训练过程中，每个动作序列随机配对英文或中文描述。
- 利用对齐后的文本嵌入作为条件输入扩散模型。
- 引入无分类器引导 (Classifier-Free Guidance, CFG) 以提升生成质量。

4. 实验结果 (Results)

单语性能 (HumanML3D)：
- BiMD (w/ CLA) 在 HumanML3D 上取得了 SOTA 性能。
- FID (Fréchet Inception Distance) 从 0.169 降至 0.045（越低越好）。
- R@3 (Recall at 3) 从 80.8% 提升至 82.8%（越高越好）。
- 证明了双语训练并未损害单语性能，反而通过共享语义提升了整体质量。
双语性能 (BiHumanML3D)：
- 在 BiHumanML3D 上，BiMD (w/ CLA) 在英文和中文输入下均优于其他基线（如 MLD, MDM, Mo.Diffuse 等重训版本）。
- 跨语言差距缩小：CLA 将英文和中文之间的 R@3 差距从 4.4% 缩小至 0.8%，实现了平衡的双语生成。
零样本与代码切换：
- 零样本：仅在中文数据上训练的模型，配合 CLA，能够生成符合英文提示的高质量动作（用户偏好率 35.4%）。
- 代码切换：模型能正确处理混合语言输入（如 "He walks in a 逆时针 circle"），而现有方法（如 MLD）在此类输入下会生成语义错误的动作。
消融实验与用户研究：
- 直接翻译基线（使用 DeepL/GPT 翻译后生成）性能显著下降（R@3 降至 ~70%），证明了专用双语标注和训练的必要性。
- 用户研究表明，68.1% 的用户认为带有 CLA 的模型生成的动作在语义一致性上优于无 CLA 版本。

5. 意义与影响 (Significance)

填补空白：首次为文本生成动作领域提供了双语基准和专用模型，推动了跨语言动作生成的研究。
文化包容性：使得动作生成技术能够服务于非英语用户，并能更好地捕捉具有文化特异性的动作（如“作揖”、“太极拳”等）。
技术启示：证明了通过跨语言对齐（CLA）和专用双语训练，可以有效解决多模态任务中的语言不平衡问题，且无需为每种语言单独训练模型。
资源开源：论文公开了 BiHumanML3D 数据集和 BiMD 代码，为后续研究奠定了基础。

总结：该论文通过构建高质量的双语数据集和提出跨语言对齐的扩散模型，成功解决了文本生成动作领域的语言壁垒问题，实现了在单语、双语、零样本及代码切换场景下的高精度、高一致性动作生成。