💻 computer science

Unleashing Infinite Motion: Scaling Expressive Quadrupedal Motion via Generative Video Priors

本文介绍了 Uni-Mo，这是一个利用大语言模型（LLM）和视频扩散模型来生成大规模、具有语言标注的多样化四足机器人运动数据集的全自动流水线，从而能够训练出成功在真实机器人上部署具有表现力的、类伴侣行为的策略，且无需依赖动物数据。

原作者： Youzhi Liu, Li Gao, Yifei Qian, Liu Liu, Yang Cai, Ziqiao Li

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Youzhi Liu, Li Gao, Yifei Qian, Liu Liu, Yang Cai, Ziqiao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：只会走路的机器狗

想象一下，你有一只机器狗。它擅长奔跑、跳过台阶，甚至在被踢一脚后还能恢复平衡，表现得非常出色。但如果你让它做点别的——比如鞠躬、跳舞或做后空翻——它只会盯着你看。这就像是一个顶尖的运动员，却只知道原地慢跑。

长期以来，科学家们试图通过拍摄真实动物（如狗或猎豹）并模仿它们的动作来教会机器人这些新技能。但这种方法存在三个大缺陷：

“不配合的动物”问题： 你无法命令一只真实的狗“为了校准请保持这个姿势”或“听令做个后空翻”。它们只会随心所欲。
“翻译”问题： 真实的狗拥有灵活的脊椎和与机器人不同的体型。试图将真实狗的动作复制到机器人身上，就像是试图把方榫头塞进圆孔里。数学逻辑往往会因此崩溃，导致机器人做出不可能的动作或者摔倒。
“枯燥”问题： 因为我们依赖真实动物，所以我们只能获得动物自然产生的动作（行走、奔跑）。我们错失了那些我们希望机器人展现出的有趣且富有表现力的动作。

解决方案：Uni-Mo（“想象中的狗”工厂）

作者提出了一种名为 Uni-Mo 的新系统。他们不再拍摄真实的动物，而是决定利用人工智能来构思这些动作。

你可以这样理解：与其雇佣一只真实的狗来学习舞蹈动作，不如雇佣一位超级聪明的 AI 电影导演。你给这位导演一个文本提示（例如“做一个后空翻”），AI 就会生成一段机器人狗正在执行该动作的视频。

以下是该流程的逐步工作原理：

1. 编剧 (LLM)

首先，一个大型语言模型（就像一位非常有创意的作家）会构思出数百个有趣的机器人动作创意。它会写下类似“跳一段踢踏舞”、“礼貌地鞠躬”或“向后踢腿”之类的提示词。

2. 电影导演 (视频扩散模型)

接下来，这些提示词会进入“视频扩散模型”。这是一种可以根据文本生成视频的 AI。

旧方法： 如果你只是向标准的视频 AI 要求让机器人狗跳舞，它会感到困惑。机器人的腿可能会融化，头部可能会变成一团模糊，或者身体会像太妃糖一样拉长。这被称为**“身份漂移”（Identity Drift）**。这就像是一个糟糕的特效，角色在每一秒钟都在改变形状。
新技巧（身份一致性损失）： 作者为 AI 制定了一条特殊的规则。他们告诉它：“无论机器人如何运动，它必须保持是同一个机器人。它的身体部位不能融化或改变形状。” 他们添加了一个数学上的“护栏”（损失函数/Loss function），强制要求 AI 在从第一帧到最后一帧的过程中保持机器人外观的一致性。现在，AI 生成的视频中，机器人狗看起来始终是一个坚固、刚性的机器。

3. 翻译官 (3D 提取)

一旦 AI 制作出了完美的机器人跳舞视频，系统就需要将这个 2D 视频转化为真实机器人能理解的 3D 指令。

由于视频生成器被强制要求固定相机视角并保持机器人形状一致，系统可以轻松地“读取”这段视频。
它会计算出每个关节应该移动的确切位置，从而创建一个 3D “剧本”（轨迹）供机器人使用。

4. 排练 (训练)

系统会将这些 3D 剧本交给真实的机器人（一台 Unitree Go2），并使用标准的训练方法教会它如何遵循这些指令。这就像是给机器人请了一位舞蹈教练，向它展示每一步该怎么做。

结果：“四足想象工厂”（Quad-Imaginarium）

团队不仅制作了一个视频，还建立了一个庞大的库，名为 Quad-Imaginarium。

规模： 它包含了近 7,500 种不同的机器人动作，总计 18.5 小时的独特动作。
多样性： 它涵盖了杂技、手势以及各种富有表现力的行为，而这些是真实动物很少表现出来的。
成功率：
- 在计算机模拟中，机器人的动作成功完成了 97.6%。
- 在现实世界中的真实机器人上，96.7% 的动作都成功完成了，没有发生摔倒。

为什么这很重要

这篇论文证明了我们不需要依赖真实动物来教机器人如何运动。通过使用 AI 生成“梦境”中的动作，并将其精确地转化为现实，我们可以赋予机器狗以“个性”。它们可以不再仅仅是“运动机器”，而是成为能够跳舞、做手势并进行丰富、富有表现力互动的“伴侣型”存在。

简而言之： 他们用“生成完美的机器人电影”取代了“拍摄真实狗”的方法，解决了机器人在视频中“融化”的问题，并成功教会了真实的机器人以前从未掌握过的技能。

技术摘要：Uni-Mo 与 Quad-Imaginarium

问题陈述

尽管四足机器人已经在运动能力（如穿越碎石、爬楼梯）方面取得了显著进展，但其行为范畴仍局限于基础步态（如行走、小跑和奔跑）。这与人形机器人形成了鲜明对比，后者在大型人类动作数据集的推动下，正日益具备表现力强、具有伴侣感的交互能力（如跳舞、做手势）。

目前模仿这一成功的尝试依赖于“动物在环”（animal-in-the-loop）的假设：机器人的运动源自真实的动物数据（通过动作捕捉或视频重建），然后将其重定向到机器人身上。作者指出了该流程中三个关键的失效模式：

数据稀缺性： 数据收集依赖于真实动物的配合，这限制了数据集仅限于基础运动，排除了复杂的表现性行为。
脆弱的重建过程： 由于存在变形表面、自我遮挡以及动物参数化模型（如 SMAL）相对于人类模型（如 SMPL）的不成熟，从动物视频中重建 3D 运动非常困难。
欠定重定向问题： 将运动从生物骨骼（例如具有柔韧脊柱和趾行腿的狗）转移到刚性机器人（例如具有刚性躯干和三关节腿的四足机器人）时，由于拓扑结构不匹配，往往会导致物理上不可行的运动。

本文认为，解决方案是完全移除动物这一中间环节，将运动获取重新定义为一个生成问题，而非重建问题。

方法论：Uni-Mo 流水线

作者提出了 Uni-Mo，一个能将自然语言提示词转换为可部署四足机器人策略的全自动流水线。该过程由三个阶段组成：

1. 一致性身份视频生成

系统不再依赖现有的动物视频，而是直接合成运动视频。

基础模型： 对视频扩散模型（Wan2.2）进行图像到视频（I2V）设置下的微调。
输入： 目标机器人（Unitree Go2）的规范参考图像以及由大语言模型（LLM）生成的运动提示词。
身份漂移挑战： 标准的视频扩散模型存在“身份漂移”问题，即机器人的身体会发生非刚性变形或外观变化，从而违反了 3D 提取所需的刚体假设。
解决方案（身份一致性损失）： 作者引入了一个可微的身份一致性损失（ $L_{IC}$ ）。
- 利用 DINOv2 嵌入构建一个由训练数据组成的“外观库”，用以表示机器人的规范身份。
- 在训练期间，如果生成的帧特征与外观库中最接近的条目发生显著偏差，模型将受到惩罚。
- 该损失仅应用于扩散模型的低噪声专家模型，以确保感知可靠性，同时不破坏底层的运动先验。

2. 3D 轨迹提取

生成的视频被转换为机器人配置空间中的 3D 参考轨迹。

2D 关键点检测： ViTPose 模型在每一帧中检测出机器人的 17 个关键点。
运动学优化： 通过 2D 到 3D 的优化求解根节点位置、朝向和 12 个关节角度。相机内参和初始姿态（规范 URDF 状态）是固定的，从而将问题简化为受时间约束的运动学拟合。
约束条件： 优化过程包括 2D 重投影误差项、时间平滑度惩罚以及足端接触约束，以防止滑动。

3. 质量过滤与策略训练

为了确保仅使用可行的运动，在训练前应用了多阶段过滤流程：

CLIP 语义门控： 将重渲染的轨迹与源视频进行比较；语义相似度较低的会被触发拒绝。
几何门控： 具有高重投影误差（平均 >20px，最大 >100px）的轨迹会被丢弃。
跟踪误差门控： 在仿真中训练 PPO 跟踪策略。在轨迹导致策略失败（触发终止）的情况下，这些轨迹会被丢弃。
部署： 生存下来的策略被迁移到真实的机器人上。

核心贡献

Uni-Mo 流水线： 一个全自动系统，能将自然语言提示词转化为可部署的四足机器人策略，通过计算量而非动物协作来扩展运动获取规模。
身份一致性损失： 一种新颖的微调目标，通过强制要求生成的视频帧在结构和外观上保持一致，使得通用的视频生成器能够可靠地提取 3D 运动。
Quad-Imaginarium 数据集： 发布了一个大规模、开源的数据集，包含 7,488 个带有语言标注的四足机器人运动（共 18.5 小时）。与以往数据集不同，这些数据是端到端合成的，具有多样化的非运动类行为（如鞠躬、跳舞、后空翻），而这些行为此前是无法获取的。

结果

作者在 Unitree Go2 机器人上验证了该流水线：

视频生成： 与基准微调相比，添加身份一致性损失显著提高了视觉保真度（FID 从 66.65 降至 26.98），并防止了身体变形。
提取效率： 68.1% 的生成候选样本通过了所有几何和语义门控。
仿真性能： 7,488 条保留轨迹中，有 97.6% 被 PPO 策略在仿真中成功跟踪。
现实世界部署： 在随机抽取的 392 个运动样本中，该流水线在物理机器人上实现了 96.7% 的成功率，机器人能够成功执行复杂的行为，如后空翻、跳舞和爬行，且不会跌倒。

重要性与主张

本文声称，表现力强的四足机器人运动获取可以与生物数据采集的局限性脱钩。通过将运动生成视为一个可扩展的计算问题，Uni-Mo 使得创建丰富的、类动物的行为成为可能，而这些行为此前是无法捕获或重定向的。

作者强调，他们的方法不需要更好的动物模型或跨形态重定向算法。相反，通过移除循环中的动物并增强合成视频中的身份一致性，他们为研究伴侣型四足机器人提供了一个“开箱即用的基础”。该流水线的成功表明，只要生成的数据能够维持现实世界控制所需的物理和结构完整性，通过生成式 AI 就可以弥合运动导向型机器人与表现力伴侣之间的差距。