💻 computer science

TEXEDO : Test Time Scaling for Controller-aware Language-conditioned Humanoid Motion Generation

TEXTEDO 是一个测试时扩展框架，它通过采样多个候选样本并基于一个将动态可行性作为硬约束、同时最大化语义对齐度的奖励模型来选择最优样本，从而在无需更强大的底层生成器的情况下，增强文本驱动的人形动作生成，确保生成的动作既具备可执行性又符合任务对齐。

原作者： Jianuo Cao, Yuxin Chen, Yuzhen Song, Masayoshi Tomizuka, Chenran Li, Thomas Tian

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jianuo Cao, Yuxin Chen, Yuzhen Song, Masayoshi Tomizuka, Chenran Li, Thomas Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位导演，正试图教一个非常有天赋但动作略显笨拙的机器人舞者表演一段特定的舞蹈，而这段舞蹈是基于这样一个简单的句子：“一个人在愉快地移动时向左旋转。”

你拥有两个主要工具：

编剧（生成器）： 一个超级聪明的 AI，它可以根据你的句子写出成千上万种不同的舞蹈动作。它非常擅长理解舞蹈的“故事”和“氛围”。
编舞师（控制器）： 一个拥有物理实体躯干和大脑的机器人，它负责实际尝试移动肢体。这个机器人有着严格的限制：如果动作太快，它就无法单脚站立；如果它的电机力量太弱，它就无法旋转；如果时机不对，它可能会摔倒。

问题所在：
通常情况下，编剧写的舞蹈在文字描述上听起来很完美，但对机器人来说在物理上是无法实现的。机器人尝试遵循指令，结果却滑倒、摔倒，或者因为动作违反了物理定律或机器人的电池限制而直接僵住。

解决方案：TEXEDO
这篇论文介绍了一种名为 TEXEDO（Text-See-Do，即“文本-观察-执行”）的新方法。TEXEDO 不仅仅是接受编剧写的第一个舞蹈动作并寄希望于好运，它更像是一个在演出前进行“试镜”的聪明制片人。

它是如何运作的，请看以下步骤：

1. TEXT（文本）：试镜阶段（采样）

TEXEDO 不仅仅要求编剧提供一个舞蹈动作，而是要求它生成 32 个不同版本的同一个舞蹈。

类比： 想象一下，你要求一位作家起草 32 个不同版本的场景。有些可能很狂野，有些很稳健，有些很快，有些很慢。

2. SEE（观察）：评委阶段（验证）

现在，TEXEDO 有了一组 32 个候选方案。它需要选出获胜者。它使用两个专门的“评委”来为每个方案评分：

评委 A：物理教练（动态可行性验证器）
- 职责： 它观察一个舞蹈动作，并询问：“机器人在做这个动作时真的不会摔倒吗？”它会检查平衡感、足部位置和电机强度。
- 隐喻： 这就像一位体操教练看着一套动作并说：“你不能做那个空翻，你会扭伤脚踝的。”它会过滤掉那些在物理上不可能实现的动作。
- 关键点： 这个评委是“感知控制器”的，这意味着它了解 这个特定 机器人的极限，而不仅仅是一个通用的机器人。
评委 B：讲故事的人（语义对齐验证器）
- 职责： 它观察一个舞蹈动作，并询问：“这看起来真的像是在‘愉快地移动’吗？”它会检查机器人是否在微笑（隐喻意义上的）、是否在旋转以及看起来是否快乐，还是仅仅只是站在原地。
- 隐喻： 这就像一位导演在观看排练，然后说：“那个空翻很棒，但角色应该是悲伤的，而不是快乐的。”

3. DO（执行）：最终决策（选择）

TEXEDO 不仅仅是挑选得分最高的那个。它使用了一种特定的策略：安全第一，风格第二。

硬性过滤： 它会立即丢弃任何被评委 A（物理教练）判定为危险或不可能完成的动作。即使一个动作看起来是非常完美的“愉快的旋转”，但如果机器人会摔倒，它就会被剔除。
最终挑选： 在剩余的“安全”动作中，它会挑选出被评委 B（讲故事的人）认为最符合“愉快”定义的那个。

为什么这很特别：

无需重新训练： 你不需要重新教编剧或机器人。你只需要在中间加入这个“试镜”步骤。
更好的结果： 论文表明，通过这种方式，机器人的摔倒次数减少了（更好的安全性），且动作看起来更符合你的要求（更好的叙事性）。
适用于新机器人： 他们在 Unitree G1 机器人上进行了测试，效果很好。他们还在不改变评委模型的情况下，在另一个 AI 生成器（Kimodo）上进行了测试，结果依然有效。

总结一下：
TEXEDO 是一个针对机器人舞蹈的“质量控制”系统。它生成许多选项，过滤掉会导致机器人崩溃的动作，然后挑选出最符合你文字描述的动作。它将“也许行得通”的情况转变为“肯定行得通”的情况，而且无需改变底层的 AI 大脑。

技术摘要：TEXEDO

问题陈述

文本驱动的运动生成已成为为人形机器人编程的一种极具前景的接口，但运动生成器（motion generator）与全身控制器（whole-body controller）之间仍存在关键性的脱节。目前的生成器通常是在重定向至机器人形态的人类运动数据集上进行训练的。虽然这些模型捕捉到了丰富的语义运动先验，但它们缺乏对下游控制器特定约束的接触，例如平衡极限、接触时机、执行器饱和以及控制器特有的失效模式。因此，生成的运动在语义上可能合理，但在动力学上却可能不可行，从而导致部署失败，如跌倒、接触不当或执行器饱和。

现有方法通常将生成与控制视为弱耦合。虽然语言模型已成功采用“测试时缩放”（通过采样多个候选样本并通过验证器选择最优项）来提高生成质量，但将此应用于人形运动需要一种“落地”（grounded）的质量概念。一个候选样本不仅必须与文本提示对齐，还必须能够被特定硬件平台上的特定全身追踪器执行。

方法论：TEXEDO (Text-See-Do)

TEXEDO 是一个测试时缩放框架，旨在将冻结的、预训练的文本到运动生成器转换为具有控制器感知能力的运动系统，且无需修改生成器或追踪器。该流水线分为三个阶段运行：

1. TEXT：候选采样

给定自然语言指令 $\ell$ ，一个语言条件生成器 $G$ （例如 FSQ-GPT）采样一组 $N$ 个候选全身参考轨迹 $\{m_i\}_{i=1}^N$ 。生成器被视为黑盒；框架仅依赖于解码后的轨迹。

2. SEE：落地验证

每个候选样本由两个互补的落地验证器进行评估：

动力学可行性验证器 ( $R_{dyn}$ )：该验证器预测运动是否能被部署时的控制器成功追踪。它是通过对实际追踪器（如 SONIC）进行离线展开（rollouts）而蒸馏得到的。
- Oracle 信号：离线展开生成三个信号：二值成功度 ( $y_s$ )、追踪质量 ( $q_d$ ) 和进度比例 ( $q_g$ )。这些信号被合并为一个单一的 Oracle 质量得分 $Q^*$ 。
- 代理模型：一个轻量级的时序 Transformer 被训练用于直接从运动 $m$ 预测这些信号，输出 $R_{dyn}(m)$ 。这避免了在选择阶段运行完整展开的高昂成本。
语义对齐验证器 ( $R_{text}$ )：该验证器衡量文本提示与运动之间的对齐程度。
- 架构：使用文本和运动的双向 GRU 编码器，并在目标机器人骨架上通过对比损失进行训练。
- 评分：得分定义为文本与运动编码之间指数负嵌入距离， $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$ 。

3. DO：非对称选择

TEXEDO 采用先过滤后重排序的策略来选择最终的运动 $\hat{m}$ ：

过滤：被预测为动力学不可行的候选样本（ $R_{dyn} < \theta$ ）会被丢弃。这将动力学可行性视为硬约束，以确保安全性和可执行性。
重排序：从剩余的可行集合中，选择语义对齐得分 ( $R_{text}$ ) 最高的一个候选样本。
回退（Fallback）：如果没有任何候选样本通过动力学过滤器，则选择具有最高 $R_{dyn}$ 的候选样本，以最大化执行的可能性。

核心贡献

问题建模：本研究将控制器感知的语言驱动人形运动生成建模为一个测试时缩放问题，利用额外的推理时采样来改进命令给机器人的单个参考运动。
双验证器设计：引入了两个落地验证器：
- 一个通过追踪器展开蒸馏而来的动力学可行性验证器，用于预测物理可执行性。
- 一个在机器人骨架运动上训练的语义对齐验证器，用于测量文本与运动的对齐度。
非对称选择策略：提出了一个先过滤后重排序的规则，在优化语义对齐之前，优先将动力学可行性作为硬约束。这解决了两个竞争标准之间的张力，确保选定的运动既安全又符合语义。

实验结果

该框架在 Unitree G1 人形机器人及 SONIC 全身控制器上进行了评估，实验涵盖了仿真和真实世界部署。

测试时缩放有效性：
- 增加候选池大小 ( $N$ ) 会持续提升性能。
- 仅使用 $R_{dyn}$ 进行选择可以实现高追踪成功率 (0.990)，但会降低语义对齐度 (VLM-Judge 得分降至 4.924)。
- 仅使用 $R_{text}$ 进行选择可以实现高语义对齐度 (6.110)，但对执行成功率的提升微乎其微 (0.885)。
- TEXEDO 成功平衡了两者，在 $N=32$ 时实现了 0.984 的追踪成功率和 6.054 的 VLM-Judge 得分，显著优于基线方法（ $N=1$ ）的 0.873 成功率和 5.722 对齐度。
零样本泛化能力：
- 生成器无关性：当应用于未见过的生成器（Kimodo）且不重新训练验证器时，TEXEDO 提升了执行质量和语义对齐度，证明了选择标准在不同生成器架构间是可迁移的。
- 分布外（OOD）表现：在来自未见数据集 BONES-SEED 的提示词上，TEXEDO 将追踪成功率从 0.860 提升至 0.980，并显著降低了追踪误差，展示了对 OOD 提示词的鲁棒泛化能力。
真实世界部署：
- TEXEDO 被部署在物理 Unitree G1 机器人上，处理了 30 个多样化的提示词（包括运动、手势及组合动作）。
- 它成功执行了所有 30 个提示词，始终选择稳定且符合预期语义的运动，而基线方法经常出现失败或产生不稳定行为。

重要性与主张

本文声称，落地验证是实现可部署的语言引导人形运动生成的有效路径。通过将动力学可行性视为硬约束，并将语义对齐作为选择目标，TEXEDO 使得使用强大的预训练文本到运动生成器成为可能，而无需对其进行重新训练或对控制器进行复杂的修改。

作者强调，这种方法允许将额外的推理时计算量（采样更多候选样本）转化为单个高质量的参考轨迹，该轨迹既符合语言语义，又具备物理落地性。该方法表明，通过将测试时缩放与控制器感知验证器相结合，可以实现从语义生成到物理控制的跨越，从而在可靠性方面获得一致的提升。这项工作表明，将测试时缩放与控制器感知验证器结合使用，是提高人形机器人在开放式任务中可靠性的可行策略。