💻 computer science

Constrained Whole-Body Tracking for Humanoid Robots

本文介绍了 ConstrainedMimic，这是一个实时、可微的控制框架，它将操作空间控制（operational space control）与控制屏障函数（control barrier functions）集成到强化学习策略中，旨在为人形机器人强制执行任意的安全约束——例如碰撞规避和关节限制——且不会显著损害其跟踪性能。

原作者： Daniel Morton, Pranit Mohnot, Marco Pavone

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Morton, Pranit Mohnot, Marco Pavone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个人形机器人就像一位才华横溢、动作敏捷的舞者，通过试错（一个被称为强化学习的过程）学会了模仿人类的动作。这位舞者动作极快，能做后空翻或复杂的遥操作任务。然而，问题在于，这位舞者因为太渴望移动，可能会不小心被自己的脚绊倒、撞到桌子，或者扭伤关节导致损坏。他们学会了跳舞，但并没有学会“不要撞到东西”或“保持平衡”的规则。

这篇论文介绍了一个名为 ConstrainedMimic 的新系统。你可以把它想象成站在舞者身旁的一位极其警觉的安全教练。这位教练并不教舞者新的舞步，而是实时观察舞者的每一个动作，并在必要时轻轻地引导舞者的肢体，使其保持安全，同时又不会破坏舞蹈的韵律。

以下是该系统的工作原理，通过简单的概念进行分解：

1. 应用安全教练的两个位置

论文解释说，你可以将这种安全检查应用于机器人“大脑”的两个不同点：

输入端（计划）： 在舞者开始移动之前，教练会查看“剧本”（来自人类或计算机的运动计划）。如果剧本说：“以一种会撞到自己脸的方式交叉双臂”，教练会在舞者看到剧本之前对其进行修改。这被称为约束重定向（Constressed Retargeting）。
输出端（动作）： 有时剧本本身没问题，但舞者因为过于兴奋而动作过快，导致动作过冲并撞到物体。在这种情况下，教练会在舞者即将移动时，对实际的肌肉指令施加一个“刹车”或“转向修正”。这被称为动态安全过滤器（Dynamic Safety Filter）。

2. “隐形墙”类比

该教练背后的核心技术是被称为**控制障碍函数（Control Barrier Functions, CBFs）**的技术。

想象机器人正在走过一个充满隐形橡胶墙的房间：

碰撞规避： 如果机器人离桌子（或它自己的手臂）太近，橡胶墙就会产生推力。教练会计算出精确的推力大小，既能让机器人不接触桌子，又不会推得过头。
关节限制： 想象机器人的肘部有一根橡皮筋，防止它向后弯曲过度。教练确保机器人永远不会把这根橡皮筋拉紧到足以使其断裂的程度。
平衡（质心）： 想象机器人站在一个微小的隐形平台（它的脚）上。如果机器人倾斜得太厉害，导致其“重心”开始偏离平台边缘，教练会立即将机器人的重量移回中心，以免其摔倒。

3. 为什么仅有一种检查是不够的

论文在模拟机器人（Unitree G1）上进行了测试，并发现了一些有趣的现象：

“剧本”是不够的： 即使你给机器人一个“安全”的计划，由于它移动速度过快，机器人仍可能发生过冲并发生碰撞。这就像给司机一张安全路线图；如果他们开得太快，仍然可能会错过转弯。
“动作”检查至关重要： 你需要教练来检查实际的动作（输出），以捕捉这些过冲行为。
最佳组合： 最安全的方法是使用两种检查。既修改计划，又修正动作。这就像拥有一个副驾驶，他既能修正地图，又能在司机转向时抓紧方向盘。

4. “最小干预”原则

该系统的一个关键特征是它的最小侵入性。
想象机器人正在尝试完成一项精细的任务，比如穿针引线。如果触发了安全约束（例如避免碰撞），教练并不会完全停止机器人的动作。相反，它会对动作进行最小幅度的调整，以确保安全，同时让机器人完成任务。它尽可能地尊重机器人的原始目标。

5. 速度与实际应用

该系统运行速度极快。它可以在标准计算机芯片（CPU、GPU 甚至 TPU）上以每秒 300 到 500 次的速度运行。

为什么速度很重要： 如果教练反应迟钝，机器人在教练做出反应之前可能就已经撞上了。因为这个系统如此之快，它可以捕捉到瞬间发生的错误，使其足以用于现实世界的应用。

结果总结

研究人员在模拟场景中测试了系统，包括：

自我碰撞： 机器人试图交叉双臂并撞到自己的脸。
“横劈”动作： 一只人手快速向机器人的脸部移动（这是一个机器人未经过训练的场景）。
平衡： 机器人倾斜得太厉害以至于会摔倒。

研究结果非常明确：

没有教练，机器人经常发生碰撞或违反安全规则。
仅使用“计划”检查，效果有所改善，但由于速度原因仍会发生碰撞。
仅使用“动作”检查，虽然非常安全，但有时过于谨慎。
使用两者结合，机器人在几乎所有的测试中都保持了安全，既避免了碰撞又保持了平衡，同时仍能完成任务。

简而言之，ConstrainedMimic 提供了一种方法，可以将一个超敏捷、基于学习的机器人瞬间赋予一种它无法自行学习的“安全本能”，确保它不会伤害自己或他人，且无需重新训练机器人或显著降低其速度。

技术摘要：人形机器人的约束全身追踪

问题陈述
强化学习（RL）的最新进展使人形机器人在运动、遥操作和操控方面实现了令人印象深刻的全身灵活性。然而，在确保安全性并满足约束方面仍存在关键差距——特别是那些在训练后才指定的约束（例如：新的障碍物、动态环境或特定的运行限制）。现有的 RL 策略在面对未知场景时，往往缺乏对碰撞避免、关节限制或稳定性的内在保证。一个理想的运行时安全框架必须是最小干预的、与策略无关的、易于配置任意约束的，并且能够在不进行策略重训的情况下，以实时速度（≥50 Hz）运行。

方法论：ConstrainedMimic
作者提出了 ConstrainedMimic，这是一个将操作空间控制（Operational Space Control）原理与控制障碍函数（Control Barrier Functions, CBFs）相结合，以在 RL 追踪策略中强制执行安全性的控制框架。该框架在运动追踪堆栈的两个自然干预点运行：输入运动学参考值和输出关节指令。它采用了三种不同的约束执行方法，所有方法均通过 JAX 库被表述为可微二次规划（QP）：

约束重定向（输入层）：
- 应用于逆运动学（IK）重定向过程中，即将人类运动映射到机器人运动学的过程。
- 将 CBF 直接嵌入到微分 IK 问题中。
- 其目标是在满足安全约束（如自碰撞避免）的同时最小化追踪误差，并通过一个受接触约束的运动学模型来实现。
- 这确保了输入到 RL 策略的参考运动本质上是安全的。
运动学安全滤波器（输入层）：
- 应用于已经过重定向的参考值（例如：离线运动）。
- 作为一个滤波器，计算对参考运动的最小干预修改，以满足约束。
- 利用层次化目标：主要任务是在操作空间内追踪末端执行器和质心（CoM），次要任务是在零空间（Null Space）内追踪姿态。
- CBF 约束基于完整的受接触约束的运动学构建，以尊重当前的接触模式（例如：防止足部滑动）。
动力学安全滤波器（输出层）：
- 应用于 RL 策略输出的关节指令（PD 目标值），并在执行前进行处理。
- 这是最后一层防御，运行在完整的受接触约束且欠驱动的系统动力学之上。
- 其层次结构优先考虑接地足部的接触力追踪，随后是基于加速度定义的运动和姿态任务。
- 该 QP 求解安全的执行器转矩（ $\Gamma_{body}$ ），随后将其映射回机器人的安全 PD 目标值。

核心贡献

框架架构： 确定了策略在输入（运动学）和输出（动力学）端的安全执行点，提出了一个结合了约束重定向、运动学滤波器和动力学滤波器的统一框架（ConstrainedMimic）。
任务一致性滤波： 在完整的受接触约束的运动学和动力学上构建 CBF，并配合尊重运动追踪隐含任务结构的 QP 目标。这确保了当约束生效时，滤波器通过仅修改最低优先级的组件来最小化对策略的限制。
可微性与性能： 整个系统是完全可微的，并使用 JAX 实现，使其可以在 CPU、GPU 和 TPU 上运行。它实现了 300–500 Hz 的频率，显著超过了典型的策略频率（50 Hz），从而能够在高于控制循环的速率下执行安全强制。
零样本自适应： 该框架允许在无需重训的情况下，对预训练策略实施任意的运行时约束。

实验结果
实验在仿真环境中针对 Unitree G1 人形机器人进行了测试，使用的是未经修改的预训练策略（TWIST2 和 SONIC）。

基准局限性： 无约束策略即使在训练时已知的场景（如自碰撞）中也无法满足安全约束，并且由于动力学超调（Dynamic Overshoot），无法防止与外部障碍物的碰撞。
各层有效性：
- 仅运动学 方法显著减少了约束违规，但无法防止由动力学超调引起的违规（例如：“空手劈砍”场景，即机器人超出了安全参考值）。
- 仅动力学 滤波器在转矩层面运行，显著减少了违规，但由于动力学的复杂性，仍可能出现轻微违规。
- 组合（运动学 + 动力学） 执行提供了最可靠的安全保障，将违规帧数降低至接近于零（例如：自碰撞为 0.02%），并最小化了最大违规距离。
接触约束： 研究强调，在 CBF 公式中忽略接触约束（例如：假设无约束运动学）会导致不可行的运动（例如：脚部离开地面）或约束失配。所提方法正确地考虑了接触模式。
观察到的局限性：
- 短时界失败： 单步 CBF 在处理长时界安全所需的离散模式切换方面表现挣扎（例如：在障碍物下决定是“蹲下”还是“侧身钻过”）。
- 接触模式破坏： 针对动态障碍物的安全性维护可能需要打破当前的接触模式（例如：发起迈步），这需要当前框架尚未完全自动化的更高层级离散决策。

意义与主张
本文声称 ConstrainedMimic 弥合了基于学习的控制的灵活性与基于模型的控制的安全保证之间的鸿沟。通过将 RL 策略视为“基础模型”并叠加运行时安全框架，作者证明了：

在无需重训的情况下，可以强制执行训练时未知的安全约束。
该框架能够实时处理动态可行性和大量的非凸状态约束。
该方法在计算上是可行的且具有可扩展性，可以在边缘设备上高效运行。

作者对局限性保持谦逊，承认当前系统依赖于对状态估计和接触模式的强假设，并且针对动态障碍物的决策（例如：何时迈步）等更高层级的语义推理仍是未来的研究目标。他们还指出，虽然动力学滤波器是最小干预的，但它们可能会导致分布外（OOD）状态，这是他们计划进一步研究的一个权衡。