💻 computer science

Chasing Autonomy: Dynamic Retargeting and Control Guided RL for Performant and Controllable Humanoid Running

该论文提出了一种结合动态运动重定向与目标导向控制引导强化学习的框架，成功在 Unitree G1 人形机器人上实现了最高 3.3 m/s 的奔跑速度、长距离自主续航以及户外动态避障能力。

原作者： Zachary Olkin, William D. Compton, Ryan M. Bena, Aaron D. Ames

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Zachary Olkin, William D. Compton, Ryan M. Bena, Aaron D. Ames

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个让机器人像人类一样奔跑，并且能听指挥、避障碍的突破性方法。

想象一下，你教一个刚学会走路的机器人去跑步。以前的方法要么让它像机器人一样僵硬地跑，要么让它模仿人类动作但跑不远、跑不快，甚至一遇到障碍物就摔倒。

这篇论文的作者（来自加州理工学院）提出了一套全新的“训练秘籍”，让 Unitree G1 这款机器人不仅能跑出3.3 米/秒（相当于人类慢跑甚至快跑的速度），还能在户外跑几百米，甚至一边跑一边灵活地躲避障碍物。

我们可以把整个过程比作**“培养一名奥运短跑运动员”**，分为三个关键步骤：

第一步：从“照猫画虎”到“量身定做” (动态重定向)

以前的做法（照猫画虎）： 研究人员直接拿人类跑步的视频数据，强行套用到机器人身上。这就像给一个身材比例完全不同的机器人穿上一套人类的衣服。虽然动作看起来像，但因为机器人的肌肉（电机）和骨骼（机械结构）跟人类不一样，直接模仿会导致动作不协调，甚至跑不起来。
这篇论文的做法（量身定做）： 他们先拿人类跑步的数据作为“灵感”，然后利用超级计算机进行**“动态优化”**。
- 比喻： 这就像一位顶级裁缝。他看着模特的照片（人类数据），但会根据机器人的身材（物理限制、平衡能力），重新剪裁衣服。他不仅确保衣服好看，还确保机器人穿上后能真正跑起来，不会摔倒。
- 成果： 他们生成了一套**“跑步动作库”**，就像一本包含不同速度（从慢跑到冲刺）的“动作字典”，而不是只有一张死板的照片。

第二步：教机器人“听话” (奖励机制与强化学习)

有了动作库，怎么教机器人学会呢？他们使用了强化学习（RL），这就像训练一只小狗。

以前的奖励（Mimic 风格）： 只要机器人摆出的姿势和人类差不多，就给奖励。
- 问题： 机器人可能姿势很像，但跑偏了，或者根本控制不住速度。就像小狗学会了“坐下”的姿势，但你喊“跑”它却不动，或者乱跑。
这篇论文的奖励（CLF-RL 风格）： 他们引入了一种**“控制理论”**作为奖励标准。
- 比喻： 这就像给小狗不仅看姿势，还给它戴上了**“导航仪”和“稳定器”**。
  - 导航仪（目标导向）： 如果你跑得方向不对，或者速度没达到我要求的，就没有奖励。
  - 稳定器（控制引导）： 如果机器人快要摔倒了，系统会立刻发出“惩罚”，强迫它调整重心保持平衡。
- 结论： 这种“既看动作，又看结果（速度和平衡）”的奖励方式，让机器人跑得既快又稳。

第三步：从“操场”到“真实世界” (自主导航)

训练好的机器人不能只在实验室里跑，它得去真实世界。

分层控制架构： 作者把机器人想象成一个**“司机 + 乘客”**的组合。
- 乘客（高层规划）： 负责看路、决定去哪里、遇到石头怎么绕。它就像坐在车里看导航的乘客，告诉司机“前面有障碍，往左拐”。
- 司机（底层控制）： 就是刚才训练好的跑步机器人。它不管前面有什么，它只负责执行“向左转”、“加速”、“保持平衡”这些具体指令。
成果： 在户外实验中，机器人不仅能自己跑几百米，还能在遇到障碍物时，瞬间计算出一条新路线并绕过去，就像一位经验丰富的老司机在车流中穿梭。

总结：为什么这很厉害？

快且稳： 机器人跑出了 3.3 米/秒的速度，这在人形机器人里是非常快的，而且还能跑很久。
听指挥： 以前的模仿学习机器人只能“按剧本演”，现在的机器人能“听指令跑”。你想让它跑多快、往哪跑，它都能做到。
真智能： 它不再是只会重复动作的机器，而是能感知环境、规划路线、躲避障碍的自主智能体。

一句话概括：
这篇论文通过**“裁缝式的数据优化”和“导航员式的奖励训练”，把一个人形机器人从只会“模仿动作的笨拙模仿者”，培养成了能在真实世界中自由奔跑、灵活避障的“运动健将”**。

这是一份关于论文《Chasing Autonomy: Dynamic Retargeting and Control Guided RL for Performant and Controllable Humanoid Running》（追求自主性：用于高性能可控人形机器人跑步的动态重定向与控制引导强化学习）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：人形机器人在动态运动（如跑步）方面取得了巨大进展，特别是基于强化学习（RL）的控制器能够模仿人类动作，产生极具动态性的行为。
核心挑战：
1. 单一动作回放限制：现有的模仿学习（Mimic-style）RL 控制器通常局限于回放单一的人类动作片段，难以在长时间运行和自主导航中应用。
2. 速度跟踪与自主性：为了将运动控制器集成到分层自主架构（Autonomy Stack）中，底层控制器必须能够准确跟踪高层规划器发出的速度指令（如前进速度、偏航角速度）。如果无法准确跟踪速度，分层控制将难以实现。
3. 数据可行性：直接将人类数据重定向到机器人上存在“具身差距”（Embodiment Gap），人类可行的动作对机器人可能不可行（动力学不可行），且原始数据往往包含噪声，缺乏周期性。
4. 奖励函数设计：设计 RL 的奖励函数非常困难，不恰当的奖励会损害性能或延长训练时间。

2. 方法论 (Methodology)

论文提出了一套完整的管道（Pipeline），包含三个核心阶段：

A. 基于优化的动态重定向 (Optimized Dynamic Retargeting)

目标：从单个人类跑步数据片段生成一个包含多种速度（1.2 m/s 至 3.6 m/s）的周期性参考动作库。
技术细节：
- 使用混合系统模型（Hybrid System Model）将跑步建模为单支撑相（SSP）和飞行相（FLT）的切换。
- 采用多射击优化（Multiple Shooting Optimization）方法，在硬约束（Hard Constraints）下对数据进行重定向。
- 约束条件：包括动力学可行性（接触力、摩擦锥）、周期性（通过反射状态强制步态周期）、以及步态连续性。
- 优势：相比纯运动学重定向，该方法生成的轨迹在动力学上更可行，且误差更低；相比无人类数据的纯优化，它保留了人类跑步的“风格”和敏捷性。

B. 控制引导的强化学习 (Control-Guided RL)

奖励结构设计：论文对比了两种奖励策略：
1. 模仿式奖励 (Mimic Rewards)：分别惩罚关节、基座、末端执行器的位置和速度误差。
2. CLF-RL 奖励 (Control Lyapunov Function RL)：将控制李雅普诺夫函数（CLF）嵌入奖励中。
  - 使用二次型李雅普诺夫函数 $V = \eta^T P \eta$ 来衡量输出跟踪误差。
  - 奖励项鼓励系统满足 CLF 的递减条件（ $\dot{V} + \lambda V < 0$ ），从而在理论上保证对参考轨迹的稳定性。
目标条件化 (Goal Conditioning)：
- 为了跟踪指令速度（而不仅仅是直线跑步），引入了目标条件化奖励，激励机器人根速度（Root Velocity）匹配指令速度（包括前进、横向和偏航速度）。
- 实验表明，目标条件化 + CLF 奖励的效果优于单纯调整参考轨迹或仅使用模仿奖励。

C. 分层自主架构集成

训练好的策略被部署在硬件上，作为底层控制器。
上层规划器（如 MPC + 障碍物避免）生成速度指令，底层 RL 策略负责执行。
策略输入包括指令速度、基座角速度、重力投影等，但不直接输入参考轨迹，便于零样本（Zero-shot）部署。

3. 主要贡献 (Key Contributions)

动态参考库生成 (C1)：提出了一种通过带约束的多射击动态优化来重定向人类数据的方法。该方法生成了动力学可行且周期性的参考动作库，相比纯运动学重定向或无数据优化，显著降低了跟踪误差。
奖励结构分析 (C2)：系统研究了不同奖励结构对参考跟踪和速度指令跟踪的影响。结论是：基于目标条件化的 CLF-RL（控制引导 RL）配合动态优化的人类数据轨迹库，在跟踪性能上优于基线方法（如纯模仿奖励或单一轨迹）。
硬件验证与自主集成 (C3)：
- 在 Unitree G1 人形机器人上实现了高达 3.3 m/s 的跑步速度。
- 在真实户外环境中连续奔跑超过 250 米。
- 成功将跑步控制器集成到完整的感知与规划自主栈中，实现了户外障碍物避障（结合 MPC 和 CBF）。

4. 实验结果 (Results)

仿真消融实验：
- 参考轨迹质量：动态优化的人类数据（Dynamic Opt. Human Data）在参考跟踪误差上显著优于运动学重定向数据（Kinematic Retargeted）和无数据优化轨迹。
- 奖励函数：CLF-RL 奖励在所有参考类型下均比模仿式（Mimic）奖励产生更低的跟踪误差。
- 速度跟踪：目标条件化（Goal Conditioning）提供了比单纯调整轨迹更强的学习信号。即使将模仿奖励的目标条件权重增加 3 倍，动态优化库 + CLF 奖励的组合依然表现最佳。
硬件实验 (Unitree G1)：
- 速度：在室内跑步机上达到 3.3 m/s，且包含完整的飞行相（完全腾空）。
- 耐力：在户外人行道上连续奔跑超过 250 米。
- 可控性：能够准确跟踪指令的前进速度、横向速度和偏航角速度。
- 自主避障：在户外环境中，结合激光雷达（LiDAR）和 MPC+CBF 算法，机器人能够在保持约 2 m/s 速度的同时，实时规划路径并躲避障碍物。

5. 意义与影响 (Significance)

从“表演”到“自主”：该工作解决了 RL 控制人形机器人从“回放单一动作”向“长时间、可控、自主导航”跨越的关键瓶颈。
理论结合实践：通过将控制理论（CLF）引入 RL 奖励函数，不仅提高了训练效率，还增强了策略在硬件上的稳定性和可预测性，为分层自主架构提供了可靠的底层执行器。
数据效率与通用性：证明了仅需单段人类数据，通过优化即可生成覆盖宽速度范围的鲁棒步态库，降低了数据获取和标注的门槛。
实际应用验证：在真实复杂环境（户外、障碍物）中的成功演示，标志着人形机器人动态跑步技术向实际应用场景迈出了重要一步。

总结：这篇论文通过结合动力学约束优化（用于生成高质量参考）和控制引导强化学习（用于实现稳定且可控的跟踪），成功实现了人形机器人在真实世界中的高速、长距离且具备避障能力的自主跑步。