💻 计算机科学

Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision

本文提出了一种鲁棒的双足行走框架，该框架将基于模型的控制器与基于强化学习的残差策略相结合，并通过从具有特权信息的模型化先验（oracle）进行监督学习进行高效训练，以补偿现实世界的各种不确定性并提升从仿真到现实的迁移效果。

原作者： Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人走路。这有点像在教一个蹒跚学步的幼儿在凹凸不平、摇晃的地板上行走，而且还穿着沉重且僵硬的长靴。你面临着两个主要问题：

“完美世界”问题： 如果你在完美的计算机模拟中教机器人走路，一旦它踏入真实的土地，它就会立刻摔倒，因为现实世界是混乱、嘈杂且不可预测的。
“试错”问题： 如果你试图纯粹通过让机器人摔倒成千上万次并寄希望于它能学会（这被称为强化学习的方法），这会耗费极长时间、浪费能量，并且非常危险。

这篇论文提出了一种聪明的“混合”解决方案，它结合了两者的优点。你可以把它想象成一个协同工作的三人小组，共同教机器人走路。

故事中的三个角色

资深教练（基础策略/Base Policy）：
这是一个传统的、基于数学的控制器。它了解物理规则，并有一个关于机器人“应该”如何行走的稳健计划。它就像一位严厉的教练，知道完美的步幅。然而，这位教练使用的是一张关于机器人的陈旧且略有偏差的地图。如果机器人的关节生锈了，或者地面很滑，教练的计划就会失效，机器人也会随之踉跄。
全知先知（先知策略/Oracle Policy）：
这是一个只存在于计算机模拟中的“超级教练”。它拥有特权信息：它知道机器人的确切重量、地面的确切摩擦力以及电机的确切速度。它可以计算出在任何情况下最完美、最理想的步伐。

关键限制： 真实的机器人无法看到这位超级教练。超级教练只存在于模拟中，目的是在练习期间帮助学生学习。

学生（残差强化学习策略/Residual RL Policy）：
这是我们真正训练的“大脑”。它是一个通过实践来学习的智能 AI。它的任务是既要听从资深教练，又要观察全知先知。

训练是如何进行的：“影子跟随”法

通常在教 AI 时，你只是说：“表现好是因为没摔倒，表现差是因为摔倒了。”这就像是通过只在事后被告知“撞车了”或“没撞车”来学习驾驶一样，既缓慢又令人沮丧。

这篇论文引入了一种新方法：监督式强化学习（Supervised Reinforcement Learning）。

这里有一个类比：
想象学生正在尝试走钢丝。

资深教练给出了一个基本指令：“向前迈一步。”
全知先知看到了突如其来的阵风（一种现实世界的随机性），并知道学生需要稍微向左倾斜以保持平衡。
学生试图跟随教练。
神奇的一步： 先知并没有仅仅等待学生是否摔倒，而是直接“耳语”出了学生应该做出的精确修正（“向左倾斜 5 度”）。
如果学生没有尝试模仿这个“耳语”，学生就会受到惩罚（通过一个数学公式）。

通过迫使学生不断尝试模仿先知的精确修正，学生学习的速度会比仅仅通过猜测自己是否摔倒要快得多。

“随机化”健身房

为了确保机器人能够应对现实世界，训练是在一个“混沌健身房”中进行的。

计算机会随机改变机器人的重量，让地面变得湿滑，增加传感器噪声（就像收音机里的静电），甚至延迟机器人的大脑信号。
资深教练必须在这种混沌中进行猜测。
全知先知知道确切的混沌情况，并给出完美的应对动作。
学生学习如何弥补教练的猜测与先知的完美动作之间的差距。

研究发现（结果）

研究人员在三种完全不同的机器人（小型、中型和大型）上测试了该方法。结果如下：

单独使用资深教练： 当环境变得混乱时，机器人会立即摔倒。它太僵硬了。
单独使用学生（标准 AI）： 它试图从零开始学习，但很挣扎。它花费了很长时间，并且经常失败，因为“走得好”的奖励信号过于模糊。
学生 + 先知（本文的方法）： 这个团队是一个强大的组合。
- 机器人学习走路的速度快得多（是以小时计，而不是以天计）。
- 它们变得极其稳健。即使研究人员让模拟环境变得极其混乱（改变机器人的重量或地面摩擦力），机器人依然能保持行走。
- 它们的表现几乎接近于“全知先知”，尽管真实的机器人实际上并无法获取那些完美的已知信息。

核心结论

这篇论文表明，你不需要在“僵化的数学”和“缓慢的试错”之间做选择。通过使用一个“超级专家”（先知）来引导一个学习型 AI（学生），同时让该 AI 也听从一个基础规划器（教练），你可以教机器人实现稳健且高效的行走，即使在现实世界混乱且不可预测的情况下也是如此。

这就像是给一名学生一本教科书（教练），并配备了一位知道所有考试答案的私人导师（先知），从而确保学生能立即养成正确的习惯，而不需要经历每一次失败。

技术摘要：通过基于模型的监督强化学习实现高效且鲁棒的力矩驱动运动控制

问题陈述

学习有效的双足机器人力矩驱动运动策略仍然是一个重大挑战。虽然力矩控制能够实现响应迅速且具有顺应性的行为，但它需要精确处理复杂的非线性动力学。在存在现实世界不确定性（如接触不确定性、传感器噪声、执行器延迟以及未建模动力学，如关节摩擦和结构柔性）的情况下，直接进行力矩层面的策略学习尤为困难。

传统的基于模型的控制方法（例如结合全身控制的 DCM 轨迹规划）依赖于精确的系统模型。然而，当模型与物理系统之间的差异变得显著时，其性能会大幅下降。相反，纯数据驱动的深度强化学习（DRL）方法虽然通过领域随机化对建模误差具有鲁棒性，但往往面临数据效率低、对奖励设计敏感以及缺乏可解释性或安全性保障的问题。现有的混合策略通常仅依赖于奖励信号，这需要大量的试错迭代，并在训练过程中提供有限的引导。

方法论

作者提出了一种将基于模型的双足运动控制与残差强化学习（Residual RL）相结合的控制框架，并辅以一种新颖的基于模型的监督机制。该架构由三个主要部分组成：

基础策略 ( $\pi_b$ )： 一个基于模型的控制器，包含发散分量（DCM）轨迹规划器和基于逆动力学的全身控制器（WBC）。该策略在不准确的动力学模型和带有噪声的状态观测下运行，作为一个可靠但并不完美的基石。
先验策略 ( $\pi^*$ )： 一个拥有“特权”访问权限的模型化控制器，可以获取真实的系统信息，包括精确的机器人动力学、真实状态（无噪声状态）以及电机参数（如执行器延迟、效率）。该策略在随机化条件下生成理想的修正动作，但仅在训练期间作为监督者使用。
残差 RL 策略 ( $\pi_r$ )： 一个通过近端策略优化（PPO）训练的可学习策略，旨在输出残差力矩指令，以补偿基础策略的偏差。

关键技术组件：

领域随机化： 训练环境会对传感器噪声、机器人动力学（质量、摩擦、阻尼、电机效率）以及环境因素（地面摩擦力、不平整度）进行随机化处理，使策略暴露在现实世界的变动之中。
监督强化学习： 与仅依赖奖励塑造的标准 RL 不同，该框架引入了一个监督损失项 ( $L_{sup}$ $L_{s u p}$ )。残差策略受到显式引导，去模仿先验策略的修正动作。
- 总损失为加权和： $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$ 。
- 监督损失鼓励策略对先验策略的残差动作 ( $\tau^*_t - \tau^b_t$ ) 赋予高概率。
观测空间： 策略利用循环神经网络（LSTM）来处理带有噪声的历史观测数据（关节状态、基础策略力矩、跟踪误差）。评论家网络（Critic Network）在训练期间额外利用特权观测值（真实状态、先验策略力矩）来进行更准确的价值估计。

核心贡献

本文概述了四项主要贡献：

集成控制框架： 一种新颖的架构，将基于模型的控制的结构化可靠性与残差 RL 的适应性相结合，以减轻模型不准确带来的影响。
基于模型的先验策略： 引入了一种利用特权信息生成近乎最优控制信号的先验策略，作为学习过程的监督者。
监督强化学习目标： 一个将先验动作纳入监督损失的训练框架，通过补充标准的 RL 目标来提高学习效率，而不完全依赖于奖励塑造。
跨平台验证： 在三种不同的双足机器人（Kangaroo、Unitree H1-2 和 Bruce）上进行了全面的评估，证明了其在无需特定参数调优的情况下，在不同硬件平台上的鲁棒性和泛化能力。

结果

该方法在 Kangaroo、Unitree H1-2 和 Bruce 机器人在广泛的领域随机化 ( $\beta=1$ ) 下进行了评估。

性能对比基准：
- 先验策略 (O)： 在所有平台上均实现了 100% 的成功率，且跟踪误差极小，验证了其作为有效监督者的作用。
- 基础策略 (B)： 在随机化条件下完全失败（成功率为 0%），凸显了缺乏自适应能力的标准基于模型控制的脆弱性。
- 标准残差 RL (ResRL)： 表现不佳（成功率为 0-10%），在缺乏明确引导的情况下难以学习力矩驱动的运动控制。
- 模仿学习 (IL)： 在 Kangaroo 上表现良好（成功率为 70-100%），但在 Bruce 上表现挣扎（成功率为 80%），表明其对特定动态机制下的先验策略可靠性较为敏感。
- 所提方法 (BOR - Base + Oracle Residual)： 在 Kangaroo 和 H1-2 上达到了 100% 的成功率，在 Bruce 上达到了 80%。它显著优于标准 ResRL 和纯 IL，在 DCM 和足端跟踪方面接近先验策略的水平。
对不确定性的鲁棒性： 在不同水平的随机化 ( $\beta \in [0.1, 0.7]$ ) 测试下，所提方法保持了 100% 的成功率，而标准基于模型控制器 (MBC) 随着不确定性的增加而显著失效。
训练效率： 监督方法在仅 1,500 个回合（约 4.16 小时的模拟时间）内就收敛到了超过 80% 的成功率，而标准残差 RL 在相同条件下几乎没有进展。
泛化能力： 该框架成功迁移到了不平整地形和不同的机器人形态，且无需重新调优，展示了学习超越先验策略简单模仿的自适应行为的能力。

重要性与主张

本文声称该方法有效地弥合了基于模型的控制与数据驱动 RL 之间的鸿沟。通过将基于模型的先验知识与数据驱动的自适应相结合，该方法为双足运动的 sim-to-real（仿真到现实）迁移提供了一种可扩展的解决方案。

作者强调，该框架通过利用先验策略引导策略向修正行为靠拢，从而在无需大量奖励工程的情况下提高了学习效率和鲁棒性。他们指出，虽然先验策略提供了强大的监督信号，但 RL 组件对于探索偏离先验策略的行为至关重要（例如，在高度随机的情况或先验策略的基于模型的规划可能并非最优的不平整地形中）。这项工作证明了监督强化学习为类人机器人的力矩驱动运动控制提供了一种高效、鲁棒且可迁移的解决方案。