💻 computer science

Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

本文介绍了 ROGER，这是一种能够根据具身交互惩罚在线自动调整奖励权重增益的方法，旨在实现近乎零的约束违反以及在仿真和真实世界四足机器人中卓越的运动性能，从而有效地消除了对手动奖励调优的需求。

原作者： Arthicha Srisuchinnawong, Poramate Manoonpong

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Arthicha Srisuchinnawong, Poramate Manoonpong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题：机器人训练中的“金发姑娘”困境（适度原则）

想象一下，你正在教一只机器狗走路。你希望它跑得快（奖励/Reward），但你也需要确保它不会摔倒或折断腿（约束/Constraints）。

在传统的机器人训练中，你必须扮演一个严格且过度亢奋的教练，手动设定规则。你必须去猜测“快跑！”与“别摔倒！”之间的完美平衡点。这被称为增益调优（tuning the gains）。

如果你把“快跑！”的声音喊得太大，它会冲刺并立即翻车。
如果你把“别摔倒！”的声音喊得太大，它会因为太害怕移动而永远站在原地不动。

寻找这种完美的平衡通常需要经过数小时的试错。如果你判断错误，机器人在训练过程中可能会摔倒数百次，这对于真实的硬件设备来说既危险又昂贵。

解决方案：ROGER（智能反射）

该论文的作者提出了一种名为 ROGER（基于具身调节的奖励导向增益）的新方法。

不要把 ROGER 仅仅看作是一个大声喊指令的教练，而要把它看作是内置在机器人大脑中的一套智能反射系统。机器人不再是由你手动设定规则，而是实时倾听自己的身体和地面反馈。

它是这样工作的：

当机器人处于安全状态时： 如果机器人在平地上走得很稳，ROGER 会说：“太棒了！你离危险边缘还很远。让我们专注于跑得更快吧！”它会调高“快跑”奖励的音量。
当机器人变得摇晃时： 如果机器人开始向侧面倾斜（接近摔倒），ROGER 会立刻感知到这一点。它会瞬间调低“快跑”的音量，并调高“停止并稳定”的音量。
结果： 机器人只会在安全时学习快走。如果它接近摔倒，它会自动减速以自救，并在恢复稳定后再次加速。

“红绿灯”类比

想象机器人正在开车。

旧方法（固定增益）： 红绿灯被固定在一个设置上。如果灯是绿色的，汽车就会加速，即使有行人正在过马路。如果灯是红色的，汽车就会停止，即使路上空无一人。你必须在路况变化时手动更改灯的设置。
ROGER 方法： 红绿灯变得聪明了。它们观察路面情况。如果路面畅通，它们就变绿灯让车快速通行。如果有人迈步过马路，灯会瞬间变红以让车停下。机器人不需要人类来改变灯光，环境本身控制了规则。

他们实际测试了什么（实验结果）

研究人员不仅在模拟器中进行了测试，还在一台真实的重型机器狗（60公斤，大约相当于一个成年人大小）上进行了测试。

学习过程中没有摔倒： 在其他方法导致机器人在训练期间摔倒或违反安全限制数百次时，ROGER 保持了机器人的安全。在一项测试中，它实现了近乎零违规。
学习速度更快： 因为机器人没有浪费时间在摔倒和恢复上，它学会了走得更快。它比其他先进方法实现了高达 50% 的速度提升。
现实世界中的成功： 研究人员从零开始（从没有任何知识开始）训练了一台物理机器狗，仅用了约 一小时。机器人学会了在湿滑的地板、松散的碎石甚至携带重物的情况下行走，且一次都没有摔倒。
无需“调优”： 研究人员不需要花费数天时间去猜测正确的数值。他们只需设置一个简单的“安全阈值”（例如“倾斜角度不超过10度”），ROGER 就会自动处理其余的一切。

核心结论

这篇论文声称，我们不需要成为“增益调优师”（即手动调整复杂数学设置的人）来教会机器人安全移动。相反，我们可以让机器人与世界的交互过程自动调整自身的学习优先级。

安全？ 跑快点。
不安全？ 慢下来并稳住。

这使得机器人能够在现实世界中快速且安全地学习复杂的动作，而无需承担在学习过程中损坏自身的风险。

技术摘要：面向约束运动学习的奖励增益自适应方法

问题陈述
现有的机器人运动学习技术，特别是基于强化学习（RL）的技术，面临两个关键挑战。首先，它们过度依赖离线的奖励权重增益选择，这一过程耗时较长，需要大量的超参数调优，且如果选择不当，往往会导致结果并非最优。其次，由于随机探索的存在，传统的强化学习方法在训练过程中容易出现约束违规（例如：跌倒、超过物理极限）。虽然存在用于强制执行安全性的约束强化学习（CRL）技术，但许多方法在学习过程中仍会出现约束违规，或者需要复杂的数学公式（如控制障碍函数）和迭代优化（如原对偶方法），从而延迟了惩罚增益的调整。因此，在现实世界的物理机器人中实现近乎零约束违规的同时最大化性能，仍然是一个尚未解决的挑战。

方法论：ROGER
作者提出了基于具身调节的奖励导向增益（ROGER），这是一种根据具身交互过程中接收到的惩罚来在线调整奖励权重增益的方法，消除了对大规模离线调优的需求。

核心机制： ROGER 动态平衡正向奖励（主要任务目标）与负向奖励（约束惩罚）之间的比例。
- 当机器人在安全状态（远离约束阈值）时，比例倾向于主要奖励，以优先考虑性能。
- 当机器人接近约束阈值时，比例会自动转变，增加惩罚增益并减少主要增益，从而有效地抑制不安全行为。
数学公式： 该方法利用多奖励通道设置，将奖励和惩罚独立存储。在每个时间步 $t$ $t$ ，权重增益计算如下：
- $\lambda_{0t} = 1 - \Delta_t$ （主要奖励增益）
- $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ （第 $i$ 个约束的惩罚增益）
- 这里， $\Delta_t$ 是相对于阈值 ( $\tau$ ) 的估计约束惩罚的截断总和，确保增益之和等于 1。贡献比例 $r_{\lambda_{it}}$ 根据特定约束违规的严重程度来分配惩罚权重。
超参数： 该方法依赖于直观的超参数，即源自物理系统限制（例如：最大硬件姿态）的约束阈值 ( $\tau$ )，而非需要进行网格搜索的复杂惩罚系数。
集成： ROGER 被设计为现有学习框架（例如用于四足机器人的 AGOL、用于跳跃机器人 Hopper 的 PPO）的附加机制，在不改变底层策略更新算法的情况下实时调整奖励结构。

核心贡献

约束满足： ROGER 通过在违规发生前动态调整增益，而非在事后做出反应，确保了整个学习过程中的近乎零约束违规。
简化调优： 该方法通过使用直观的物理阈值，消除了对大规模离线增益调优的需求，显著降低了与超参数选择相关的风险和时间。
性能优化： 通过仅在安全时优先考虑性能，ROGER 比固定权重和其它自适应权重技术实现了更高的主要奖励。

实验结果
作者在 60 公斤的 Unitree B1 四足机器人（包括仿真和真实世界）以及 MuJoCo 跳跃机器人上评估了 ROGER。

四足运动（仿真与真实世界）：
- 约束违规： 在仿真中，ROGER 实现了近乎零的违规（50,000 个时间步内仅 1 次违规），优于如 CRPO 等最先进的自适应方法（CRPO 在 25,000 个时间步内 0 次违规，但性能较低）以及固定权重方法。在真实世界实验中，物理机器人完成了 300 个学习回合（约 1 小时）而未发生跌倒，并将横滚角（roll）和俯仰角（pitch）保持在 10° 阈值以下。
- 性能： ROGER 达到了 0.6 m/s 的最终前进速度，比等效的最先进技术（固定增益惩罚和 CRPO）高出 50%，并达到了仅使用主要奖励进行训练的性能水平，同时保证了安全性。
- 适应性： 机器人在具有挑战性的地形（光滑表面、松散碎石、随机台阶）以及动态负载下，在没有外感知传感的情况下成功学会了运动，证明了通过探索可以产生既满足约束又可行的控制策略。
跳跃运动（MuJoCo）：
- ROGER 在违反了零惩罚最优性和温和动力学假设的单腿跳跃机器人上进行了测试。
- 指标： 与默认奖励函数相比，ROGER 实现了跳跃距离 20% 的提升，扭矩使用量减少了 57%，姿态偏差减少了 59%。
- 鲁棒性： 即使在更严格的约束下（阈值减半），ROGER 仍能保持向前跳跃而不后退，展示了其适应敏感系统动力学的能力。

意义与主张
本文声称 ROGER 为约束满足的现实世界持续机器人运动学习领域做出了贡献。通过利用具身交互来动态调节奖励增益，该方法简化了奖励权重增益的调优过程。这种调优复杂度的降低，可能有助于开发能够在现实世界中安全且有效地学习的物理机器人，解决了当前技术要么无法保证训练期间的安全性，要么需要极高人工调优成本的瓶颈问题。作者强调，虽然 ROGER 确保了约束的期望值得到满足，但它并不保证在所有场景下都不发生跌倒（特别是在动力学敏感的情况下），但与现有基准相比，它显著提高了性能和安全性。