💻 计算机科学

GPO: Growing Policy Optimization for Legged Robot Locomotion and Whole-Body Control

该论文引入了增长策略优化（Growing Policy Optimization, GPO），这是一种通过逐步扩展随时间变化的动作空间来克服基于转矩的足式机器人控制中探索挑战的训练框架，从而确保了稳定的学习过程和卓越的零样本硬件部署性能。

原作者： Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试教一只机器狗或一只机器昆虫如何走路。你希望它能够通过自我尝试来学习，而不是通过阅读手册，这种方法叫做“强化学习”（Reinforcement Learning）。这就像让一个孩子通过不断尝试来学习骑自行车，而不是直接给他们一本说明书。

然而，这里有一个巨大的问题：如果你让机器人在一开始就尝试所有的可能性，它可能会疯狂地挥动它的腿，然后摔倒，永远无法学会如何向前移动。这就像给一个初学者一辆法拉利，并告诉他们立即以最高时速驾驶；他们在学会转向之前就会先撞车。

这篇论文介绍了一种名为 GPO（生长策略优化，Growing Policy Optimization） 的新训练方法来解决这个问题。以下是其工作原理的简单解释：

核心思想：“会成长的辅助轮”

把机器人的动作想象成一个可能性的范围。

旧方法（标准 PPO）： 想象你把机器人放在一个巨大的开放式广场上，并对它说：“出发！”机器人会同时尝试奔跑、跳跃和旋转。因为这个空间太大了，它会感到困惑，犯下巨大的错误，并且学习得非常缓慢。
GPO 方法： 想象你把机器人放在一个小的围合花园里。这个围栏代表了对它电机输出强度的限制。
1. 早期阶段： 围栏很小。机器人只能采取细小、轻微的步伐。这迫使它在没有疯狂乱动风险的情况下，学习平衡和基础协调能力。因为它的小型游乐场易于掌控，所以它能快速掌握“基础知识”。
2. 生长阶段： 随着机器人变得越来越好，围栏会慢慢扩大。这就像辅助轮正在慢慢拆除。机器人现在被允许迈出更大的步子并施加更大的力量。
3. 最终阶段： 最终，围栏完全消失。机器人现在可以全速奔跑并应对复杂地形，但它已经掌握了基础。

为什么这很重要

作者认为，通过从小到大逐渐扩展，机器人学习得更快且更稳定。

更少的噪声： 当机器人的动作受到限制时，它学习过程中的“噪声”（随机错误）就更低。在安静的房间里听清耳语比在摇滚音乐会上要容易得多。
更好的最终结果： 因为它在“小花园”里把基础打得如此扎实，所以最终它比那些直接被扔进“大广场”的机器人整体表现得更优秀。

数学原理（简化版）

论文证明了这种“生长围栏”的技巧并不会破坏学习背后的数学逻辑。这就像是在改变你观察地图的大小，但指南针（学习算法）仍然指向正确的北方。他们展示了机器人并不会因为变化的限制而感到困惑；它只是变得更擅长应对这些限制。

实验：真实的机器人

团队在两类机器人上测试了该方法：

四足机器人（Quadruped）： 像狗一样的机器人。
六足机器人（Hexapod）： 像大型昆虫一样的机器人。

他们在计算机模拟中使用**扭矩控制（Torque Control）**来训练这些机器人（即精确告诉电机施加多少力，这比仅仅告诉它们移动到哪里要难得多）。

实验结果：

在模拟中： 与标准方法相比，GPO 机器人的学习速度更快，且能更准确地执行指令（例如“以每秒 1 米的速度向前行走”）。标准方法经常出现无法走直线或机器人身体高度过低的情况。
在现实世界中： 他们将训练好的机器人“大脑”移植到了真实的机器人（Unitree Go2）上。
- 零样本迁移（Zero-Shot Transfer）： 这意味着机器人在真实的地面上从未经过训练；它完全是在计算机中学习的。然而，当它被放置在真实的地面上时，它走得非常完美。
- 干扰测试： 他们推了机器人，向它扔了篮球，甚至让它在泥泞、湿滑的山坡上行走。GPO 机器人能瞬间恢复平衡，而使用旧方法训练的机器人经常会摔倒或陷入挣扎。

总结

论文声称 GPO 是一个通用的工具，它让教机器人走路变得更容易且更有效。通过从严格的限制开始并逐渐放宽这些限制，你帮助机器人找到了学习复杂技能的稳定路径，无论它是四条腿还是六条腿。这是一种“自生长”的机器人智能方法。

技术摘要：用于足式机器人运动控制的增长策略优化 (GPO)

1. 问题陈述

在为足式机器人（特别是基于扭矩控制的场景）训练强化学习 (RL) 策略时，面临着高维连续动作空间、严格硬件约束以及探索难度大等重大挑战。虽然现有的利用基于位置控制的方法通过特定环境的启发式手段（如奖励塑造、课程学习和手动初始化）取得了成功，但在处理基于扭矩的控制时却显得力不从心。在扭矩控制中，动作直接映射到关节扭矩，这产生了强耦合性和严苛的稳定性要求。

识别出的核心问题是，标准的策略梯度方法（如近端策略优化 PPO）隐含地假设在整个训练过程中存在一个固定的动作空间。这种设计迫使策略从一开始就要在具有高方差的完整动作空间内进行探索。因此，早期训练阶段会出现以下问题：

高梯度方差和不稳定的优化景观。
在收敛到最优策略之前，难以学习到可靠且低幅值的控制行为。
由于在探索过程中存在破坏机器人稳定性的风险，导致数据收集效率低下。

目前的工程实践通常在训练早期手动限制动作范围，并在后期放宽限制，但目前还没有一个原则性的框架将动作空间的演化视为学习算法的一个组成部分，也没有对其对优化性质影响的明确理论分析。

2. 方法论：增长策略优化 (GPO)

作者提出了增长策略优化 (GPO)，该框架应用随时间变化的动作变换，在训练早期限制有效动作空间，并随时间逐渐扩大该空间。

核心机制

GPO 引入了一种平滑的、随时间变化的变换，将策略的潜在动作输出 ( $a$ ) 映射为可执行动作 ( $\tilde{a}$ ):
$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$
这里， $\beta_t = a_{limit} f(t)$ 是训练步数 $t$ 的单调递增增长函数，其中 $\lim_{t \to \infty} f(t) = 1$ 。

早期阶段： $\beta_t$ 较小，限制了有效动作空间。该变换在小动作范围内处于近线性状态，允许智能体在减少梯度噪声的情况下学习稳定的、低幅值的行为。
后期阶段： 随着 $\beta_t$ 增加，有效动作空间扩大，解锁了更大的控制权限，并能够通过更广泛的探索来实现更高的期望回报。
饱和： 对于大幅值动作，输出会在硬件极限 ( $\pm a_{limit}$ ) 处平滑饱和，在功能上等同于硬截断，但保留了可微性。

理论保证

论文提供了理论分析，证明 GPO 在保持标准 PPO 稳定性的同时改进了优化动力学：

更新等价性： GPO 下的重要性采样比率在结构上与 PPO 相同 ( $r^{GPO}_t = r^{PPO}_t$ )，这意味着经过变量代换后，截断代理目标保持不变。
有界梯度失真： GPO 梯度与标准 PPO 梯度之间的差异是有界的，并且随着 $\beta_t$ 的增加而单调减小。这确保了变换仅引入了消失的梯度失真。
优化动力学：
- 早期阶段： 通过限制动作空间，GPO 降低了策略梯度估计值的方差（该方差随 $\beta_t^2$ 缩放）。这提高了信噪比 (SNR)，从而实现了更快的局部收敛和更紧的早期阶段期望回报下界。
- 后期阶段： 逐渐扩张确保了稳态参数误差不会差于（甚至可能优于）固定范围的基准，从而允许获得更好的渐近性能。

3. 主要贡献

新颖框架： 引入了 GPO，它将有效动作空间的演化显式建模为 RL 算法的一个组成部分，而非仅仅作为一种静态的工程启发式方法。
理论分析： 证明了时变变换保留了 PPO 的更新结构，并仅引入了有界的、消失的梯度失真，从而确保了训练的稳定性。
性能提升： 证明了在具有挑战性的扭矩控制领域，GPO 与固定动作空间的基准相比，实现了更快的早期收敛速度和更高的渐近回报。
泛化能力： 在不同的机器人形态（四足和六足）以及控制任务（运动控制和全身控制）中验证了该框架的有效性，且无需特定的任务奖励塑造或步态先验。

4. 实验结果

作者在模拟和真实硬件部署中，针对四足和六足机器人对 GPO 进行了评估。

模拟结果

增长函数： 对比了无增长 (PPO)、线性、Sigmoid 和 Gompertz 增长函数，结果显示 Gompertz 函数（初始增长缓慢，随后加速扩张）表现最佳。它提供了最快的奖励提升和最稳定的学习。
跟踪性能： 与 PPO 相比，经 GPO 训练的策略在速度和身体姿态指令的跟踪误差方面显著降低。例如，PPO 无法有效跟踪 x 方向的速度，而 GPO 则能保持紧密跟随。
步态涌现： GPO 策略展现出更具周期性和协调性的关节扭矩与速度。相比之下，PPO 策略经常出现不稳定行为和退化的支撑分配（例如，过度依赖特定腿部），而 GPO 则在没有显式步态先验的情况下促进了结构化的协调模式。

硬件验证

零样本 Sim-to-Real： 在模拟中训练的策略被直接部署在 Unitree Go2 四足机器人上，无需进行微调。
鲁棒性： 在抗干扰任务（包括侧向推搡、垂直踩踏以及在挑战性地形如泥泞上坡、湿滑下坡上的运动）中，GPO 的表现优于基准模型（包括基于扭矩的 PPO 和 DeCAP 变体）。
恢复能力： 在外部扰动（如人类抬起腿部、掉落重物）下，支持 GPO 的机器人能够平滑地恢复平衡，而不会触发不必要的步进动作，展示了卓越的闭环稳定性。

5. 意义与主张

论文声称 GPO 提供了一个通用的、与环境无关的优化框架，用于学习足式运动。其重要性在于将范式从修改训练流水线（通过奖励或课程）转向修改底层的优化机制本身。

通过将动作空间的演化视为一个可学习的、随时间变化的进程，GPO 解决了高维连续控制中探索与稳定性之间的基本权衡。作者断言，这种方法实现了：

稳定的早期优化： 在处理复杂动力学之前，先学习可靠的低幅值控制。
增强的渐近性能： 通过逐步解锁完整的动作空间，实现更高的期望回报。
鲁棒的 Sim-to-Real 迁移： 使基于扭矩的策略能够在无需大量手动调优或步态先验的情况下，部署到真实硬件上。

这项工作表明，管理“有效”动作空间是提高接触密集型、具有不确定性的环境下的具身强化学习 (Embodied RL) 性能的一个关键且此前尚未得到充分探索的杠杆。