⚡ electrical engineering

Accelerating and Scaling MPC-Guided Reinforcement Learning for Humanoid Locomotion and Manipulation

本文介绍了 MPC-RL，这是一个通过将质心动力学 MPC 奖励公式与 $\pi^n$ MPC（一种新型的并行时界 GPU 求解器，旨在消除构建开销并实现高效的约束感知强化学习）相结合，从而加速并扩展类人机器人运动与操纵训练的框架。

原作者： Junheng Li, Liang Wu, Sergio A. Esteban, Lizhi Yang, Ján Drgoňa, Aaron D. Ames

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Junheng Li, Liang Wu, Sergio A. Esteban, Lizhi Yang, Ján Drgoňa, Aaron D. Ames

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人走路和推重物。你有两种主要的方法可以做到这一点：

“健身教练”（强化学习）： 你让机器人在视频游戏模拟器中进行数百万次的随机尝试。它通过试错法进行学习，最终学会如何在不摔倒的情况下行走。它非常擅长应对各种复杂情况并具备适应性，但学习基础知识可能需要很长时间，有时它会学会一些看起来很奇怪或效率低下的“坏习惯”。
“物理学教授”（模型预测控制）： 你给机器人一套严格的物理方程。它计算如何移动质心以及将脚放在哪里才能保持平衡。它非常精确且安全，但计算速度较慢，且具有僵化性，在面对混乱或不可预测的现实世界时会显得力不从心。

这篇论文介绍了一种名为 MPC-RL 的新方法，它结合了两者的优点。你可以把它想象成雇佣了一位“物理学教授”来担任“健身教练”学生的训练教练，但这位教授只在练习期间存在，而不是在实际比赛中。

核心思想：一个聪明的训练指南

与其让机器人从零开始摸索走路，该系统使用“物理学教授”（MPC）来生成一份关于机器人应该如何移动的完美路线图。它并不直接控制机器人；相反，每当机器人遵循这条路线图时，它都会给予机器人一个“奖励”（就像发一颗小红星一样）。

随着时间的推移，机器人（使用强化学习）学会了完美地模仿这条路线图，以至于最终它能成为一名专家。一旦训练完成，机器人就会“忘记”物理学教授，依靠自身运行，准备好应对现实世界中的颠簸和推搡。

他们解决的两个大问题

1. “交通堵塞”问题（速度）
通常，要求物理引擎为机器人计算完美的路线图是非常慢的。如果你试图同时为成千上上万个机器人这样做（这是快速训练所必需的），计算机就会瘫痪。这就像试图一次解决一百万道数学题，而不是一个接一个地解决；这需要耗费无穷的时间。

他们的解决方案 ( $\pi$ nMPC)： 他们构建了一个名为 $\pi$ nMPC 的特殊工具。想象一条巨大的工厂流水线，计算机不再是一个接一个地解决数学题，而是在图形处理器（GPU）上同时解决数千个问题。他们还取消了每次都要“从头构建”数学问题的需求（无构造化设计），使系统运行得极其迅速且不会耗尽内存。这使得训练速度达到了实用的水平。

2. “信息过载”问题（信心）
“物理学教授”非常擅长预测下一步，但它的预测在看得越远的地方就会变得越模糊（就像预测一个月后的天气一样）。如果你告诉机器人要过于严格地遵循整个未来的路线图，它可能会被那些“模糊”的部分搞糊涂。

他们的解决方案（置信度加权）： 他们教会了机器人根据距离远近来不同程度地信任路线图。
- 近期（下一步）： “完全照做！我百分之百确定。”
- 远期（未来的步骤）： “这是一个很好的大方向，但如果稍微偏离一点也不要太在意。”
  这种“递减式”的信任有助于机器人学习宏观轮廓，而不至于纠结于微小的细节。

他们取得了什么成就？

研究人员在一个人形机器人（外观和动作都像人类的机器人）身上测试了这些方法，主要在两个领域：

行走： 与使用标准方法的机器人相比，该机器人学会了走得更快、更稳。它能够从剧烈的碰撞（比如被人猛推一掌）中恢复过来，并保持行走而不摔倒。它还能处理穿着重型背心或携带负载时的行走问题。
推动重物（运动操控）： 这是最出彩的地方。他们教机器人去推一个推车。
- 结果： 机器人成功推动了一个重达 290 公斤（639 磅） 的推车。
- 规模对比： 这个推车的重量是机器人自身体重的 829%。换句话说，如果你体重 150 磅，这个机器人推着的推车重量相当于 1,243 磅（大约是一辆小型汽车或一台大钢琴的重量）。

总结

这篇论文表明，通过使用快速的并行计算机求解器在训练期间提供基于物理的“路线图”，你可以比以前更快、更好地教会机器人走路和推动重物。机器人能快速学会运动的“物理学”，然后变成一个鲁棒且独立的劳动者，不需要在实时运行中进行复杂的数学计算。

简而言之： 他们构建了一个超快速的训练教练，通过展示“完美路径”来帮助机器人学习走路和推动重物，最终实现了一个能推动接近自身体重 10 倍重量推车的机器人。

技术摘要：加速并扩展用于人形机器人运动与操作的 MPC 引导强化学习

1. 问题陈述

人形机器人运动控制面临着模型预测控制 (MPC) 与 强化学习 (RL) 之间的二分法。MPC 提供基于物理的预测和显式的约束处理，但往往难以应对实时计算需求以及对模型失配（model mismatch）的鲁棒性问题。相反，RL 通过大规模仿真能够实现鲁棒、敏捷的全身技能，但往往缺乏 MPC 所固有的物理结构和长时程规划能力。

尽管已存在混合方法，但在 RL 训练循环中集成 MPC 仍面临显著挑战：

计算开销： 在训练期间重复求解 MPC 问题非常耗时。
可扩展性瓶颈： 现有的基于 GPU 的 MPC 求解器虽然可以跨环境并行，但在预测时程（prediction horizon）维度上无法有效并行，导致序列递归成为瓶颈。
内存与编译成本： 传统的用于 MPC 的稀疏二次规划 (QP) 公式需要耗时的题目构建和符号编译，导致 VRAM 使用量随问题规模扩大而迅速增加，扩展性较差。
应用范围有限： 现有的混合框架主要侧重于运动控制（locomotion），使得运动操控（loco-manipulation）（即同时进行运动与物体交互）在尽管具有极高的物理模型应用价值的情况下，仍未得到充分探索。

2. 方法论

所提出的框架 MPC-RL 将 MPC 与 RL 的角色解耦：MPC 作为训练时的引导工具来生成结构化奖励，而学习到的策略在部署时无需运行 MPC。

A. 质心动力学 MPC 引导 (CD-MPC)

系统并非使用 MPC 进行直接控制，而是使用质心动力学 (CD) 模型为 RL 智能体生成预测参考值。

模型： CD-MPC 追踪质心 (CoM)、质心线性动量 ( $l_G$ ) 以及质心角动量 ( $k_G$ )。它通过引入主动接触集（用于运动的足部；用于运动操控的足部与手部）来处理时变动力学。
地标提取 (Landmark Extraction)： 系统并非强制策略去追踪 MPC 的紧邻下一步（这会丢弃长时程结构），而是从完整的 MPC 轨迹中以特定时间间隔 ( $\delta_\ell$ ) 提取一组预测地标 (predictive landmarks)。
预测置信度加权： 奖励函数将实现的 CoM 与这些地标进行比较。系统应用了一种时程单调加权方案 ( $\alpha_0 > \alpha_1 > \dots$ )，即重度权重分配给近时程地标（其可靠性更高），并降低远时程地标的权重（这些地标易受模型失配和积分误差影响）。这创建了一个融合了长时程引导与精准短期追踪的边界奖励信号。

B. $\pi$ nMPC：并行于时程且无构造的求解器

为了使 CD-MPC 能够适配大规模并行的 RL 训练，作者引入了 $\pi$ nMPC，一种批处理 GPU 求解器。

架构： 它扩展了先前工作 ( $\pi$ MPC) 的并行于时程的 ADMM 结构，以处理时变动力学（这对具有变化接触序列的足式机器人至关重要）。
核心创新：
1. 速度形式 MPC (Velocity-Form MPC)： 求解器针对输入增量而非绝对输入进行优化，通过引入前一时刻输入将状态提升。
2. 变量拆分 (Variable Splitting)： 一种新型拆分方案通过引入辅助变量，将动力学与约束解耦。这使得 ADMM 更新可以在 GPU 上在整个预测时程内并行执行，而非顺序执行。
3. 无构造 (Construction-Free)： 求解器直接作用于时变状态矩阵 ( $A_k, B_k, e_k$ )，无需组装稀疏 QP，也不需要每次步骤都进行符号代码生成或编译。这显著降低了 VRAM 使用量，并消除了预编译延迟。
实现： 在 PyTorch 和 JAX 中实现，支持大规模批处理（高达 4096 个环境）和长时程（高达 $N=400$ ）。

C. 训练与部署

算法： 使用带有非对称 Actor-Critic 结构的近端策略优化 (PPO)。
观测值： Actor（部署在硬件上）仅接收本体感受和指令。Critic（仅在训练时使用）则拥有被赋予特权的 MPC 预测 CoM 和角动量参考值。
奖励： 总奖励结合了标准正则化项（关节限制、足部间隙）与 MPC 地标引导项（CoM、速度、角动量、足部位置和地面反作用力）。

3. 核心贡献

结构化 MPC 奖励公式： 一种利用预测置信度加权机制的新型奖励机制，用于从质心 MPC 轨迹中提取长时程运动与动力学引导，并通过关于时程长度和更新频率的消融实验进行了验证。
$\pi$ nMPC 求解器： 一种无构造、内存高效、批处理的 GPU MPC 求解器，实现了针对时变动力学的并行于时程执行，克服了现有基于 QP 求解器的可扩展性瓶能。
向运动操控的扩展： 首次展示了用于人形机器人运动操控的 MPC 引导 RL，并成功将其迁移至硬件，用于推动重型负载（高达 290 kg）。

4. 结果

A. 求解器可扩展性

性能： 与最先进的求解器（Consensus ADMM, qpth, qpax, CusADi）相比， $\pi$ nMPC 在 GPU 上的扩展表现优异。
效率： 不同于需要数小时符号编译且高 RAM 占用的 CusADi， $\pi$ nMPC 无需编译即可运行。在其他求解器因 VRAM 耗尽或变得极其缓慢的长时程（ $N=400$ ）及大批次场景下， $\pi$ nMPC 依然保持可行。
实现： JAX 版本在计算上更快，而 PyTorch 版本在 RL 训练期间提供更低的内存开销。

B. 人形机器人运动控制

速度追踪： MPC-RL 在平移速度追踪方面持续优于纯 RL (Pure RL)，包括在分布外（OOD）指令下的表现。
抗推稳定性： 该框架展示了卓越的鲁棒性，能够从高达 450 N 的推力中恢复（取决于配置），显著高于纯 RL 基准线（300 N）。
超参数： 时程 $N=10$ （约 0.7s，一个步态周期）配合 10 Hz 的更新频率，在性能与训练效率之间达到了最佳平衡。更长的时程并未带来单调的性能提升。
奖励设计： 所提出的“递减式”地标加权方案在追踪精度和抗推能力方面均优于“下一步”和“平均值”设计。

C. 运动操控

硬件验证： 策略在 Westwood Robotics 的 Themis V2 机器人上进行了部署。
能力： 机器人成功推动了一个载重为 290 kg (639 lbs) 的推车，这代表了其自身体重的 829%。
对比： 在仿真中，MPC 引导的策略在速度追踪和推动能力方面优于纯 RL，后者往往会停滞不前。结构化的 MPC 奖励为纯 RL 难以通过单纯探索发现的强力交互提供了必要的物理引导。

5. 意义与主张

本文声称，预测优化可以作为一种实用的训练工具，并为学习人形机器人行为提供物理结构来源，且具备竞争力的训练效率。

实用性： 该框架避免了在部署时需要实时运行 MPC，而是依赖于一个对扰动（如未知重量、推力）具有鲁棒性的学习策略。
效率： 通过引入 $\pi$ nMPC，作者证明了长时程 MPC 引导在现代 RL 训练的大规模并行环境下是计算可行的，从而消除了“耗时的题目构建”障碍。
泛化性： 运动操控任务的成功表明，MPC 引导不仅限于运动控制，对于需要复杂力交互和动力学一致性的任务也至关重要。

局限性与未来工作：
作者承认当前方法依赖于具有预设接触序列的降阶质心动力学。未来的工作旨在将该框架扩展到更丰富的接触模式（使用非线性 MPC），并研究基于神经网络增强的批处理求解器，以实现更高效的训练时引导。