⚡ electrical engineering

Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion

本文提出了一种基于模型预测控制（MPC）的强化学习方法，通过参数化MPC成本函数来匹配高保真数据中的动作价值函数，从而在避免训练过程中重复求解MPC问题的同时，显著提升了人形机器人步行的性能与鲁棒性。

原作者： Wenqi Cai, Kyriakos G. Vamvoudakis, Sébastien Gros, Anthony Tzes

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenqi Cai, Kyriakos G. Vamvoudakis, Sébastien Gros, Anthony Tzes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让人形机器人（像人一样走路的机器人）走得更稳、更聪明的新方法。我们可以把它想象成教一个刚学走路的孩子，或者训练一个运动员的过程。

🏃‍♂️ 核心故事：从“死记硬背”到“直觉反应”

想象一下，你正在教一个机器人走路。

1. 以前的做法（传统 MPC）
机器人脑子里有一个“超级计算器”（模型预测控制，MPC）。每走一步，它都要停下来，用这个计算器在脑海里模拟未来几秒钟的所有可能情况，然后算出哪一步最完美。

优点：非常严谨，能保证不摔倒（有安全约束）。
缺点：
- 太慢：每次都要重新算，就像每走一步都要停下来做一道复杂的数学题，容易跟不上节奏。
- 太死板：这个计算器是基于“理想世界”设计的。如果地面有点滑，或者机器人关节有点生锈（模型不匹配），计算器算出来的完美步伐在现实中就会出错，导致机器人摔倒。
- 调参难：为了让它走得像人，工程师得像调收音机一样，手动微调几十上百个参数（比如“腿抬多高”、“脚落地多用力”），这非常耗时且依赖专家经验。

2. 这篇论文的新方法（成本匹配 MPC）
作者提出了一种“以结果为导向”的学习方法，叫成本匹配（Cost-Matching）。

🎯 核心比喻：教练与学生的“复盘”

想象机器人是一个学生，那个“超级计算器”是它的课本。

旧模式：学生每次做题前，都要把课本从头到尾读一遍，试图推导出完美答案。如果课本（模型）有错，或者题目（环境）变了，学生就懵了。
新模式（Cost-Matching）：
1. 实战演练：让机器人先在真实环境中（或者高保真模拟器里）走一段路，记录下它实际走了多远、花了多少力气、有没有摔跤。这叫做“实测回报”（Measured Return）。
2. 课本模拟：同时，让机器人用它的“课本”（参数化的 MPC）在脑海里模拟这段路，看看它以为自己走了多远、花了多少力气。这叫做“预测回报”。
3. 找差距（成本匹配）：现在，我们比较“实测”和“预测”。
  - 如果机器人实际走得很稳，但课本预测它会摔倒，说明课本的参数错了。
  - 如果机器人实际很费力，但课本预测很轻松，说明课本对“费力”的定义太乐观了。
4. 自动修正：系统会自动调整课本里的参数（比如告诉课本：“下次遇到这种地形，你要更重视平衡，而不是重视走得快”），直到课本的预测和实际的表现完全吻合。

💡 为什么这个方法很厉害？

1. 不用每次都“做数学题”（高效）
以前的强化学习（RL）方法，为了学习，需要让机器人反复尝试、反复计算最优解，就像让学生为了背公式，每天做一万道新题，累死且效率低。
这个方法不需要在训练过程中反复解那个复杂的数学题。它只是让机器人“走一遍”，然后对比“预测”和“现实”的差距，直接修改参数。就像老师只看学生的考试成绩（实际表现）和平时作业（预测表现）的差距来调整教学大纲，而不是让学生重新做一遍试卷。

2. 既聪明又安全（鲁棒性）
很多纯靠 AI 学习（强化学习）的机器人，虽然走得灵活，但一旦遇到没见过的情况（比如被人推了一下），可能会因为没学过而直接摔倒，因为它们没有“安全底线”。
这个方法保留了 MPC 的安全底线（硬约束），确保机器人不会做出违反物理定律的动作（比如脚穿进地里）。同时，通过“成本匹配”，它学会了如何在这个安全框架下，更聪明地应对意外。

3. 像老手一样“凭直觉”走路
经过训练后，机器人的“课本”参数被优化了。当它再次遇到侧风或地面不平（干扰）时，它不需要重新计算复杂的数学题，而是基于优化后的“直觉”（参数），迅速做出调整：

不再死板地追求每一步都完美：它学会了在受到干扰时，稍微牺牲一点“脚抬的高度”，优先保证“身体不摔倒”。
恢复更快：被推了一下后，它能更快地回到正常的走路节奏。

📊 实验结果：Unitree G1 机器人的表现

作者用真实的宇树 G1 人形机器人在模拟器里做了测试：

场景：给机器人施加突然的侧向推力（像被人推了一把）和旋转力矩。
结果：
- 传统调参版：被推后摇晃很久，甚至差点摔倒，恢复慢。
- 新方法版（CM-MPC）：被推后，身体晃动更小，恢复平衡的速度快了 31%，而且动作更平滑，不像以前那样像机器人一样僵硬。

🌟 总结

这篇论文就像给机器人装了一个“智能教练”。
这个教练不教机器人死记硬背复杂的物理公式，而是通过对比“想象”和“现实”的差距，自动调整机器人的“走路策略”。

以前：机器人是“书呆子”，算得准但反应慢，遇到意外就懵。
现在：机器人是“运动员”，既有严谨的安全底线，又有灵活的临场应变能力，走起路来更稳、更自然、更抗造。

这就好比一个老练的司机，不需要每次转弯都计算摩擦系数，但他知道在雨天（环境变化）时，应该自动调整刹车力度和方向盘角度，因为他已经通过无数次“实际驾驶”和“理论预期”的对比，学会了真正的驾驶直觉。

论文技术总结：基于成本匹配模型预测控制的人形机器人高效强化学习

1. 研究背景与问题定义 (Problem)

人形机器人（Humanoid Robotics）的步态控制面临巨大挑战，主要源于间歇性接触、高自由度以及严格的安全约束。

现有方法的局限性：
- 模型预测控制 (MPC)： 虽然 MPC 是主流方案，能系统性地处理约束，但为了实时性通常使用简化模型（如质心动力学）。这导致模型失配（Model Mismatch），使得性能高度依赖专家手动调节代价函数权重和终端惩罚，且难以应对未建模的动态效应（如接触实现、惯性耦合等）。
- 强化学习 (RL)： 虽然能从数据中学习鲁棒策略，但直接从零训练样本效率低、对奖励函数设计敏感，且难以直接满足硬安全约束。
- MPC-RL 混合框架的瓶颈： 现有的将 MPC 作为结构化价值函数近似器的方法（MPC-RL），在训练过程中通常需要在循环内反复求解 MPC 优化问题。对于计算资源紧张、接近实时极限的人形机器人控制栈而言，这种“循环内求解”（solve-in-the-loop）导致训练成本过高，难以实用。

核心问题： 如何在保留 MPC 约束处理能力和可解释性的同时，利用强化学习高效地优化 MPC 参数（如代价函数权重、模型增益），以解决模型失配问题，且避免训练过程中反复求解昂贵的 MPC 优化问题？

2. 方法论 (Methodology)

本文提出了一种成本匹配模型预测控制 (Cost-Matching MPC, CM-MPC) 框架。其核心思想是学习 MPC 的参数 $\theta$ ，使得基于参数化模型的预测“成本 - 到 - 去”（Cost-to-go）与从真实系统（或高保真仿真）轨迹中测量的长期回报（Return）相匹配。

2.1 系统架构

分层控制： 上层使用基于质心动力学（Centroidal Dynamics）的非线性 MPC 生成参考轨迹；下层使用固定的 PD 控制器跟踪关节力矩。
学习对象： 仅优化上层 MPC 的参数化模型和代价函数，下层跟踪器视为固定模块。

2.2 核心算法：成本匹配 (Cost-Matching)

该方法避免了在训练循环中求解 MPC 优化问题，转而通过**前向 rollout（模拟推演）**来计算梯度。

参数化 MPC 作为 Q 函数近似器：
- 定义参数化 MPC 问题，其中预测模型 $f_\theta$ 、阶段代价 $L_\theta$ 和终端代价 $T_\theta$ 均由参数 $\theta$ 控制。
- 定义 MPC 诱导的动作价值函数 $Q^{MPC}_\theta(s, a_{0:N-1})$ ：
  $Q^{MPC}_\theta = T_\theta(x_N) + \phi_f(r_N) + \sum_{i=0}^{N-1} (L_\theta(x_i, a_i) + \phi(r_i))$
  其中， $x_i$ 是通过参数化模型 $f_\theta$ 沿记录的动作序列 $a$ 进行前向推演得到的状态。 $\phi(r)$ 是用于处理约束违反的可微惩罚项（软约束）。
- 关键点： 计算 $Q^{MPC}_\theta$ 不需要求解优化问题 (5)，只需进行前向模拟，因此计算量随预测时域 $N$ 线性增长，且可微。
测量回报 (Measured Return)：
- 从真实系统（或高保真仿真）收集轨迹数据。
- 定义测量回报 $Q^{meas}$ 为沿实际执行轨迹的折扣累积代价。
优化目标：
- 最小化预测价值与测量回报之间的均方误差：
  $\min_\theta \mathcal{L}(\theta) = \mathbb{E}_D [(Q^{MPC}_\theta - Q^{meas})^2]$
- 通过梯度下降更新参数 $\theta$ 。由于 $Q^{MPC}_\theta$ 是通过前向 rollout 计算的，梯度可以通过链式法则直接反向传播，无需对 MPC 求解器求导。
部署阶段：
- 训练完成后，使用学习到的最优参数 $\theta^*$ 构建标准的约束 MPC 控制器。
- 在在线部署时，MPC 求解器作为硬约束求解，确保安全性；而在训练阶段，约束通过软惩罚处理，允许模型在数据驱动下探索。

2.3 具体实现细节 (针对人形机器人)

动力学模型： 基于 OCS2 的完整质心动力学，包含线动量和角动量方程。
参数化策略：
- 模型参数： 引入可学习的增益 $\theta_{hl}, \theta_{ha}$ 来修正动量传播中的系统性误差（如接触力实现不完美）。
- 代价函数参数： 对角缩放矩阵参数化（ $Q, R, Q_f$ 等），学习各状态和控制项的权重。
训练流程： 策略内（On-policy）训练。利用当前参数 $\theta_j$ 的控制器收集数据，计算 $Q^{meas}$ 和 $Q^{MPC}_{\theta_j}$ ，更新参数。

3. 主要贡献 (Key Contributions)

提出成本匹配学习框架： 扩展了之前的 MPC-RL 框架，通过消除训练循环中的重复 MPC 求解，显著降低了计算负担。该方法具有通用性，适用于任何可表述为最优控制问题 (OCP) 的系统。
基于质心动力学的受限 OCP 实现与验证： 在人形机器人步态控制中具体实现了该框架，利用高保真仿真验证了学习过程的有效性。
开源实现： 提供了开源代码库，促进了社区复现与进一步研究。
理论保证： 证明了在标准平滑性和有界方差假设下，成本匹配更新收敛到一阶平稳点。

4. 实验结果 (Results)

在 Unitree G1 人形机器人的高保真仿真中，将训练后的 CM-MPC 与手动调节参数的基准 MPC 进行了对比：

价值匹配诊断：
- 训练过程中， $Q^{MPC}_\theta$ 与 $Q^{meas}$ 之间的均方误差 (MSE) 迅速下降并收敛。
- 学习到的参数显著改变了代价函数结构：终端代价权重增加（作为长时程尾成本的隐式近似），力矩正则化权重增加（抑制脉冲控制），摆动脚跟踪权重略微降低（允许更灵活的全身平衡）。
抗干扰鲁棒性：
- 在施加侧向力和偏航力矩脉冲的干扰测试中，CM-MPC 表现出更快的恢复速度。
- 关键指标提升：
  - 干扰后峰值误差 (Post-Push Peak) 降低 4.80%。
  - 积分绝对误差 (IAE) 降低 6.82%。
  - 稳定时间 (Settling Time) 缩短 31.25%。
  - 控制 effort (99% 分位) 降低 5.26%，控制抖动 (Jitter) 减少，动作更平滑。
权衡分析： 虽然线性动量跟踪误差略有增加（-0.99%），但这是为了在约束下优先保证全身稳定性和抗干扰能力的有意权衡。

5. 意义与影响 (Significance)

计算效率的革命： 解决了 MPC-RL 中“训练太慢”的痛点。通过用低成本的前向 rollout 替代昂贵的在线优化求解，使得在复杂的人形机器人控制栈上应用数据驱动的 MPC 参数优化成为可能。
弥合模型与现实的鸿沟： 该方法不依赖完美的动力学模型，而是通过数据驱动自动修正模型增益和代价权重，有效补偿了简化模型（质心动力学）与高保真执行之间的失配。
安全与性能的平衡： 保持了 MPC 在部署时的硬约束保证（安全性），同时利用 RL 优化了长期性能（鲁棒性）。
长时程行为塑造： 通过匹配长时程回报，有效缓解了有限时域 MPC 固有的“短视”问题，学习到的终端代价和阶段代价能更好地指导机器人应对复杂动态环境。

总结： 该论文提出了一种高效、实用的 MPC 参数学习方法，成功将强化学习的适应性引入到人形机器人 MPC 控制中，显著提升了在模型失配和外部干扰下的步态鲁棒性，为未来人形机器人的自主控制提供了重要的技术路径。