🤖 machine learning

Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty

该论文提出了 PPO-PGDLC，这是一种鲁棒的强化学习算法，它结合了投影梯度下降与具有 Lipschitz 正则化的评论家网络，以有效缓解状态转移动力学的不确定性，并在模拟及真实世界的机器人任务中提升策略性能。

原作者： Xulin Chen, Ruipeng Liu, Zhenyu Gan, Garrett E. Katz

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Xulin Chen, Ruipeng Liu, Zhenyu Gan, Garrett E. Katz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只机器狗在公园里奔跑。你在一个完美的视频游戏模拟器中训练它：那里的草地永远是一样的，空气总是静止的，机器狗的腿也永远不会疲劳。但当你把真实的机器人送到户外时，风吹过来了，地面变得泥泞了，机器人的腿可能比你预想的要重一些。这就是“从模拟到现实”（sim-to-real）的差距：现实世界是混乱的，而机器人经常因为只学会在完美的舞台上跳舞而摔倒。

你正在阅读的论文 PPO-PGDLC 提出了一种新的训练方式，让这些机器人在面对混乱的世界时不会摔倒。以下是它的工作原理，我将使用一些有趣的类比来解释。

问题所在：机器人的“恐慌按钮”

在标准的机器人训练中，机器人通过猜测下一步该做什么来学习。如果地面突然变得湿滑（即“转移动力学”发生了变化），机器人可能会陷入恐慌，并剧烈地抽动腿部，从而导致摔倒。

以往的方法试图通过让机器人的“大脑”（策略/policy）变得更平滑，或者教它去预期最坏的情况来解决这个问题。但作者们发现了一个差距：他们意识到，虽然我们经常会让机器人的“动作”（action）变得平滑，但我们很少让机器人对世界变化的“预测”（prediction）变得平滑。

把机器人的大脑想象成有两个部分：

执行者 (The Actor)： 决定“我应该向左踢腿”的部分。
评论家 (The Critic)： 在耳边低语，“嘿，如果你在这里向左踢腿，你可能会摔倒，因为地面很滑”的部分。

作者们发现，如果评论家过于敏感，对环境的微小变化反应过度，那么执行者就会感到困惑，从而做出剧烈且危险的动作。

解决方案：“说话温和”的评论家

团队构建了一种新的训练方法，称为 PPO-PGDLC。它结合了两个聪明的技巧：

1. “最坏情况”模拟器 (PGD)
想象机器人在视频游戏中训练，但每当它尝试一个动作时，游戏引擎都会暗中试图刁难它。游戏引擎（使用一种称为投影梯度下降或 PGD 的技术）会寻找在一定范围内最湿滑的地面或最强劲的风，并强迫机器人尝试在这些环境下行走。

作用： 它迫使机器人学习即使在环境试图成为其“头号敌人”时，也能保持直立。
代价： 论文指出，这个“恶作剧”模拟器并不完美。如果机器人的大脑过于敏感，这个恶作剧模拟器可能会产生误导，给出错误的建议。

2. “说话温和”的评论家 (Lipschitz 正则化)
这是本论文的核心创新。他们在评论家的脑中加入了一条规则：“你必须保持平滑。”
在数学术语中，他们应用了 Lipschitz 正则化。用通俗的话说，这意味着他们强制要求评论家逐渐地改变其预测。如果地面变滑了 1%，评论家不应该大喊“危险！”并将建议改变 100%，而应该说：“好吧，也许要再小心 5%。”

结果： 通过保持评论家的冷静与平滑，执行者（移动腿部的部分）就能接收到稳定、可靠的建议。它不会因为风或泥泞的微小变化而惊慌失措。

实验结果显示了什么

作者在三个不同的挑战中测试了该方法：

Cartpole（倒立摆）： 一个经典的平衡小车顶杆的游戏。
Ant（蚂蚁机器人）： 一个模拟的四足机器人。
Unitree Go2： 一只真实的物理四足机器狗。

在模拟环境中 (Cartpole 和 Ant)：
他们创建了一个由 121 个不同环境组成的网格，通过改变机器人的重量和地面的湿滑程度来进行测试。他们测量了机器人在这些“最坏”场景下的表现（一个他们称为 $\rho$ -鲁棒性 的指标）。

发现： 新方法（PPO-PGDLC）成为了冠军。在 Ant 机器人上，它在所有 6 个测试的难度半径下都取得了最高的鲁棒性得分。在 Cartpole 上，它在 6 个场景中的 3 个中胜出。
数据： 与标准方法 (PPO) 相比，新方法在一种特定的困难场景下将鲁棒性得分提高了 65.55%，在另一种场景下提高了 59.93%。对于 Ant 机器人，在所有测试中的平均表现提升了 9.87%。
权衡： 论文指出，如果你把“恶作剧”模拟器变得太可怕（使用非常大的不确定性集，例如 $\epsilon = 0.007$ 或 $0.01$），机器人的表现反而会变差。然而，平滑的评论家解决了这个问题，使机器人既具备了鲁棒性，又没有丧失技能。

在真实机器人上 (Unitree Go2)：
这是最令人兴奋的部分。他们将训练好的机器人在真实硬件上运行，并在背部绑上了额外的重量（2kg 和 4kg）。他们没有在真实硬件上重新训练机器人，而是采用了“零样本”（zero-shot）迁移。

结果： 使用 PPO-PGDLC 训练的机器人比使用标准方法训练的机器人动作更加平滑。
指标： 他们测量了“动作平滑度”（动作有多剧烈）和“速度跟踪误差”（保持速度的能力）。
- 带有 2kg 负载时，新机器人的动作平滑得分为 4.306，而标准机器人为 4.501。
- 带有 4kg 负载时，新机器人为 4.498，标准机器人为 4.841。
- 在 6 项测试中的 5 项中，新机器人的“抖动”更小（较低的二阶波动比率）。
平滑度检查： 他们还测量了“Lipschitz 常数”（一个衡量大脑有多“跳跃”的数值）。新方法根据应用的平滑程度，将评论家的跳跃性降低了 57.7% 至 96.6%。

他们明确排除了什么

论文非常清楚地说明了哪些做法无效或不是研究重点：

不仅仅是关于执行者 (Actor)： 他们明确指出，以往的工作侧重于平滑执行者（移动者），但他们发现，平滑评论家（预测者）才是实现鲁棒性的关键。
它不是解决所有问题的万能药： 他们认为，仅仅扩大不确定性集（针对所有可能的灾难进行训练）实际上会损害性能。你必须找到合适的平衡点。
它不是关于“完美”的动力学： 他们并不声称解决了机器人能够精确了解世界本质的问题。相反，他们教的是机器人如何优雅地处理不确定性。

他们有多大的把握？

作者对自己的结果充满信心，但措辞也非常谨慎。

模拟实验： 在 Cartpole 和 Ant 上的结果是基于模拟的。它们展示了该方法在受控数字世界中有效的有力证据。
真实世界： 在 Unitree Go2 上的结果是基于真实硬件实验的。他们测量了机器人的实际运动和速度。他们指出，该机器人“实现了持续更平滑的动作”并“展示了更好的迁移稳定性”。
未来工作： 他们认为这只是向前迈出了一步，未来的工作可以探索更通用的方法来应对混乱的现实世界。他们并没有声称已经永久“解决”了 sim-to-real 问题，但他们展示了一条非常有前景的路径。

核心总结

把 PPO-PGDLC 理解为不仅在教机器狗如何奔跑，还在教它在世界变得怪异时，如何冷静地倾听自己内在的声音。通过强制要求其内部的“预测器”保持平滑与稳定，即使在面对未曾专门训练过的重载时，机器人在遭遇狂风或湿滑地面时也不会惊慌。它能保持冷静，动作平滑，并稳稳地站立。

技术摘要：Lipschitz 正则化评论家（Critic）提升策略对转移动力学不确定性的鲁棒性

问题陈述

强化学习（RL）策略在部署到实际硬件时，往往会因为“从仿真到现实”（sim-to-real）的差距而导致性能下降。这种差距源于系统辨识误差和理想化建模导致的仿真与实际转移动力学之间的不匹配。虽然领域随机化（Domain Randomization）试图通过在随机化的物理参数分布下进行训练来缓解这一问题，但它往往难以泛化到预定义分布之外的情况。

鲁棒强化学习（Robust RL）通过在不确定性集合内优化最差情况下的性能来解决这一问题。然而，现有方法面临两个主要局限性：

状态保守型马尔可夫决策过程（SC-MDP）的局限性： 诸如基于梯度的正则化器（GBR）等方法使用一阶泰勒展开来近似最差情况下的价值函数。当局部区域较大或价值网络梯度未受正则化时，这些近似可能并不可靠。此外，这些方法在复杂的现实世界机器人控制任务上缺乏全面的验证。
被忽视的评论家（Critic）正则化： 虽然 Lipschitz 正则化已知可以增强神经网络的平滑性，但其在鲁棒强化学习框架内对“评论家”网络的独立影响仍有待深入研究。目前尚不清楚仅靠 Lipschitz 正则化的评论家是否能增强策略对转移动力学不确定性的鲁棒性。

方法论：PPO-PGDLC

作者提出了 PPO-PGDLC，这是一个将投影梯度下降（PGD）与 Lipschitz 正则化评论家（LC）集成到近端策略优化（PPO）算法中的框架。该方法旨在解决**最差情况价值估计（WCVE）**问题。

1. 通过 PGD 进行最差情况价值估计

不同于依赖一阶近似（如 GBR）来估计不确定性集合内的最小价值，PPO-PGDLC 显式地搜索对抗性状态。

公式化： 该问题被定义为寻找一个在 $L_\infty$ 范数球 $B_{\epsilon, \infty}(s)$ 内的态 $\hat{s}$ ，使得状态价值函数 $V(\hat{s})$ 最小。
算法： 作者采用迭代 PGD 求解器（算法 1）来寻找该对抗性状态。在每一步中，状态沿着价值函数负梯度的方向进行更新，并被投影回约束集。这比简单的基于梯度的正则化器提供了更准确的鲁棒贝尔曼算子近似。

2. Lipschitz 正则化评论家

为了应对深度函数逼近器的不稳定性和非凸景观中梯度可能不准确的问题，作者对评论家网络实施了局部 Lipschitz 连续性约束。

机制： 在评论家的损失函数中添加了一个基于梯度范数的惩罚项： $L_{new} = L_{ori} + \lambda \cdot ||\nabla_s V(s)||$ 。
原理： 理论研究表明，如果奖励、策略和动力学是 Lipschitz 连续的，那么价值函数也是 Lipschitz 连续的。通过约束评论家的梯度，该方法强制实现了局部平滑，从而减少了近似的最差情况价值的“悲观性”，并稳定了策略更新。

3. 与 PPO 的集成

该框架修改了标准的 PPO 优势估计器。优势计算不再使用名义上的下一状态价值，而是利用通过 PGD 求解器找到的对抗性状态的价值 ( $h(s, \epsilon, V)$ )。

修改后的优势函数： $\hat{A}^h_t$ 是利用基于 PGD 求解的最差情况价值计算出的时序差分误差。
损失函数：
- 执行器（Actor）损失： 在标准的 PPO 裁剪代理目标中使用修改后的优势函数 $\hat{A}^h_t$ 。
- 评论家（Critic）损失： 结合了标准残差误差（拟合 $n$ 步回报）与局部 Lipschitz 正则化项。

核心贡献

新颖框架： 引入了 PPO-PGDLC，它将显式的最差情况状态搜索（通过 PGD）与评论家 Lipschitz 正则化相结合，弥合了理论鲁棒 MDP 与实际行动者-评论家学习之间的鸿沟。
对评论家正则化的研究： 本文明确调查并验证了“Lipschitz 正则化评论家能增强策略鲁棒性”这一假设，而这是此前 SC-MDP 文献中较少被探讨的因素。
现实世界验证： 不同于许多局限于仿真的鲁棒强化学习论文，本研究在真实的四足机器人（Unitree Go2）上验证了该方法，展示了无需微调即可实现从仿真到现实的迁移。

实验结果

经典控制基准测试（Cartpole 和 Ant）

鲁棒性指标： 作者引入了 $\rho$ -鲁棒性，用于衡量在针对物理参数（质量和摩擦力）的扰动网格上，特定“攻击半径” $\rho$ 内的平均最小奖励。
发现：
- 在大多数测试的半径和不确定性边界 ( $\epsilon$ ) 下，PPO-PGDLC 的 $\rho$ -鲁棒性值高于标准 PPO、PPO-GBR 以及消融后的 PPO-PGD（未带 LC 的 PGD）。
- 在 Ant 任务中，PPO-PGDLC 收敛到了更高的最终奖励，并在质量和摩擦力扰动下保持了卓越的性能。
- 结果表明存在一种权衡：过大的不确定性集合可能会损害性能，但 Lipschitz 正则化的评论家有助于减轻这种性能下降。

现实世界四足运动控制（Unitree Go2）

设置： 策略在仿真中训练，随后直接部署在增加了负载（2kg 和 4kg）的 Unitree Go2 机器人上，无需进行微调。
平滑性指标： 作者评估了动作平滑度（AS）、二阶波动率（SFR）和速度跟踪误差（VTE）。
- 与标准 PPO 相比，PPO-PGDLC 显著降低了评论家（LC）和执行器网络的局部 Lipschitz 常数（LLC）（降幅高达 96.6%）。
- 在部署过程中，与标准 PPO 相比，PPO-PGDLC 产生了更平滑的动作（较低的 AS 和 SFR），并且在不同负载下表现出相同或更优的速度跟踪能力。
任务特异性： 最优正则化权重 ( $\lambda$ ) 随步态而异（例如，bounding 步态为 $\lambda=10^{-3}$ ，trotting 步态为 $\lambda=5 \times 10^{-5}$ ），这表明理想的评论家平滑程度是依赖于任务的。

重要性与主张

本文声称 PPO-PGDLC 提供了一种原则性且计算可行的鲁棒强化学习公式。其主要意义在于证明了评论家平滑性是实现策略鲁棒性的一个关键且此前未被充分利用的因素。

通过将显式的对抗性状态搜索与评论家的梯度约束相结合，该方法生成的策略不仅对转移动力学的不确定性更具鲁棒性，而且在实际硬件上能产生更平滑、更稳定的动作。作者得出结论，我们的方法为如何通过评论家正则化来促进可靠的“从仿真到现实”迁移提供了新的见解，为处理环境扰动源于预定义分布之外的任务提供了一种可行的替代方案。