🤖 machine learning

Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

本文提出了通过进化奖励塑造实现泛化（GERS），这是一种双层优化框架，它通过使用 CMA-ES 根据仅有的标量验证反馈来优化奖励塑造参数，从而在受限场景下增强强化学习的泛化能力，进而通过无需获取验证环境轨迹访问权限的方式，超越标准基准线并达到领域随机化的性能水平。

原作者： Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人走路。通常情况下，你在一个完美的、受控的健身房里教它：地板总是平整的，空气是静止的，机器人的腿部重量也恰到好处。机器人在这种健身房里学会了完美的行走。

但随后，你把机器人送到了现实世界。突然间，地板变得湿滑，风在吹，机器人的腿感觉变重了。因为机器人只学过“完美健身房”版本的行走方式，它立刻就摔倒了。它对健身房产生了过拟合（overfitted），并且未能实现向现实世界的泛化（generalize）。

这篇论文介绍了一种名为 GERS（通过进化奖励塑造实现泛化）的新方法来解决这个问题，特别是在一种棘手的场景下：你无法看到机器人在现实世界中是如何失败的，你只能看到它失败了这一事实。

以下是使用简单类比进行的详细拆解：

1. 问题所在：“黑盒”验证器

在许多现实场景中（例如，在客户的私有网络上测试安全 AI），你拥有两种类型的环境：

训练健身房（The Training Gym）： 你对这里拥有完全的访问权限。你可以看到机器人的每一步动作、每一个错误以及生成的每一条日志。
验证黑盒（The Validation Black Box）： 你拥有其他一些环境（例如真实的客户网络），但出于隐私或安全原因，你无法看到机器人的具体步骤。你只能在最后看到一个数字：“它成功了吗？这是得分。”

标准的 AI 训练方法通常需要看到机器人在验证环境中的步骤（即“轨迹”）才能学习如何改进。由于你在黑盒中看不到步骤，标准方法会陷入停滞。它们无法从黑盒中学习，因此会不断对训练健身房产生过拟合。

2. 解决方案：“调节旋钮”（奖励塑造）

作者提出了一个聪明的变通方法。他们不再尝试直接利用黑盒分数来教机器人，而是决定调整游戏规则。

把机器人的“奖励函数（Reward Function）”想象成一个正在打分的老师：

标准老师： “如果你向前迈出腿，你得 1 分。”
问题在于： 机器人学会了一种奇怪、抽搐的迈腿方式，这种方式能在健身房里拿到 1 分，但在现实世界中会失败。
GERS 老师： 系统会在评分系统中加入一个“调节旋钮”（在数学上是一个向量 $\nu$ ）。它稍微改变了规则：“如果你平稳地向前迈步，你得 1.5 分；如果你抽搐，你得 0 分。”

目标是找到这个调节旋钮的完美设置，使得机器人学到的行走风格不仅适用于健身房，也适用于黑盒环境。

3. 双层博弈（双层优化）

论文使用了一个“两层游戏”来寻找完美的调节旋钮：

第一层（学生）： 机器人（使用一种称为 PPO 的算法）尝试使用当前的调节旋钮设置，在训练健身房中学习如何行走。它学习的是一种策略（一组行走规则）。
第二层（教练）： 另一个算法（称为 CMA-ES，类似于进化生物学家）观察这个调节旋钮。它会问：“如果我们稍微改变这个旋钮，机器人在黑盒中的得分会更高吗？”
- 教练并不关心机器人在黑盒中的具体步骤。它只关心最终的得分。
- 如果机器人在黑盒中获得了更高的分数，教练就会保留当前的调节旋钮设置。如果分数下降，教练就会再次改变旋钮。

教练会重复这个过程数千次，不断进化这个“调节旋钮”，直到找到一个版本，能够迫使机器人学习一种足够鲁棒（robust）的行走风格，使其即使从未真正见过黑盒环境，也能在黑盒中生存下来。

4. 结果：战胜挑战

作者在四个不同的机器人任务上测试了该方法（如平衡杆、跳跃、跑步和四足行走）。

基准线（标准 AI）： 仅在健身房中训练。它成为了健身房里的冠军，但一旦物理特性发生变化（例如腿部变重或地面变滑），它就会立即崩溃。
“领域随机化（Domain Randomization, DR）”方法： 这是目前的行业标准。它同时在许多个不同的健身房中训练机器人（模拟所有可能的现实情况）。它效果非常好，但是，它需要你能访问所有这些不同的健身房并看到机器人的所有步骤。
GERS（新方法）： 它只拥有一个训练健身房和黑盒得分的访问权。
- 结果： GERS 的表现几乎与“领域随机化”方法不相上下，尽管它拥有的信息要少得多。它仅通过“塑造”单个健身房中的奖励，就成功实现了向未见过的复杂环境的泛化。

总结类比

想象你正在训练一位厨师烹饪一道菜。

标准训练： 你只允许他们在你自己的厨房里用你的炉灶烹饪。他们学会了完美地使用你的炉灶。当他们去另一家餐厅使用不同的炉灶时，食物就会烧焦。
领域随机化： 你让他们在 100 个不同厨房里的 100 个不同炉灶上烹饪。他们学会了适应任何环境。（但这需要你能进入 100 个厨房）。
GERS： 你只允许他们在你的厨房里烹饪。然而，你有一个在另一家秘密餐厅里的“秘密品鉴员”。你看不见他们在秘密餐厅里是如何烹饪的，但你会得到一个分数：“美味”或“难吃”。
- GERS 就像一个聪明的副厨，他会根据“秘密品鉴员”给出的分数来调整食谱指令（奖励塑造）。
- 最终，食谱指令发生了足够的改变，使得厨师学会了即便在任何厨房里，也能做出美味佳肴，尽管他练习时始终只在你的厨房里。

论文证明了，你不一定需要看到机器人在现实世界中失败的每一个步骤；你只需要一种聪明的方法，根据最终结果来调整训练规则。

技术摘要：用于强化学习泛化能力的进化双层奖励塑造

问题定义
本文解决了深度强化学习（RL）中的泛化差距问题，即在有限的环境中训练的策略在具有不同动力学特性（例如变化的转移概率）的未见测试环境中表现不佳。作者关注一个在隐私保护或受限场景中常见的特定约束场景：

训练环境 ( $M_{train}$ )： 一组固定且较小的环境，可以观测到完整的状态-动作轨迹。
验证环境 ( $M_{val}$ )： 一组较大的环境，其中仅可获得标量性能指标（累积无折扣奖励）。完整的轨迹是不可访问的，这阻碍了策略梯度计算或依赖多样化轨迹数据的标准领域随机化（DR）技术。
目标： 利用来自验证环境的有限标量反馈来指导训练环境上的学习，从而最大化在未见测试环境上的泛化性能 ( $J_{gen}$ )。

方法论：通过进化奖励塑造实现泛化 (GERS)
作者提出了 GERS，这是一个双层优化框架，旨在自动塑造奖励函数，以在无法获取验证轨迹的情况下提高泛化能力。

双层公式化：
- 底层（策略优化）： 一个 RL 智能体（使用近端策略优化，PPO）在训练环境 ( $M_{train}$ ) 上使用经过塑造的奖励函数 $\hat{r}_\nu$ 学习策略 $\pi_\theta$ 。其目标是最大化训练数据上的折扣回报： $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$ 。
- 高层（奖励塑造优化）： 一种进化策略（协方差矩阵自适应进化策略，CMA-ES）优化奖励塑造参数 $\nu$ 。其目标是最大化底层策略在验证环境上获得的累积未塑造奖励： $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$ 。
- 塑造后的奖励定义为线性形式： $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$ ，其中 $\phi(s, a)$ 拼接了状态和动作向量。
算法实现：
- 预训练： 首先在原始奖励函数上对 PPO 智能体进行预训练，以提供鲁棒的初始化。
- 进化搜索： CMA-ES 采样候选奖励参数 $\nu$ 。对于每个候选参数，PPO 智能体在带有塑造奖励的训练环境上进行微调（使用预训练策略作为起点）。
- 评估： 将生成的策略在验证环境上进行评估，以获得标量分数。这些分数引导 CMA-ES 的更新。
- 效率： 为了降低计算成本，该方法采用了参数共享（继承预训练模型的 Actor 和 Critic 网络），并利用 CMA-ES 候选样本的并行评估。

核心贡献

新颖的设定： 本文形式化并解决了在验证环境为“黑盒”（仅提供标量回报）的情况下实现 RL 泛化的挑战，这一约束在标准的领域随机化 (DR) 或程序化内容生成 (PCG) 方法中常被忽略。
双层框架： 它引入了一种双层优化方法，将策略学习（底层）与奖励函数设计（高层）解耦，利用进化策略来弥合训练性能与验证性能之间的差距。
数据效率： 该方法证明了即使在无法访问验证环境轨迹的情况下，仅依靠标量反馈即可引导奖励塑造，从而实现高水平的泛化。

实验结果
作者在四个 MuJoCo 连续控制任务（倒立摆、Hopper、HalfCheetah、Ant）上评估了 GERS，这些任务具有变化的物理参数（如质量、摩擦力、重力）。

基线对比： 在单一环境下训练的标准 PPO 表现出显著的过拟合，虽然在训练奖励上很高，但在未见的测试环境上表现很差。
GERS 表现： GERS 在所有任务中都显著优于标准 PPO 基线，在某些情况下（如 InvertedPendulum）实现了与训练性能相当的泛化性能。
与领域随机化 (DR) 的比较：
- GERS 与使用了相同训练集环境的 DR 基线进行了比较（DR 拥有全轨迹访问权限）。
- 虽然 DR 在复杂任务（HalfCheetah, Ant）上表现最好，但 GERS 在简单任务（InvertedPendulum, Hopper）上优于 DR。
- 至关重要的是，尽管 GERS 在信息约束方面要严格得多（无法访问验证环境中的轨迹），它仍实现了与 DR 相当的鲁棒性。
分布外 (OOD) 分析： 热图评估显示，当单个物理参数被推向极端的 OOD 区域时，GERS 仍保持了强大的鲁棒性；但当多个参数同时处于极端值时，性能会有所下降。

意义与主张
本文声称 GERS 在受限数据访问约束下有效增强了 RL 的泛化能力。其主要意义在于证明了通过进化策略在标量验证反馈上优化的奖励塑造，可以作为当轨迹数据不可用时领域随机化的可行替代方案。作者认为，这种方法特别适用于自动化红队测试或隐私敏感型部署等现实世界应用，在这些场景中，开发者可以观察性能结果，但无法访问目标系统的内部状态转移。

承认的局限性
作者谦逊地指出了以下局限性：

评估仅限于密集奖励的连续控制任务；其在稀疏奖励问题上的适用性尚未得到验证。
高昂的计算成本限制了独立试验的数量，从而影响了统计效力。
性能提升是奖励塑造与从许多随机运行中选择最佳策略的结合产物，需要消融实验来隔离奖励塑造的具体贡献。
高层 CMA-ES 在所有实验中并未完全收敛，这表明未来研究需要引入噪声感知变体。