🤖 AI

ARMS: Automatic Reward Shaping for Sparse-Reward Multi-Agent Reinforcement Learning

该论文提出了 ARMS，一种用于多智能体强化学习的自监督框架，它通过轨迹排序从稀疏奖励中自动生成稠密奖励信号，同时基于条件最优响应推理在理论上保证纳什均衡的保留，从而提高了稀疏奖励环境下的采样效率与稳定性。

原作者： Elie Abboud, Oren Gal

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Elie Abboud, Oren Gal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一群狗进行接力赛跑。在一个完美的世界里，每当一只狗朝正确的方向迈出一步，你就会给它一个奖励。但在现实世界（以及人工智能的复杂世界中），你往往无法为每一步都提供奖励。相反，你只在狗最终冲过终点线时才给予奖励。

这就是稀疏奖励（Sparse Rewards）问题。如果狗必须跑很长一段距离，并且只在最后得到奖励，它就完全不知道哪些步骤是好的，哪些是坏的。这就像学习一门新语言，却只在完成一个句子的一年后，才被告知“正确！”或“错误！”。

在多智能体强化学习（MARL）的世界里，这种情况甚至更加困难。想象一下，不是只有一只狗，而是一整群狗。它们必须同时学习，并且彼此协调。如果一只狗改变了策略，它就会改变所有其他狗所处的环境。这就创造了一个混乱且不断变化的局面，使得学习变得极其困难。

问题：“沉默”的教练

这篇论文指出，当许多智能体（就像我们的狗）在稀疏奖励下共同学习时，它们往往会陷入停滞。由于缺乏持续的反馈，它们无法弄清楚该做什么，可能会开始原地打转、互相碰撞，或者干脆静止不动。

传统方法试图通过让人类专家设计一张“作弊表”（称为奖励塑形，Reward Shaping）来解决这个问题，从而为智能体提供沿途的小提示。但这存在风险。如果人类给出了错误的提示，智能体可能会学会“利用系统”——它们可能会找到一条能获得大量积分但实际上并未解决问题的捷径（就像一只狗为了得到奖励而原地打转，而不是去跑比赛）。

解决方案：ARMS（自我学习的教练）

作者提出了一种名为ARMS（多智能体系统中的自动奖励塑形）的新系统。ARMS 不像人类那样设计提示，而是像一个聪明的教练一样，自动学习如何给出提示。

以下是它的工作原理，使用一个简单的类比：

观察：教练观察狗们多次进行赛跑。尽管狗们只在终点线得到奖励，但教练可以看到整个比赛过程。
排名：教练观察两次不同的赛跑尝试。“看，”教练说，“在赛跑 A 中，狗们跑得更快且没有发生碰撞。在赛跑 B 中，它们发生了碰撞且耗时更长。因此，赛跑 A 优于赛跑 B。”
教训：教练不仅仅说“干得好”或“干得不好”。它利用这些排名来发明一套新的奖励系统。它创建一个密集的信号（持续的小提示流），告诉狗们：“这一步是好的，因为它看起来像获胜赛跑中的步骤”，或者“这一步是坏的，因为它看起来像失败赛跑中的步骤”。
安全网：ARMS 最重要的一点是，它在数学上被证明是安全的。作者表明，尽管教练在发明新规则来提供提示，但它从未改变游戏的最终目标。它保证了“获胜策略”（在论文中称为纳什均衡）保持不变。智能体可能会学得更快，但它们不会学错东西。

“振荡”陷阱

这篇论文发现了一个有趣且危险的故障，当智能体过多而探索不足时就会发生。

想象一下，狗们如此困惑，以至于它们都开始做完全相同的愚蠢舞蹈。它们互相碰撞，停下，再次跳舞，然后再次碰撞。因为它们都在做同样的事情，“教练”（奖励系统）会一遍又一遍地看到这种模式，并认为：“哦，这是移动的最佳方式！”它强化了这种不良行为，导致狗们陷入碰撞和跳舞的无限循环中。

论文发现，如果你让智能体更加好奇（增加“探索”），它们就会尝试随机、奇怪的移动。这会打破循环，让教练看到这种“舞蹈”实际上是个坏主意，并开始教导它们正确的赛跑方式。

结果

作者在虚拟世界中测试了该系统，智能体（像小机器人一样）必须在网格中导航，避开障碍物，并在不互相碰撞的情况下到达目标。

更快的学习：当奖励非常稀疏（难以学习）时，ARMS 帮助智能体比没有辅助或使用旧的手动设计提示时学习得快得多。
更好的团队合作：智能体学会了更好地协调，减少了互相碰撞的频率。
泛化能力：使用 ARMS 训练的智能体在导航从未见过的新地图时表现更好，证明它们真正学会了“跑比赛”的概念，而不仅仅是死记硬背某一条特定的赛道。

总结

简而言之，ARMS 是一个系统，它让一组人工智能智能体在缺乏反馈的情况下，学会如何协同工作。它通过观察它们过去的尝试，将好的尝试与坏的尝试进行排名，并自动生成一张有用的“作弊表”来引导它们。至关重要的是，它这样做时不会破坏游戏规则，确保它们学到的是正确的解决方案，而不仅仅是一个巧妙的把戏。

技术摘要：ARMS——面向稀疏奖励多智能体强化学习的自动奖励塑形

1. 问题陈述

多智能体强化学习（MARL）在处理稀疏奖励时面临关键瓶颈。在稀疏环境中，智能体接收反馈的频率较低，这显著减缓了学习速度。由于非平稳性和协同适应，相较于单智能体强化学习（SARL），MARL 中的这一问题更为严峻：随着智能体同时更新其策略，从任何单个智能体的视角来看，环境都显得是非平稳的。

虽然奖励塑形（用稠密信号增强或替代稀疏信号）是一种常见解决方案，但在 MARL 中其风险尤为突出。在 SARL 中，不当的塑形可能改变最优策略集。而在 MARL 中，风险更为严重：塑形可能改变纳什均衡集，从根本上改变博弈的战略结构，导致次优或非预期的集体行为。现有的自动奖励塑形方法，如自监督在线奖励塑形（SORS），依赖于全局轨迹排序保证，但由于缺乏全局最优性概念以及智能体策略间的相互依赖性，这些保证无法直接迁移至 MARL。

2. 方法论：ARMS 框架

作者提出了ARMS（多智能体系统中的自动奖励塑形），这是一个自监督框架，旨在从稀疏的环境奖励中学习稠密的塑形信号，同时保持博弈论均衡结构。

理论基础：条件最佳响应不变性

核心理论贡献是对多智能体环境下的策略不变性进行了重构。

单智能体局限性：标准的轨迹排序保证（例如来自 SORS）假设，如果两个奖励函数在所有轨迹对上的总排序相同，则它们会产生相同的最优策略。这依赖于 MARL 中不存在的全局最优性概念。
ARMS 表述：作者证明，如果所有其他智能体的策略固定，单个智能体面临的是一个诱导出的单智能体环境。在这种条件最佳响应视角下，如果塑形奖励函数在该诱导环境的轨迹上与原奖励函数总序等价，则它保留了该智能体的最佳响应集。
均衡保持：由此推论，如果该条件对所有智能体均成立，则纳什均衡集保持不变。这为在 MARL 中使用轨迹排序而不改变底层战略解提供了博弈论依据。

算法实现

ARMS 在两个阶段之间交替运行（算法 1）：

强化学习阶段：智能体使用当前的塑形奖励（ $R_{\theta}$ ）和基础 MARL 算法（如 IPPO 或 MAPPO）与环境交互。它们收集联合轨迹并存储在缓冲区中。
奖励塑形阶段：系统从缓冲区中采样轨迹片段对。对于每个智能体，一个参数化的奖励网络（ $F_\theta$ $F_{θ}$ ）被更新以最小化二元分类损失。该损失强制塑形奖励对轨迹对的偏好排序与原稀疏环境奖励诱导的偏好排序相匹配。
- 共享参数：为了提高效率和可扩展性，所有智能体共享相同的奖励塑形参数（ $\theta$ ）。该网络在智能体层面的轨迹排序上进行训练，聚合所有智能体的信号。
- 输入：奖励网络以局部观测和动作为输入，模拟去中心化的信息流。

3. 主要贡献

该论文概述了三项主要贡献：

多智能体策略不变性表述：作者确立了总序等价的塑形奖励在对手策略固定的情况下保留每个智能体的最佳响应集，从而保留纳什均衡集。这解决了阻碍将单智能体轨迹排序方法直接应用于 MARL 的理论空白。
ARMS 框架：一种实用的、自监督的在线奖励学习方法，利用轨迹排序同时考虑多智能体非平稳性。它学习一种与底层强化学习骨干无关的共享塑形信号。
MARL 动态的实证分析：该研究识别了一种特定的 MARL 失效模式，即有限的探索与策略 - 奖励动态相结合会引发振荡行为并导致收敛至次优的循环模式。作者证明，增加探索可以缓解这种效应。

4. 实验结果

实验在部分可观测多智能体路径搜索领域（终身路径搜索）中使用 POGEMA 环境进行。作者使用 IPPO 和 MAPPO 骨干，将 ARMS 与无塑形基线及基于势能的奖励塑形（PBRS）进行了评估。

采样效率：ARMS 在累积原始奖励方面显著优于基线，特别是在智能体数量增加（8、16、32）以及奖励变得更加稀疏（延迟为 10、20、30 个时间步）时。
泛化能力：使用 ARMS 训练的策略有效地泛化到 50 个未见过的地图（包括随机和迷宫类环境），积累了更高的奖励，并表现出比基线更好的协调性。
协调与碰撞：与 PBRS 和无塑形相比，ARMS 导致的归一化碰撞数量大幅减少，表明学习到的信号促进了协调行为，而不仅仅是奖励最大化。
探索敏感性：一个关键发现是，如果探索过低（例如探索系数 $\alpha = 0.023$ ），ARMS 可能无法收敛到最优策略，导致智能体通过振荡行为“利用”奖励。增加探索系数（例如 $\alpha = 0.35$ ）稳定了学习并恢复了高吞吐量。

5. 意义与主张

该论文声称，ARMS 是首个明确由博弈论均衡保持结果驱动设计的 MARL 自动奖励塑形框架。

与可能改变多智能体问题战略结构的先前方法不同，ARMS 在特定条件下提供了纳什均衡集保持的理论保证。作者强调，虽然轨迹排序在 SARL 中有效，但在 MARL 中需要根本不同的表述来处理非平稳性和缺乏全局最优性的问题。该框架证明，可以学习自动的稠密奖励信号以加速稀疏环境中的 MARL，而不会损害博弈解空间的完整性，前提是维持足够的探索以防止次优反馈循环。