🤖 machine learning

Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

本文通过在稀疏奖励多智能体强化学习中的零样本协调挑战提出一种带有随机奖励塑形机制的集成训练方法，该方法在 Overcooked 环境中显著提升了智能体与采用不同奖励塑形策略的伙伴之间的协作能力。

原作者： Keenan Powell, Peihong Yu, Pratap Tokekar

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Keenan Powell, Peihong Yu, Pratap Tokekar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一群机器人在一个繁忙的厨房里共同烹饪。目标很简单：在时间耗尽之前尽可能多地制作汤品。然而，这里有个陷阱。你并不是在训练它们与某个你熟悉的特定伙伴合作；你是在训练它们与任何未来可能遇到的机器人合作，即使那个机器人是由不同的公司、在不同的计算机上、或遵循一套略有不同的规则训练出来的。

这就是**零样本协调（Zero-Shot Coordination, ZSC）**问题。这就像试图与一个陌生人共舞，却从未一起练习过。如果你们都学会了完全相同的舞步，你们就会完美配合。但如果你的伙伴学会了略有不同的舞蹈版本，你们可能会踩到彼此的脚。

问题：“目标相同，动机不同”

过去，研究人员试图通过给所有机器人完全相同的“记分卡”（奖励函数）来解决这个问题。如果一个机器人把洋葱放进锅里，它就获得一分；如果它拿起一个盘子，它也获得一分。

但在现实世界中，机器人（或自动驾驶汽车、无人机）可能共享同一个大目标（到达目的地或煮好汤），但它们对步骤的重视程度可能不同。

机器人 A 可能认为：“速度就是一切！我会因为快速移动而得分。”
机器人 B 可能认为：“安全就是一切！我会因为谨慎行事而得分。”

如果你只训练你的机器人与其他“速度型”机器人合作，那么当它与“安全型”机器人配对时，它将彻底失败。该论文指出，现有方法并未考虑到这一点。它们假设每个人内部都拥有相同的“记分卡”。

解决方案：“多样化训练营”

作者提出了一种训练这些机器人的新方法。他们不是用相同的记分卡训练所有机器人，而是创建一个多样化的训练营。

他们使用四种不同的方法来创建各种各样的“记分卡”（称为奖励塑形），供机器人学习：

“基于大语言模型（LLM）”的教练：他们要求一个超级智能的人工智能（大语言模型）查看成功与失败的示例，然后编写一份全新的规则列表，以创造出混合不同类型的机器人。
“代理网络”教练：他们训练一个小型、简单的人工智能来预测哪些规则能带来最佳的烹饪结果。然后，它从庞大的可能性列表中挑选出表现最佳的规则。
“分层网格”教练：这就像一位一丝不苟的组织者。他们取遍所有可能的规则（例如“对速度的重视程度”或“对安全的重视程度”），将范围划分为相等的切片。他们从每个切片中挑选一条规则，以确保覆盖整个可能性谱系，不遗漏任何内容。
“随机”教练：他们完全随机地挑选规则。（这相当于对照组，就像掷骰子一样）。

集成：“全明星团队”

一旦他们利用这些不同的规则手册训练了许多不同的机器人，他们并不会只挑选其中一个投入使用。相反，他们构建了一个集成（Ensemble）。

把这想象成一个超级团队。当机器人进入厨房与陌生人合作时，它不仅仅表现为“机器人 A"或“机器人 B"。它作为一个委员会行动。它会询问所有不同版本的自己（那些基于不同规则训练出来的版本）会怎么做，然后采纳最普遍的答案。

这使得机器人具有极强的适应性。它见识过思考该问题的所有可能方式，因此无论那个陌生人如何思考，它都能弄清楚如何与其合作。

结果：烹饪出成功

研究人员在Overcooked游戏（一款关于合作烹饪的热门电子游戏）中测试了这种方法。他们将他们的“全明星团队”与基于完全未知规则训练的机器人进行对抗。

结果：他们的方法取得了巨大成功。与旧方法相比，他们的机器人性能提升了62% 到 119%。
获胜者：“分层网格”（那位一丝不苟的组织者）和“代理网络”（那位预测者）是最好的教练。它们创建了最能有效应对陌生人的团队。
意外发现：即使是“随机”教练（仅通过掷骰子挑选规则）的表现也优于旧的标准方法，这证明了只要拥有一些多样性，就比完全没有多样性要好。

核心启示

该论文表明，要教会机器人与陌生人合作，你不应该只教它们一种思维方式。你应该在训练期间通过赋予它们不同的“记分卡”，教会它们多种思维方式。然后，通过将所有这些不同的视角融合成一个智能团队，它们就能适应遇到的任何伙伴，即使那个伙伴遵循的是一套完全不同的规则。

简而言之：如果你想成为任何人的好舞伴，不要只学一种舞蹈。要学习一点点各种各样的舞蹈，然后当你踏上舞池时，让你内心的委员会决定最佳的舞步。

以下是论文《基于多样化奖励塑造的稀疏奖励任务零样本协调》的详细技术总结。

1. 问题定义

本文解决了**多智能体强化学习（MARL）中一个关键的限制，即零样本协调（ZSC）**问题。

核心问题：通过自博弈（Self-Play）训练的传统 MARL 智能体，往往会形成特定的惯例或策略，当它们与在相同目标下训练但具有不同随机种子、算法或训练历史的智能体配对时，这些策略往往会失效。
差距：现有的 ZSC 解决方案（如 Other-Play、TrajeDi、MAZE）假设所有智能体共享完全相同的奖励函数。然而，在现实世界场景中（例如来自不同制造商的自动驾驶汽车），智能体可能共享一个稀疏目标（例如“到达目的地”），但利用不同的奖励塑造（为环境特征分配不同的权重以稠化稀疏奖励）。
挑战：如何在不对特定合作伙伴进行额外训练的情况下，训练一个智能体与拥有相同稀疏目标但内部奖励结构不同的未知合作伙伴有效协作。

2. 方法论

作者提出了一种框架，利用多样化的奖励塑造训练智能体集成（ensemble），以提高泛化能力。

A. 奖励塑造公式

作者将奖励塑造定义为添加到基础稀疏奖励上的环境特征的加权组合：
$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$
其中 $w_k$ 是为特定特征 $f_k$ （例如到锅的距离、拿起盘子）选择的权重。

B. 四种选择算法

为了生成多样化的奖励塑造群体（ $P$ ），本文介绍了四种选择方法：

基于大语言模型（LLM）的方法：使用大语言模型（Claude Sonnet 4.5），提示其输入奖励塑造示例及其性能，以生成新的、多样化的权重集合，从而平衡性能与策略多样性。
代理网络（Surrogate Network）：训练一个多层感知机（MLP），根据给定的奖励塑造预测总稀疏奖励。随后采样 1,000 种随机塑造，并基于代理网络的预测选择表现最好的那些。
分层网格（Stratified Grid）：使用拉丁超立方采样，确保所选权重均匀覆盖整个可能范围（0–10）。这保证了奖励空间的统计代表性。
随机（Random）：无约束地从可能范围内均匀采样权重。

C. 集成训练框架

基于TrajeDi（轨迹多样性）算法构建：

群体生成：对于每个选定的奖励塑造，使用 TrajeDi 训练一个智能体群体，其中包括一个 Jensen-Shannon 散度项，以鼓励群体内的策略多样性。
集成构建：最终的智能体是一个集成模型，由 $P$ 个训练群体中每个群体的“最佳响应”（BR）智能体组成。
动作选择：集成模型选择所有 BR 智能体中众数（最频繁的选择）作为动作。

3. 主要贡献

新颖的问题表述：将 ZSC 扩展到合作伙伴具有相同稀疏目标但奖励塑造不同的场景，这比先前文献假设的约束更加现实。
四种选择方法：引入并评估了四种不同的算法（LLM、代理网络、分层网格、随机），用于生成多样化的奖励塑造。
集成框架：提出了一种将基于不同奖励塑造训练的模型组合成单一鲁棒策略的方法。
实证验证：证明了在 ZSC 中，奖励塑造的多样性而不仅仅是策略多样性，对于泛化至关重要。

4. 实验结果

实验在Overcooked环境（具体为 Random0_Medium、Random3 和 Unident_S）中进行，对手是使用标准 MAPPO 配合未知奖励塑造训练的智能体。

性能提升：
- 所提出的方法显著优于基线 ZSC 算法（包括标准 TrajeDi 和隐藏效用自博弈）。
- 提升范围：稀疏奖励的改进幅度在基线算法之上达到 62.2% 至 119.2%。
- 表现最佳者：分层网格和代理网络始终取得了最佳结果。
  - 分层网格：实现了最高的泛化能力，这可能是由于其对奖励空间的均匀覆盖。
  - 代理网络：尽管多样性较低，但表现异常出色，表明选择高性能的塑造比纯粹的随机性更为关键。
- 集成效应：集成方法本身比非集成基线提供了 40–70% 的提升。
- 基于 LLM 的方法：表现出强劲的性能，但一致性略低于分层网格。
- 随机方法：优于基线（+27% 至 +51%），但在所提出的方法中表现最弱，突显了无引导的多样性是不够的。
多样性与性能：
- 分层网格具有最高的范围覆盖率（96.7%）和高标准差。
- 代理网络具有最低的标准差和范围覆盖率，但在某些环境中实现了最高的性能。这表明奖励塑造的质量（找到高性能的权重）有时可以超越纯粹的统计多样性。

5. 意义与结论

现实性：本文弥合了理论 ZSC 与现实世界部署之间的差距，承认来自不同来源的智能体可能会以不同的方式优化相同的目标。
鲁棒性：集成方法创建了能够抵御“惯例不匹配”问题的智能体，能够立即与未知合作伙伴协作。
未来方向：作者建议未来的工作应侧重于混合方法（例如，将代理网络的性能关注点与分层网格的多样性约束相结合），并扩展到更复杂的环境。

总之，本文证明在稀疏奖励环境中，通过在多样化的奖励塑造集上训练智能体，并通过集成将它们组合，是实现鲁棒零样本协调的高效策略。