💻 computer science

Expected Return Symmetries

本文引入了“期望回报对称性”（expected return symmetries），这是一类涵盖了传统环境对称性的更广泛的对称性，使去中心化多智能体环境中的智能体无需预先获知地面真值对称性，即可实现卓越的零样本协调。

原作者： Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“左撇子”与“右撇子”的困境

想象有两个机器人，它们被分别训练去玩一种协作游戏，比如高难度的《Hanabi》（一种你看不见自己手牌的卡牌游戏）或者《Overcooked》（一个混乱的烹饪模拟器）。在各自单打独斗时，它们都表现得非常出色。

然而，当你第一次把机器人 A 和机器人 B 配对在一起时，它们却表现得一塌糊一糊。为什么？

因为在各自的单人训练过程中，它们不小心发明了自己的“秘密语言”。

机器人 A 学到的是：如果对方放下了一张牌，就意味着“我很开心”。
机器人 B 学到的是：同样的动作意味着“我很生气”。

用论文中的术语来说，这被称为互不兼容的对称性破缺（mutually incompatible symmetry breaking）。这些机器人找到了一个对它们各自都有效的解决方案，但由于它们对于应该使用哪种版本的解决方案并未达成共识，它们就像两个试图握手的人，其中一人伸出了左手，而另一人伸出了右手。在各自的认知里，双方都是“正确”的，但由于无法协调，导致了失败。

旧方案：“他方博弈”（Other-Play，规则书方法）

此前，研究人员尝试通过教机器人尊重**环境的对称性（environment's symmetries）**来解决这个问题。

把游戏环境想象成一个有四扇完全相同的门的房间。如果你走北门，会获得奖励；如果你走南门，也会获得完全相同的奖励。这个房间是“对称”的。

旧方法： 研究人员告诉机器人：“嘿，北边和南边是一样的。不要只记住‘北边是好的’，要记住‘任何看起来像北边的门都是好的’。”
局限性： 这对于颜色或方向等明显的特征效果很好。但当“相同性”并非关乎房间布局，而是关乎策略本身时，这种方法就会失效。这就像是告诉机器人：“戴红帽子或蓝帽子没关系”，却没意识到有时，戴上某种“特定类型”的帽子是向搭档传递“我准备好烹饪了”这一信号的唯一方式。

新方案：“期望回报对称性”（Expected Return Symmetries，“结果导向”方法）

论文作者提出了一种更聪明的方法来寻找这些隐藏的联系。他们不再仅仅观察房间的“规则”（环境），而是观察“结果”（回报）。

他们引入了一个概念：期望回报对称性（Expected Return Symmetries）。

类比：“魔镜”
想象你有一面魔镜。如果你站在镜前做一个特定的舞蹈动作，你就会得到一颗金星。

旧观点： 魔镜只反射看起来完全一样的东西（例如，如果你举起左手，镜中的影像会举起右手）。
新观点（期望回报）： 魔镜变得更聪明了。它会问：“如果我把你的舞蹈动作改为完全不同的动作，你是否仍然能得到金星？”

如果答案是是，那么这两个截然不同的舞蹈动作在本文的视角下就是“对称”的。它们可能看起来完全不同，但都能带来同样的成功。

论文指出，通过训练机器人去识别这些“基于结果”的对称性，它们会变得更加灵活。它们会明白，“动作 X”和“动作 Y”是可以互换的，因为它们都能导致成功的结局，即便游戏规则并没有明确说明它们是相同的。

他们是如何实现的（“试错”机器）

论文并不只是靠猜测这些对称性，而是构建了一种能够自动发现它们的方法。

专家池： 他们首先训练了一群游戏专家（使用一种称为“自我博弈/Self-Play”的方法）。
洗牌游戏： 然后，他们拿这些专家机器人进行“行为洗牌”。他们尝试交换动作、改变观察结果以及混合不同的策略。
计分员： 他们会询问：“如果我们把机器人 A 的策略与机器人 B 的策略进行交换，它们的得分是否依然很高？”
- 如果得分保持高位，那么这种交换就是一个有效的“期望回报对称性”。
- 如果得分暴跌，那么这种交换就是错误的。
结果： 他们找到了能够保持游戏成功率的一系列“神奇交换”。随后，他们将这些交换规则教给了新的机器人，让它们在训练期间使用这些规则。

实验结果：为什么这很重要

论文在三种不同的场景下测试了该方法：

简单的杠杆游戏： 一个基础的协调任务。
Overcooked V2： 一个复杂的烹饪游戏，其中时机把握和沟通至关重要。
Hanabi： 一个信息隐藏极其困难的卡牌游戏。

研究发现：

使用这种新的“期望回报”方法训练的机器人，与陌生人协作时的表现，明显优于使用旧有的“环境对称性”方法的机器人。
在《Overcooked》游戏中，新方法极大地缩小了“与自己玩”和“与陌生人玩”之间的表现差距。
在《Hanabi》中——这是一个对 AI 协调能力要求极高的游戏——尽管新方法并没有像以往方法那样拥有关于游戏规则的“作弊手册”（例如知道红色和蓝色只是颜色的交换），但它依然超越了现有的最先进方法。

总结

论文声称，要让 AI 智能体在没有预先协调的情况下良好地协同工作，我们不应仅仅教它们游戏的规则。相反，我们应该教它们识别哪些不同的行为会导致相同的成功。

通过关注结果（期望回报）而非仅仅关注输入（环境布局），机器人学会了一套更广泛、更灵活的“秘密握手”方式。这使得它们能够更快、更有效地适应新的搭档，从而解决了困扰多智能体 AI 领域多年的“左手对右手”的问题。

技术摘要：期望回报对称性 (Expected Return Symmetries)

问题陈述
在协作式多智能体强化学习（MARL）中，一个根本性的挑战是零样本协调 (Zero-Shot Coordination, ZSC)：即智能体在测试时能够与新的伙伴进行有效协调，而无需事先进行通信。ZSC 的一种主要失效模式是相互不兼容的对称性破缺 (mutually incompatible symmetry breaking)。当智能体独立训练时，它们可能会收敛到等效但互不兼容的策略（例如，一个团队约定使用蓝色来传递“播放”信号，而另一个团队则使用红色）。

现有的解决方案，如 Other-Play (OP) 目标，通过强制要求在 Dec-POMDP 对称性（使状态、动作和观测保持不变的重标记，且这些重标记保持转移函数和奖励函数不变）下等效的策略之间保持兼容性来解决这一问题。然而，这种方法有两个局限性：

协调失效模式： 环境对称性破缺仅是协调失效的一种类型。即使在不存在非平凡 Dec-POMDP 对称性的情况下，智能体仍可能通过形成过于具体的惯例来进行过度协调。
对称性的可获取性： 当前的方法需要对环境对称性的先验知识。在大型 Dec-POMDP 中自动发现这些对称性通常在计算上是不可行的，且许多方法依赖于特权信息（例如，地面真值动力学或对称群），而这些信息在现实世界设置中是无法获得的。

方法论
本文引入了 期望回报 (ER) 对称性，这是一个更广泛的对称性类别，包含了 Dec-POMDP 对称性作为其子群。

定义： 如果一个变换 $\phi$ 保持了自博弈最优玻尔兹曼探索策略集 ( $\Pi^*_\alpha$ )，则称 $\phi$ 为 ER 对称性。具体而言， $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ 。与 Dec-POMDP 对称性不同（后者要求转移和奖励函数具有不变性），ER 对称性仅要求变换将最优策略映射为其他最优策略（保持期望回报）。
理论性质： 作者证明了 $\Phi_{ER}$ 在函数复合运算下构成一个群。至关重要的是，在许多情况下， $\Phi_{ER}$ 是 Dec-POMDP 对称性的严格超集，它捕捉了基于策略而非仅仅是标签置换的协调差异。
学习算法： 由于 $\Phi_{ER}$ $Φ_{E R}$ 并非预先已知，本文提出了一种可扩展的方法，利用基于梯度的优化来学习近似的 ER 对称性，而无需访问环境的地面真值对称性或动力学。
- 目标 1 (回报保持)： 最大化变换后策略的期望回报： $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ ，其中 $\Pi'$ 是一个自博弈最优策略池。
- 目标 2 (组合性与可逆性)： 引入了一个正则化目标，以确保学习到的变换构成一个群（强制执行封闭性和可逆性），通过惩罚两次应用后的偏差以及最大化在复合变换下的回报来实现。
- 目标 3 (交叉博弈最大化)： 另一种方法是直接优化成对策略之间的交叉博弈性能。
- 该方法假设了极简的结构：它将状态变换固定为恒等变换，并学习观测和动作的变换（通常是通过对动作置换和神经网络进行搜索）。

核心贡献

定义 ER 对称性： 本文定义了一个新的对称性群，该群基于对最优策略期望回报的保持，涵盖了传统的 Dec-POMDP 对称性。
无模型发现： 作者提出了能够纯粹从智能体-环境交互中学习这些对称性的算法，无需关于环境结构或动力学的特权信息。
提升 ZSC 性能： 实验表明，将 OP 学习规则与学习到的 ER 对称性相结合，在防止过度协调方面显著优于标准的自博弈和基于 Dec-POMDP 对称性的 OP。
在挑战性设置中的鲁棒性： 该方法被证明在某些特定杠杆游戏和 Overcooked V2 等环境中，能够成功应对 Off-Belief Learning (OBL) 和认知层级 (Cognitive Hierarchies) 失效的情况。

实验结果
作者在四个环境中评估了其方法：

迭代三杠杆游戏 (Iterated Three-Lever Game)： 在此设置中，ER 对称性与 Dec-POMDP 对称性一致，该方法成功恢复了最优 ZSC 策略。
玩具协调游戏 (Toy Coordination Game)： 该方法成功恢复了一个非平凡的 ER 对称性（动作交换），而该对称性并非 Dec-POMDP 对称性，证明了在传统群之外发现对称性的能力。
Overcooked V2： 在这个不对称且具有随机性的基准测试中，使用学习到的 ER 对称性的智能体实现了 15.8 的平均交叉博弈 (XP) 分数，显著优于自博弈基线 (6.74)，并降低了协调结果的方差。
花札 (Hanabi)： 在这个复杂的卡牌游戏中，使用 11 个学习到的 ER 对称性的智能体实现了 21.64 的平均 XP 分数，优于标准 IPPO 基线 (4.02) 以及受限于全部 120 个已知 Dec-POMDP 对称性的 IPPO 基线 (8.61)。结果表明，ER 对称性在强制兼容性的同时，能更好地保持最优性。

意义与主张
本文声称，期望回报对称性通过以下方式代表了 ZSC 的重大进展：

泛化对称性： 超越了僵化的环境不变性，转向一种更灵活、以策略为中心的对称性定义，从而更好地处理多样化的最优策略。
消除特权信息： 这是第一个在无需先验对称性知识或动力学知识的情况下改进 ZSC 的基于对称性的方法，使其适用于此类信息无法获取的场景。
解决协调失败： 为过度协调问题提供了解决方案，即使在以往基于对称性或多样性的方法（如 OBL）失效的环境中依然有效。

作者承认存在局限性，指出搜索空间的表达能力（限制在动作/观测空间的双射）可能不足以应对所有环境（例如，两杠杆游戏变体），且该方法的成功取决于用于学习对称性的策略质量。

核心问题：“左撇子”与“右撇子”的困境

旧方案：“他方博弈”（Other-Play，规则书方法）

新方案：“期望回报对称性”（Expected Return Symmetries，“结果导向”方法）

他们是如何实现的（“试错”机器）

实验结果：为什么这很重要

总结

类似论文