🤖 machine learning

High entropy leads to symmetry-equivariant policies in Dec-POMDPs

本文证明了在 Dec-POMDPs 中的高熵正则化在理论上保证了向唯一且对称等变策略的收敛，并在实证中表明增加熵系数能显著提高独立训练智能体之间的跨博弈兼容性，从而在如 Hanabi 等环境中实现了新的最先进结果。

原作者： Johannes Forkel, Constantin Ruhdorfer, Michael Beukman, Andreas Bulling, Jakob Foerster

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Johannes Forkel, Constantin Ruhdorfer, Michael Beukman, Andreas Bulling, Jakob Foerster

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一群机器人玩一种复杂的协作游戏，比如高难度的《花灯》（Hanabi，一种你看不见自己手中牌的游戏）或者一个混乱的厨房模拟游戏《胡闹厨房》（Overcooked）。你的目标是让它们完美地协同工作。

问题在于，当这些机器人在进行自我博弈（Self-Play）训练时，它们往往会发展出一些奇怪的、只有它们自己才懂的“秘密握手”或约定俗成的规则。例如，机器人 A 可能决定“红色代表左边”，机器人 B 也同意了这个设定。但如果你拿出一个用不同随机种子训练出的机器人 A，并把它与来自另一轮训练的机器人 B 配对，它们可能已经决定“红色代表右边”。当它们尝试一起玩游戏时，就会发生冲突并导致失败。这被称为协调失败（Coordination Failure）。

这篇论文提出了一个出人意料且简单的解决方案：在训练过程中让机器人变得更加“困惑”。

以下是他们利用日常类比得出的研究结果：

1. 问题所在：“秘密握手”陷阱

把游戏环境想象成一个摆放着对称家具的房间。那里有两把完全相同的椅子。

标准训练： 机器人学到了“我总是坐在左边的椅子上”。这是因为当它们与自己的克隆体对战时，这样做效果完美。
问题在于： 如果你把它们换成另一对机器人，其中一个可能会坐左边的椅子，而另一个可能会坐右边的椅子。它们会发生碰撞。它们打破了房间的对称性来寻找解决方案，但这个解决方案只适用于它们自己，而不适用于其他人。

2. 解决方案：“熵”这一调味剂

作者引入了一个概念叫做熵正则化（Entropy Regularization）。用通俗的话说，这就是在机器人的学习过程中加入的一个惩罚项，迫使它们对自己的选择不再那么笃定。这就像是在告诉机器人：“不要只选那个看起来最好的动作；要保持你的选择余地，并且带一点随机性。”

论文证明了一个迷人的数学事实：如果你加入足够的这种“困惑”（高熵），机器人就会停止开发秘密握手。

它们不再排他性地选择“左”或“右”，而是学会了一种将“左”和“右”视为完全等同的策略。它们变得具有对称等变性（Symmetry-Equivariant）。

类比： 想象一群舞者。与其让每个人都约定“在舞台左侧跳舞”（如果交换舞者，这个约定就会失效），不如让他们学习一种无论谁在跳舞或从哪里开始，看起来都一样的舞步。他们变得能够与任何搭档——甚至是素未谋面的陌生人——完美兼容。

3. “贪婪化”技巧

这里有一个陷阱。如果你让机器人太困惑，它们会变得优柔寡断，甚至连和自己的队友配合都会表现得很差。它们可能会只是随机地做出动作。

论文建议了一个两步走的配方：

高困惑度训练： 使用非常高的“熵”系数来训练机器人。这迫使它们学习一种公平、对称的策略，这种策略可以与任何人配合。
训练后的“贪婪化”： 训练完成后，拿起这些机器人并告诉它们：“好了，现在别再困惑了。观察你学到的那个对称策略，然后直接从中选出那个最好的动作。”

结果： 机器人保留了对称策略的“公平性”（因此可以与陌生人配合），同时又重新获得了“信心”（因此能获得高分）。

4. 实验发现

研究人员在著名的 AI 基准测试中测试了该方法：

《花灯》（Hanabi）： 他们达到了新的“最先进水平”（SOTA）分数。通过使用标准算法（IPPO）配合比平时更高的熵设置，他们创造出的机器人即使在不同的计算机、不同的随机种子下训练，也能几乎完美地相互配合。它们击败了专门为解决此类问题而设计的算法。
《胡闹厨房》（Overcooked）： 他们发现，即使使用极高的熵设置（远高于通常尝试的水平），机器人在经过“贪婪化”处理后，仍然能有效地学习如何协作。
局限性： 他们还展示了在某些非常特定且棘手的场景下，这种方法无法找到“完美”的解。有时，过于追求“公平”和对称性会阻止机器人去利用那些需要打破对称性的、极其高效的技巧。然而，对于大多数现实世界的场景，该方法效果显著。

核心结论

论文认为，AI 研究人员一直以来都对调高“熵”这个旋钮感到畏缩。他们通常保持低熵，以便快速获得高分。但作者表明，大幅调高旋钮会迫使 AI 学习一种通用的、公平的语言，从而让不同的智能体无需事先达成一致即可实现即时协作。

简而言之： 要让 AI 智能体能够与任何人（人类或其他 AI）协作，不要只教它们如何赢；要在训练期间教它们保持一点“犹豫不决”，然后在最后阶段再让它们做出果断的决策。

技术摘要：高熵正则化导致 Dec-POMDP 中的对称等变策略

问题陈述

在协作式多智能体强化学习（MARL）的去中心化部分可观测马尔可夫决策过程（Dec-POMDP）中，一个核心挑战是零样本协调（Zero-Shot Coordination, ZSC）。标准的训练方法，如自我博弈（Self-Play, SP），往往会导致智能体收敛到破坏环境固有对称性的特定协调惯例上。虽然这些策略在与自身的副本进行配对（SP）时能获得高回报，但当它们与独立训练的策略（交叉博弈/Cross-Play 或 XP，例如使用不同随机种子或算法训练的策略）配对时，会发生灾难性的失效。这种不兼容性源于不同的训练运行可能会选择不同的、互斥的对称性破缺惯例（例如，一个智能体总是选择动作 A 而另一个选择 B，或者反之）。

现有的专门算法（如 Other-Play、Off-Belief Learning）试图强制执行对称等变性，但它们通常需要预先了解环境的对称性，或需要复杂的算法修改。本文研究了标准的策略梯度方法，特别是独立近端策略优化（Independent PPO, IPPO），是否可以通过一种特定的超参数调整——高熵正则化——来自然地学习对称等变策略。

方法论

理论框架

作者分析了带有熵正则化的表格化 Softmax 策略梯度上升的动力学。他们定义了 Dec-POMDP 的熵正则化策略梯度流。

关键区别： 本文区分了熵正则化目标函数的梯度 ( $\nabla_\theta J^\alpha_{SP}$ ) 与标准目标的熵正则化梯度 ( $\nabla^\alpha_\theta J_{SP}$ )。后者（即对应于标准 PPO 熵奖励的部分）是理论分析的重点。
对称性定义： Dec-POMDP 的对称性被定义为一个关于状态、动作和观测的置换（bijections）元组，这些置换保持了转移动力学、奖励和初始状态分布不变。如果一个策略在对称性的作用下保持不变，则称该策略是对称等变的（symmetry-equivariant）。
贪婪化（Greedification）： 作者提出了一个训练后的“贪婪化”步骤，即将学习到的随机策略转换为确定性策略，即选择概率最高的动作（或在概率相等的动作中采用均匀分布）。

理论贡献

论文证明了定理 3.1：对于任何具有表格化 Softmax 参数化的 Dec-POMDP，存在一个有限的熵阈值 $\alpha'$ 。对于任何满足 $\alpha > \alpha'$ 的熵系数 $\alpha$ ：

熵正则化策略梯度的向量场具有唯一的零点 $\theta_\alpha$ 。
该唯一不动点对应于一个对称等变的联合策略。
策略梯度流可以从任何初始化收敛到该唯一点。
因此，使用不同初始化（种子）训练的策略变得完全兼容，这意味着它们的交叉博弈（XP）回报等于其自我博弈（SP）回报。

作者明确指出，这一结果对于最大熵强化学习目标的梯度 ( $\nabla_\theta J^\alpha_{SP}$ ) 并不成立，并构造了一个高熵导致多个不兼容极大值的反例。

实验方法

作者使用标准的独立 PPO (IPPO) 在三个环境中评估了这些理论预测：

Hanabi：一款具有不完全信息的协作卡牌游戏。
Overcooked：一款协作烹饪模拟游戏。
Yokai：一个最近开发的用于追踪空间和时间信念的环境。

实验方案：

超参数搜索： 他们在广泛的熵系数 ( $\alpha$ ) 范围内训练 IPPO 智能体，这些系数显著高于典型值（例如，在 Overcooked 中高达 0.50，而标准值为 0.01–0.10）。
评估： 他们测量了ทั้ง 自我博弈 (SP) 和交叉博弈 (XP) 的回报。至关重要的是，他们分别评估了原始随机策略（“非贪婪”）和贪婪化后的确定性策略（“贪婪”）。
架构： 实验使用了标准架构，包括前馈网络 (FF)、LSTM 以及用于兼容 Off-Belief Learning 的公共-私有 LSTM (Public-Private LSTM)。

关键结果

1. 收敛至对称等变策略

实验证实了理论预测：随着熵系数 $\alpha$ 的增加，SP 和 XP 之间的差距缩小。

Hanabi：通过使用 LSTM 架构和 $\alpha = 0.05$ 的熵系数，作者实现了 24.45（满分为 25）的跨种子 XP 回报。这超过了之前由 Off-Team Learning (OT-OBL) 等专门算法实现的 24.30 的 SOTA 水平。
Overcooked：将 $\alpha$ 提高到极高值（0.50）时，贪婪 XP 回报持续提升，使得 SP 和 XP 几乎完全一致。
Yokai：熵阈值似乎非常高；超过一定点后，策略变得过于随机以至于无法有效学习，这表明在某些环境中，高熵正则化的代价可能会抵消其协调收益。

2. 贪婪化的作用

一个关键发现是，虽然高熵正则化强制使随机策略实现对称等变，但由此产生的期望回报可能很低（趋向于均匀随机行为）。然而，这些策略的贪婪化版本在保持对称等变属性的同时，能够恢复高回报。

在 Hanabi 和 Overcooked 中，高熵策略的贪婪 XP 显著高于非贪婪 XP，且通常超过了低熵策略的表现。
这提供了一个训练方案：通过高熵训练以确保对称等变性，然后在部署时对策略进行贪婪化处理。

3. 架构敏感性

所需的熵阈值取决于策略架构。

LSTM vs. FF：在 Hanabi 中，与 LSTM 网络相比，前馈 (FF) 网络需要显著更高的熵系数才能实现兼容性。作者将其解释为 FF 网络缺乏记忆，被迫依赖高度专业化且脆弱的惯例进行通信，而高熵有助于消除这些惯例。

4. 局限性

论文承认高熵正则化并非万能药。

次优等变性：在某些环境（如修改后的“猫/狗”游戏和“Yokai”环境）中，高熵确保了收敛到某个对称等变策略，但不一定是最优的那个。在这些情况下，最优的对称等变策略需要确定性动作，而高熵正则化会抑制这些动作，导致即使经过贪婪化处理，性能仍然处于次优水平。
优势估计偏差：使用低 $\lambda_{GAE}$ （高偏差）的广义优势估计 (GAE) 即使在高熵情况下也可能重新引入对称性破缺。

意义与主张

论文声称，只要满足以下条件，标准的策略梯度方法在零样本协调方面比之前认为的要“强大得多”：

在比通常实践中大得多的范围内进行熵系数搜索（通常高出一个数量级）。
评估包含交叉博弈 (XP) 指标，而非仅仅是自我博弈 (SP)，以检测对称性破缺。
训练后应用贪婪化，以在保持兼容性的同时恢复性能。

作者认为，这种方法为 ZSC 提供了一种更简单的替代方案，因为它不需要预先了解环境的对称性，并且可以使用标准的 MARL 基础设施。虽然他们承认在某些特定的 Dec-POMDP 中，最优的对称等变策略可能仍无法通过此方法学习，但在 Hanabi 和 Overcooked 中的实验结果表明，高熵正则化可以利用 vanilla IPPO 实现具有 SOTA 性能的跨种子协调。

论文最后敦促社区重新审视 Dec-POMDP 中标准熵值的范围，并指出，用于协调的“甜点区（sweet spot）”往往位于比用于最大化单种子 SP 回报时更高的熵值处。