🤖 machine learning

Shaping Zero-Shot Coordination via State Blocking

本文介绍了状态阻断协调（SBC），这是一种通过状态阻断生成多样化虚拟环境的框架，使智能体能够在不修改底层环境的情况下，有效泛化至未见过的伙伴（包括人类）。

原作者： Mingu Kang, Sunwoo Lee, Yonghyeon Jo, Seungyul Han

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingu Kang, Sunwoo Lee, Yonghyeon Jo, Seungyul Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《通过状态阻断塑造零样本协调》的解释。

核心难题：“舞伴”困境

想象一下你正在学习跳舞。如果你只与一位特定的舞伴练习，而这位舞伴总能确切地知道你的下一步动作，你们就会成为完美的舞蹈搭档。但如果你突然必须与一位陌生人共舞，这位陌生人虽然学会了相同的舞步，却是与不同的舞伴练习过的，会发生什么呢？

在人工智能（AI）领域，这被称为零样本协调（ZSC）。其挑战在于训练一个 AI 智能体，使其能够与从未谋面的伙伴合作，而无需事先进行共同练习。

该论文指出了一个常见的失败原因：大多数 AI 训练方法就像对着镜子练习。你训练 AI 与自己的副本合作。它们学会了一种特定的“惯例”（一种秘密握手或特定的移动方式）。当它们遇到另一个学习了相同舞蹈但节奏略有不同（即使用了不同的随机种子）的 AI 时，它们会互相碰撞，因为它们的“秘密握手”不匹配。

解决方案：“状态阻断协调”（SBC）

作者提出了一种名为**状态阻断协调（SBC）**的新训练方法。与其让 AI 仅仅与自己练习，不如创建一个特殊的“训练障碍课程”。

以下是使用健身房类比的工作方式：

标准训练（问题所在）： 想象一群跑步者在跑道上训练。他们都跑同样的圈数。他们非常擅长跑这一特定的圈数。但是，如果你让他们与来自不同跑道、跑了略微不同路线的跑步者进行比赛，他们会感到困惑并绊倒。
SBC 训练（解决方案）： 现在，想象教练在训练期间在跑道上设置了临时障碍（状态阻断）。
- 跑次 A： 教练封锁了跑道的左侧。跑步者学会在右侧奔跑。
- 跑次 B： 教练封锁了跑道的右侧。跑步者学会在左侧奔跑。
- 跑次 C： 教练封锁了中间。跑步者学会绕过中心。

通过在这些不同“阻断”版本的跑道上练习，跑步者学会了灵活应变。他们不仅仅死记硬背一条路径，而是学会了如何适应任何障碍。

AI 如何利用这一点

在该论文的方法中，AI 不仅仅与自己训练。它与那些被强制避开游戏世界中特定随机位置的“伙伴”进行训练（这些就是“阻断状态”）。

惩罚机制： 如果伙伴 AI 踏入“阻断”区域，它就会受到惩罚（就像红牌或时间惩罚）。
结果： 为了避免惩罚，伙伴 AI 必须发明一种新策略来完成的任务。也许它会绕道而行，或者也许它会等待另一位玩家先移动。
益处： 主 AI（“自我”）得以与许多不同版本的伙伴进行对抗，每个伙伴都使用不同的策略来避开阻断。这教会了主 AI 要灵活，并理解解决问题有多种方法，而不仅仅只有一种。

“价值引导”的转折

论文还提到了一种选择在哪里设置阻断的聪明方法。你不会封锁终点线，因为那样跑步者根本无法完成比赛。那将太难且毫无用处。

作者使用了一种**“价值引导”**系统。这就像一位教练，知道哪些障碍是“关键”的（比如终点线或食谱中的关键食材），哪些只是“便利”的（比如捷径）。

该系统避免封锁关键位置。
它专注于封锁那些迫使 AI 尝试不同但依然成功策略的位置。
这确保了训练既具有挑战性又公平，教导 AI 变得稳健，而不会破坏游戏。

效果如何？

研究人员在两个主要游戏中测试了这种方法：

多目标扩散（Multi-Destination Spread）： 一个游戏，其中四个智能体必须跑向四个不同的目标。
Overcooked（胡闹厨房）： 一个混乱的烹饪游戏，其中两个智能体必须切菜、煮汤并上菜，且不能互相碰撞。

结果：

优于其他方法： 与之前的方法相比，SBC 方法在与陌生人（即经过不同训练的其他 AI）合作方面表现要好得多。
人类测试： 他们甚至让真实人类玩烹饪游戏进行了测试。经过 SBC 训练的 AI 与其他 AI 相比，与人类的合作效果好得多。它不会陷入僵化的例行公事；它会适应人类的风格，从而减少碰撞，使团队合作更顺畅。

总结

可以将状态阻断协调视为 AI 的“混乱训练”。该方法不是让 AI 智能体在一个完美、可预测的世界中练习，而是引入受控的混乱（封锁特定位置），迫使它们学习多种不同的合作方式。这使得它们准备好与任何人组队——无论是具有不同风格的其他 AI，还是真实的人类——而无需事先进行共同练习。

技术摘要：通过状态阻断塑造零样本协调

问题陈述

零样本协调（ZSC）旨在使多智能体系统能够与独立训练的合作伙伴（包括人类）进行协作，而无需事先的共同交互。虽然现有的方法（如自博弈，SP）对于共同训练的智能体是有效的，但它们往往收敛于单一的协调惯例，导致当与在不同随机种子或方法下训练的合作伙伴配对时（交叉博弈，XP），性能严重下降。

先前的方法试图通过增加种群多样性、随机化策略或修改环境来缓解这一问题。然而，这些策略往往无法捕捉多样化的结构化次优协调模式。它们要么产生与最优惯例过于相似的行为，要么引入无法良好泛化的非结构化变异性。此外，基于环境多样性的方法通常需要显式访问或修改环境，这限制了其适用性。核心挑战仍然是：如何在不过改底层环境或不需要外部人类数据的情况下，系统性地让自智能体接触多样化的结构化次优合作伙伴行为。

方法论：状态阻断协调（SBC）

作者提出了状态阻断协调（State-Blocked Coordination, SBC），这是一个通过状态阻断创建虚拟环境变化，从而在合作伙伴行为中诱导结构化多样性的框架。

1. 状态阻断马尔可夫决策过程（SB-MDP）

SBC 定义了一个修改后的马尔可夫决策过程，其中特定状态被指定为“惩罚状态”。

机制：从经验回放缓冲区中选择一组惩罚状态 $\tilde{S}$ 。奖励函数被修改为对进入这些状态的转移进行惩罚：
$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$
其中 $\alpha$ 是惩罚系数。
效果：通过迫使合作伙伴在完成任务的同时避免特定状态，SB-MDP 诱导出了不同的、局部最优的协调策略。这些策略代表了与全局最优不同但任务有效的结构化次优行为。

2. 训练过程

SBC 采用涉及阻断感知策略和普通自智能体策略的两阶段训练过程：

阻断感知策略（ $\tilde{\pi}$ ）：该策略在 SB-MDP 中进行训练。它将特定的阻断状态集合 $\tilde{S}$ 作为输入条件。通过在训练期间采样多样化的惩罚状态集合，系统生成了一族阻断感知合作伙伴，每个合作伙伴都遵循由其特定阻断状态决定的不同协调惯例。
普通自智能体策略（ $\pi_e$ ）：测试时使用的最终策略是在原始 MDP（无惩罚状态输入）中训练的。它暴露于以下混合体中：
1. 标准自博弈合作伙伴（自身的副本）。
2. 阻断感知合作伙伴（在 SB-MDP 中训练，但在自智能体训练期间在原始 MDP 中行动）。
  这种暴露使自智能体能够学习与广泛的结构化行为进行协调，而不过度拟合于单一惯例。

3. 价值引导的惩罚状态调度

为了防止选择对任务完成至关重要的惩罚状态（这将严重降低合作伙伴的性能），SBC 引入了一种调度机制：

关键性指标：价值差距 $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$ 量化了状态阻断对回报的降低程度。
采样策略：惩罚状态以概率 $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$ 被采样。
退火：温度 $\beta$ 从 0 退火至 1。在训练早期，采样几乎是均匀的，以最大化多样性。随后，调度器逐渐降低高关键性状态的权重，专注于诱导有意义但非灾难性的次优行为的阻断配置。

4. 其他组件

为了进一步增强鲁棒性，SBC 还包含：

合作伙伴动作预测：一个辅助模型预测合作伙伴的动作，这些动作被输入到自智能体策略中以辅助适应。
随机动作注入：合作伙伴偶尔执行随机动作，以提高对偏差的鲁棒性。

主要贡献

框架：提出了 SBC，这是一种通过状态阻断生成结构化合作伙伴多样性的方法，无需修改环境的转移动力学或需要外部数据。
机制：提出了状态阻断 MDP 的公式化以及价值引导的调度策略，以在多样性与任务可行性之间取得平衡。
性能：证明了 SBC 在多个基准测试中实现了卓越的零样本协调性能，显著缩小了自博弈与交叉博弈分数之间的差距。
人机协调：验证了 SBC 能有效与人类代理及真实人类参与者进行协调，在任务回报、碰撞减少和感知协调流畅度方面优于现有基线。

实验结果

作者在多目的地扩散（Multi-Destination Spread）和Overcooked v1（五个布局）上评估了 SBC，并与包括 IPPO、FCP、MEP、E3T、GAMMA 和 CEC 在内的基线进行了比较。

多目的地扩散：SBC 实现了 957.2 的 XP 分数（IPPO 为 77.4），差距为 24.8（IPPO 为 912.6）。它是唯一一种在 SP 和 XP 中均保持高性能的方法。
Overcooked v1：SBC 在所有布局的交叉博弈中 consistently 优于基线。例如，在*协调环（Coordination Ring）*布局中，SBC 实现了 316 的 XP（差距 17），而 IPPO 得分为 41（差距 246）。与其他方法相比，SBC 还保持或提高了自博弈性能。
留外交叉博弈（Held-Out XP）：SBC 展示了对使用不同 ZSC 方法（而不仅仅是不同种子）训练的合作伙伴的鲁棒泛化能力。
人机评估：在 40 名真实人类参与者的实验中，SBC 在所有五个布局上均取得了最高分数。它导致每次交付的碰撞数量最低，并在 7 点李克特量表上获得了最高的参与者协调流畅度评分。

意义与主张

该论文声称，SBC 解决了现有 ZSC 方法的根本局限性：无法构建多样化且结构化的次优合作伙伴行为。通过诱导“阻断感知”合作伙伴，SBC 使自智能体暴露于广泛的协调惯例中，从而实现了对未见合作伙伴的鲁棒泛化。

作者强调：

SBC 不需要显式的环境修改（不同于 CEC）或大规模的人类数据收集。
该方法改善了与人类合作伙伴的协调，表明接触多样化的局部最优策略有助于智能体适应人类的独特性。
虽然 SBC 引入了超参数（ $\alpha$ 和 $K$ ），但价值引导的调度使该方法对适度变化具有鲁棒性，且与性能提升相比，以及与 GAMMA 或 CEC 等更重的基线相比，其计算开销适中。

这项工作将 SBC 定位为迈向实用化的关键一步，旨在部署能够无缝集成到独立训练系统和现实场景中人类协作者中的合作型 AI 智能体。