🤖 AI

Sample-Efficient Policy Space Response Oracles with Joint Experience Best Response

本文介绍了联合经验最佳响应（Joint Experience Best Response, JBR），这是一种针对策略空间响应 way 预言机（Policy Space Response Oracles, PSRO）的样本高效型改进，它通过重用单个联合数据集来同时计算所有智能体的最佳响应，从而实现环境交互的摊销，进而实现可扩展的多智能体学习，并通过保守、增强探索或混合策略来减轻分布偏移偏差。

原作者： Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群国际象棋选手正试图寻找彼此博弈的最优策略。在人工智能领域，这被称为多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）。其目标是让每个“智能体”（计算机程序）都能学会一种无论面对其他对手如何行动都能奏效的策略。

本文介绍了一种通过一种名为**联合经验最佳响应（Joint Experience Best Response, JBR）**的技术，使这一学习过程变得更快、更廉价的方法。

以下是通过日常类比对问题与解决方案进行的拆解。

问题：昂贵的“单人练习”

传统上，为了学习最佳策略，每个智能体都必须针对特定的对手组合进行单独练习。这就像是一个国际象棋俱乐部：

选手 A 针对特定的对手组合练习了 100 局。
接着，选手 B 针对同样的对手组合练习了 100 局。
然后，选手 C 又练习了 100 局。

尽管他们都在对抗同一个“平均”对手，但他们在浪费时间和精力。他们就像是在各自跑去健身房举起完全相同的重量，而实际上他们本可以一起去。在计算机术语中，这被称为策略空间响应预言机（Policy Space Response Oracles, PSRO）。这种方法效果很好，但极其昂贵，因为每个智能体都必须独自模拟数千场游戏。

解决方案：“小组学习”环节

作者提出了联合经验最佳响应（JBR）。与其分开练习，不如让所有智能体一起去健身房。

他们在同一时间针对彼此进行一组游戏。
他们将每一次走法、每一场胜负都记录在一个巨大的笔记本中（“联合数据集”）。
环节结束后，他们回到家，共同研读这本同一本笔记本，以弄清楚如何能玩得更好。

益处： 这节省了大量的时间和计算资源。与其运行 $N$ 次模拟（为每个智能体运行一次），他们只需运行一次并共享结果。

陷阱：“笔记本里的幽灵”

这种小组学习方法存在风险。如果小组只玩某种特定类型的游戏（例如：只以兵开局），那么他们的笔记本里就不会有关于如何应对骑士开局的记录。当他们试图从笔记本中学习时，可能会做出错误的判断，因为他们试图学习的是他们从未真正见过的东西。在技术术语中，这被称为分布偏移（distribution shift）或离线学习偏差（offline learning bias）。

为了解决这个问题，论文提供了三种“补救措施”（解决方案）：

保守做法（安全策略改进）：
- 类比： 如果笔记本中没有关于特定走法的笔记，学生就会拒绝改变自己的策略。他们坚持使用那些他们已知是安全的策略。
- 结果： 这种方法非常安全，但由于过于害怕尝试新事物，进步并不大。
“随机洗牌”法（增强探索）：
- 类比： 在小组学习期间，老师告诉每个人偶尔要做一些随机的、愚蠢的动作，以观察会发生什么。这会让笔记本中填充更多样化的内容。
- 结果： 这有所帮助，但通过做随机动作并不是最有效的学习方式。
“针对性”法（获胜者）：
- 类比： 这是最聪明的一个版本。在小组学习期间，老师说：“好，我们知道选手 A 正试图学习如何应对特定的攻击。那么让我们所有人做出专门测试那种攻击的动作。”他们刻意创造出能够填补笔记本空白的精确场景。
- 结果： 这创造了一个高质量的笔记本，涵盖了所有重要的基础，而不会浪费时间在随机的废料上。论文称之为 JBR-PSRO- $\delta T$ 。
混合法：
- 类比： 小组一起学习 9 天，但在第 10 天，每个人都独自去健身房，以复核自己的工作。
- 结果： 这让你既能获得小组学习的速度，又能获得单人练习的完美准确度。

结果：他们发现了什么？

作者在两种类型的游戏中测试了这些想法：

扑克游戏（Kuhn 和 Leduc）： 这些是带有隐藏信息的类似棋类游戏。
机器人游戏（粒子环境）： 这些是类似于视频游戏的场景，机器人需要在连续运动中进行推挤、碰撞或战斗。

研究发现：

在简单游戏中，“小组学习”（JBR）的效果与“单人练习”（标准 PSRO）一样好。
在复杂游戏中，基础的“小组学习”失败了，因为笔记本缺失了太多页面。
然而，“针对性”版本（即他们刻意练习缺失的动作）的表现几乎接近昂贵的单人练习，但使用了一半的计算能力。
混合版本（结合小组与单人）获得了昂贵方法的准确度，且仅需极小的额外成本。

核心结论

该论文证明，并不需要每个 AI 智能体都独自练习才能学会玩游戏。如果他们共享经验并共同学习——特别是如果他们刻意练习自己不擅长的部分——他们可以学得同样好，但速度更快、成本更低。这使得在更大、更复杂的现实应用场景中使用这些强大的 AI 策略成为可能，因为在这些场景下，单独运行模拟的成本太高了。

技术摘要：具有联合经验最佳响应的样本高效策略空间响应预言机 (JBR-PSRO)

1. 问题陈述

多智能体强化学习 (MARL) 为精确博弈论分析提供了一种可扩展的替代方案，但面临两个主要挑战：非平稳性（即独立学习会导致随着智能体更新而导致环境发生偏移）以及维持多样化策略种群的需求（以捕捉非传递性交互）。策略空间响应预言机 (PSRO) 框架通过迭代地扩展一个包含近似最佳响应 (BR) 的受限博弈来解决这些问题。

然而，标准的 PSRO 面临着极高的计算和样本成本。在每次迭代中，每个智能体都必须针对其他智能体的当前元策略剖面 (meta-strategy profile) 独立计算最佳响应。这需要像求解与智能体数量一样多的强化学习 (RL) 问题，且每个问题都需要对剩余智能体进行完整模拟。在玩家数量众多或模拟器昂贵的领域中，这种逐智能体的训练结构使得 PSRO 变得难以实现。

2. 方法论

核心概念：联合经验最佳响应 (JBR)

作者提出了联合经验最佳响应 (JBR)，这是对 PSRO 的一种改进，它能够跨所有智能体复用交互数据。JBR 不再是独立地训练每个智能体的最佳响应，而是：

在当前的元策略剖面 $\sigma = (\sigma_j)_{j \in N}$ 下仅收集一次轨迹。
构建一个共享的联合数据集 $\mathcal{D}_\sigma$ ，其中包含转换数据 $(s_t, a_{1,t}, \dots, a_{n,t}, r_{1,t}, \dots, r_{n,t}, s_{t+1})$ 。
从这个单一的数据集中同时计算所有智能体的最佳响应。

这把最佳响应的计算从一个在线 RL 问题转变为一个离线 RL 问题，即从固定数据集中优化策略。虽然这极大地提高了样本效率，但也引入了分布偏移偏差 (distribution-shift bias)，因为数据集是在当前元策略下生成的，该策略可能无法覆盖与真实最佳响应相关的状态-动作区域。

解决离线 RL 偏差

为了减轻离线 RL 的局限性（特别是分布偏移），论文引入了三种互补的补救措施：

保守型 JBR (安全策略改进)：
- 实施约束，使学习到的策略 $\pi_i$ 仅在数据集覆盖充分（计数 $N_D(s, a_i) \ge N^\wedge$ ）的状态-动作对中偏离基准元策略 $\sigma_i$ 。
- 在采样不足的区域，策略会退回到 $\sigma_i$ ，从而保证性能不会低于基准水平。
- 局限性： 虽然安全，但由于过于谨慎，限制了其相比于独立 BR 寻找显著改进的能力。
增强探索型 JBR：
- 通过扰动数据收集过程来提高覆盖率。智能体不再严格遵循 $\sigma$ ，而是遵循 $\delta$ -扰动后的元策略：
  $\tilde{\sigma}_j(a_j|s) = (1-\delta)\sigma_j(a_j|s) + \delta\nu_j(a_j|s)$
- 提出了两种探索策略：
  - $\delta$ -随机 ( $\delta$ -R)： $\nu_j$ 是均匀随机策略。
  - $\delta$ -定向 ( $\delta$ -T)： $\nu_j$ 是当前的最佳响应候选策略 ( $\pi^{BR,cur}_j$ )。这会将探索导向有前景的轨迹，实际上起到了一种对手建模的作用。
- 理论保证： 论文证明，对于有限的双人零和博弈，如果智能体计算的是对扰动策略 $\tilde{\sigma}$ 的 $\epsilon$ -最佳响应，则生成的元策略是原博弈的 $(\epsilon + 2R\delta)$ -纳什均衡（其中 $R$ 是收益范围）。
混合最佳响应 (HBR)：
- 在 JBR 和标准的独立最佳响应 (IBR) 之间交替进行。
- 在大多数迭代中，使用 JBR 以提高效率。每隔 $k$ 次迭代，智能体执行一次标准的独立 BR 更新，以修正近似误差。
- 这旨在结合 JBR 的样本效率与 IBR 的准确性。

3. 核心贡献

JBR 框架： 引入了联合经验最佳响应，作为 PSRO 的一种即插即用式改进，通过复用共享轨迹来同时计算所有智能体的最佳响应，显著提高了样本效率。
离线偏差补救措施： 识别了 JBR 固有的离线 RL 局限性，并提出了/评估了三种具体的补救措施：保守型 JBR、增强探索型 JBR（具有理论收敛保证）以及混合 BR。
全面的实证研究： 在离散（扑克）和连续（粒子）环境中，将 JBR 变体与标准 PSRO（独立 BR）以及主流 MARL 基准（独立学习和 CTDE）进行了严格对比。

4. 实验结果

环境

离散型： Kuhn Poker（小型、全覆盖状态空间）和 Leduc Poker（大型状态空间、不完全信息）。
连续型： Simple Tag、Simple Adversary 和 Simple Push（多智能体粒子环境）。

研究发现

在简单领域的可行性： 在状态空间较小且被完全覆盖的 Kuhn Poker 中，JBR 的收敛行为与标准 PSRO 一致，证实了其在采样充分条件下的可行性。
朴素 JBR 的失效： 在 Leduc Poker 中，朴素 JBR（未进行探索或保守化处理）由于离线学习偏差，无法维持均衡准确度，其可利用性 (exploitability) 相比 PSRO 停滞在较高水平。
变体有效性：
- 保守型 JBR 表现稳定，但由于过度谨慎，其表现不如 PSRO。
- 增强探索型 JBR ( $\delta$ -R) 展现出适度的收益，但缺乏方向性。
- 增强探索型 JBR ( $\delta$ -T) 实现了最佳权衡，达到了接近 PSRO 的均衡准确度，且所需的样本量显著减少。其定向探索预判了对手的更新，从而实现了更快的早期收敛。
- 混合 BR (HBR-PSRO) 以仅有的少量样本成本增加，弥补了与 PSRO 之间的剩余准确度差距。
样本效率： JBR-PSRO- $\delta$ T 仅需标准 PSRO 约一半的总最佳响应回合数，即可达到接近 PSRO 的 NashConv。
与 MARL 的比较： 在所有环境中，基于 PSRO 的方法（包括 JBR 变体）在战略鲁棒性和均衡准确度方面始终优于标准的 MARL 范式（独立学习和 CTDE）。

5. 意义与主张

论文声称，JBR 使 PSRO 在保持均衡鲁棒性的同时，显著提升了实用性。

可扩展性： 通过在智能体之间摊销环境交互，JBR 降低了计算最佳响应的样本成本，解决了 PSRO 在多智能体或模拟器昂贵设置中的主要瓶颈。
鲁棒性： 结果证实，当通过提高样本效率时，具有战略基础的训练（PSRO 式）在战略鲁棒性上仍比标准 MARL 方法更强。
实际部署： 所提出的变体，特别是 JBR-PSRO- $\delta$ T 和 HBR-PSRO，为在环境交互成本占主导地位的领域部署 PSRO 提供了可行路径，且不会牺牲所学均衡的质量。

作者指出，尽管 JBR 提高了效率，但 PSRO 及其变体仍然比典型的 MARL 方法需要更多的迭代和样本，且向高维连续领域的扩展仍是未来工作的挑战。