💻 computer science

ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning

本文介绍了智能体链式策略优化（Agent-Chained Policy Optimization, ACPO），这是一种多智能体强化学习方法，它通过将同时进行的决策建模为以信念为条件的智能体动作序列链，实现了联合策略梯度的精确去中心化分解，从而能够进行独立的智能体训练，并集体保证联合改进，且在大型规模协作任务中优于现有的基准方法。

原作者： Daiki E. Matsunaga, Junho Na, Tri Wahyu Guntara, Scott Sanner, Pascal Poupart, Jongmin Lee, Kee-Eung Kim

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daiki E. Matsunaga, Junho Na, Tri Wahyu Guntara, Scott Sanner, Pascal Poupart, Jongmin Lee, Kee-Eung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“小组项目”的噩梦

想象一下，一个小组项目，每个人都必须共同努力来获得 A（共享奖励）。然而，有一个限制条件：

练习期间（训练）： 老师允许每个人查看彼此的笔记并讨论策略。
考试期间（执行）： 每个人都在不同的房间里，无法互相交流。他们必须根据自己的记忆独立行动。

这就是 CTDE（集中式训练，分布式执行）的设定。该论文认为现有的解决这种问题的方法存在缺陷：

方法 A（独立学习）： 每个人都独自学习，假设其他人不会改变主意。这往往会导致混乱，因为如果一个人改变了策略，其他人就会感到困惑。
方法 B（轮流进行）： 每个人轮流更新自己的策略，而其他人保持静止。这种方法很安全但很慢，并且经常陷入“足够好”的解（纳什均衡），而不是寻找“完美”的解。

解决方案：“链式”方法

作者提出了一种名为 ACPO（智能体链式策略优化）的新方法。

核心思想：秘密握手的链条
想象智能体们排成一排（智能体 1、智能体 2、智能体 3……）。在现实世界中，他们同时做出动作。但 ACPO 假装他们是一个接一个做出动作的，就像一场接力赛。

智能体 1 选择一个动作。
智能体 2 看到智能体 1 打算做什么（不一定是最终结果，而是计划）并据此选择自己的动作。
智能体 3 看到智能体 1 和智能体 2 的计划并据此选择动作。

尽管他们实际上是同步移动的，但 ACPO 教会他们像是在链条中移动一样去思考。这使他们能够完美协调，而无需在考试期间进行交谈。

它如何运作：“信念”机制

由于智能体 2 在考试期间无法看到智能体 1 实际的动作，智能体 2 如何知道该做什么？

“信念”（水晶球）： 在训练期间，智能体 2 学习根据共享的状态来预测智能体 1 的动作。这就像拥有一个水晶球，它会说：“基于当前状态，智能体 1 有 90% 的概率选择‘向左’。”
链条： 智能体 2 使用这个预测来决定自己的动作。智能体 3 则使用对智能体 1 和智能体 2 的预测。

这种“信念”充当了胶水。它将每个人的独立决策紧密结合在一起，形成一个单一且协调的团队协作。

魔法技巧：计分卡

论文证明了一个数学上的魔法技巧：你可以通过累加个人得分来计算团队的总分。

通常，计算如何提升整个团队是一个极其庞大且复杂的数学问题。ACPO 将其分解了。它表明，如果每个智能体都根据自己在链条中的特定角色来提升自己的“得分”，那么整个团队会自动提升。

旧方法： “我们需要一起解开一个巨大的拼图。”
ACPO 方法： “智能体 1，你修复你的部分。智能体 2，你根据智能体 1 的计划修复你的部分。智能体 3，你根据前两个人的计划修复你的部分。如果你们都这样做，整个拼图就会被解开。”

现实世界测试：结果

作者在三种不同的“游戏”上测试了该方法：

仓库机器人： 机器人尝试搬运货架并交付，同时避免互相碰撞。
星际争霸 (SMACv2)： 控制视频游戏中的单位小组以赢得战斗。
机器人学 (MuJoCo)： 让成组的模拟机器人（如蚂蚁或猎豹）协同行走或奔跑。

研究结果：

ACPO 击败了所有其他顶尖方法。
加入的智能体越多，ACPO 的表现就越好。 在仓库测试中，当他们增加更多机器人时（使空间变得更拥挤，协调难度更高），AC 表现出的领先优势进一步扩大。
无论智能体是在完美的直线路径上移动（完全可观测），还是必须猜测其他人的行为（部分可观测），它都有效。

总结

可以将 ACPO 看作是一种教导团队如何跳舞的新方法。与其告诉他们要完美地同步跳舞（这很难），或者告诉他们独自跳舞然后祈祷效果不错（这很混乱），不如教他们按照链式序列跳舞。每个舞者都学会根据关于群体行为的共同“信念”来预判下一个人的动作。这种视角的转变让整个团队即使在无法交谈的情况下，也能动作和谐一致。

技术摘要：ACPO：用于多智能体强化学习的智能体链式策略优化

问题陈述

协作式多智能体强化学习（Cooperative Multi-Agent Reinforcement Learning, MARL）旨在寻找能够共同最大化共享回报的去中心化策略。在中心化训练、去中心化执行（CTDE）范式下，一个根本性的挑战仍然存在：直接计算联合策略梯度非常困难。现有方法通常分为两类，两者都存在显著局限性：

独立策略优化（例如 MAPPO, MADDPG）： 智能体使用中心化评论家（centralized critics）独立更新其策略。虽然具有可扩展性，但这些方法缺乏联合策略改进的一般性保证，因为它们未能考虑到由其他智能体不断变化的策略所引入的非平稳性（non-stationarity）。其收敛性仅在具有强结构假设（如价值分解）的情况下才能得到保证。
交替最优响应优化（例如 HAPPO, HATRPO）： 智能体进行顺序更新，将其他智能体的策略视为固定。虽然这保证了每一步联合回报的单调改进，但其不动点是纳什均衡（Nash Equilibrium, NE）。在协作场景中，NE 可能与真正的社会最优解（social optimum）存在任意大的差距，且智能体没有机制来跳出这些次优均衡。

本文认为，如果不依赖限制性假设或避免收敛至次优均衡，上述两种方法都无法有效地针对底层多智能体马尔可夫决策过程（MMDP）的最优联合策略进行优化。

方法论：智能体链式策略优化 (ACPO)

本文的核心贡献是推导出了联合策略梯度的精确去中心化分解。这是通过引入一种新的形式化方法——智能体链式信念 MDP (Agent-Chained Belief MDP, AC-BMDP) 实现的，该方法将同步的联合决策问题转化为一个带有不完全信息的序列化决策过程。

1. 智能体链式信念 MDP (AC-BMDP)

受博弈论结果（即同步博弈可以重新构建为带有不完全信息的序列化过程）的启发，作者将每个环境时间步 $t$ 分解为 $N$ 个微步，每个智能体 $i \in \{1, \dots, N\}$ 对应一个微步。

序列化（Serialization）： 智能体在单个时间步内按顺序提交动作。智能体 $i$ 在智能体 $1 $至$ i-1$ 之后行动。
状态增强（State Augmentation）： 智能体 $i$ 的状态通过一个关于前序智能体已实现动作（ $\vec{a}^{<i}_t$ ）的信念 $b^{(i)}_t$ 进行增强。
去中心化执行（Decentralized Execution）： 由于在执行期间无法观测到前序智能体的实际动作，该信念是通过前序智能体的动作分布（ $\phi^{(j)}_t$ ）构建的。这些分布是共享状态和智能体策略的确定性函数，因此无需通信即可获取。
链式贝尔曼算子（Chained Bellman Operators）： 智能体 $i$ 的价值函数 $Q^{(i)}$ 是递归定义的。智能体 $i$ 的价值取决于下一个智能体（链中的下一个智能体）的价值。只有最后一个智能体（ $N$ ）接收环境奖励，并将其引导（bootstrap）至下一时间步的第一个智能体的价值。这种“链式”结构使得在不假设可分解的联合价值函数的情况下也能实现信用分配（credit assignment）。

2. 理论基础

本文建立了两个关键定理：

智能体链式策略梯度定理： AC-BMDP 的策略梯度可以使用标准的得分函数（score function）和仅以智能体自身状态及对前序动作的信念为条件的去中心化评论家 $Q^{(i)}$ 来计算。
多智能体策略梯度分解定理： 原 MMDP 的联合策略梯度被证明精确等于由 AC-BMDP 导出的 $N$ 个独立单智能体项之和。
$\nabla_\theta J(\vec{\pi}_\theta) = \frac{1}{(\gamma')^{N-1}} \sum_{i=1}^N \mathbb{E} \left[ \nabla_\theta \log \pi^{(i)}_\theta(a^{(i)} | s, b^{(i)}) \cdot Q^{(i)}([s, b^{(i)}], a^{(i)}) \right]$
至关重要的是，这种分解不需要任何结构性假设（不像 VDN 或 QMIX），并且避免了交替更新导致的次优不动点问题。

3. 算法实例化

作者实现了两种形式的 ACPO 实践应用：

ACPPO（On-Policy）： 一种基于 PPO 的算法，其中每个智能体使用经过裁剪的代理目标函数（clipped surrogate objective）以及智能体链式优势估计进行优化。优势是通过广义优势估计（GAE）计算的，它对跨越智能体链的链式时序差分（TD）残差进行求和。
ACTD3（Off-Policy）： 一种用于连续控制的基于 TD3 的算法，其中智能体维护遵循链式贝尔曼结构的孪生评论家（twin critics）。

信念近似（Belief Approximation）：

在**完全可观测（MMDP）**设置中，智能体通过查询前序智能体的策略网络来精确计算信念。
在部分可观测（Dec-POMDP）设置中，智能体采用动作信念网络（Action Belief Network），根据自身的局部历史来预测前序智能体的动作分布，并通过针对中心化目标的 KL 散度损失进行训练。

核心贡献

AC-BMDP 的形式化： 引入了一个结合了序列化与信念增强的正式框架，使得在 CTDE 下无需价值分解假设即可实现最优联合策略学习。
精确梯度分解： 证明了联合策略梯度可以精确分解为单智能体项，从而允许独立更新共同构成联合目标函数的单个梯度步。
收敛至最优联合策略： 与趋向于纳什均衡的交替方法不同，本文证明了在表格型（tabular）设置中，智能体链式策略迭代（ACPI）会收敛至底层 MMDP 的最优联合策略。
可扩展算法： 开发了 ACPPO 和 ACTD3，证明了智能体链式机制可以应用于包括在内的一系列在策略（on-policy）和离策略（off-policy）深度强化学习算法。

实验结果

作者在三个标准基准测试上评估了 ACPO：多机器人仓库（RWARE）、SMACv2 和 MA-MuJoCo。

性能： ACPO（特别是 ACPPO）一致优于强基线方法，包括 MAPPO（独立优化）、HAPPO/HATRPO（交替优化）以及价值分解方法（VDN, QMIX）。
智能体规模扩展性： 一个关键发现是，随着智能体数量的增加，ACPO 与基线之间的性能差距会扩大。在 RWARE 中，在 8 智能体和 12 智能体场景下的优势最为显著，这表明 ACPO 在高协调、高密度环境中特别有效。
离策略性能： 离策略变体 ACTD3 在 MA-MuJoCo 中也优于基线（MADDPG, HATD3），证明了智能体链式机制的通用性。
消融实验： 若移除智能体链式机制（将 ACPPO 简化为带有信念输入的 MAPPO），其性能与 MAPPO 相当，这证实了收益源于链式优势计算，而非仅仅是增加了信念状态。
效率： 虽然 ACPO 需要进行序列化信念计算，但其训练的墙钟时间（wall-clock time）与 MAPPO 相当，并且明显快于需要进行顺序智能体更新的交替方法（HAPPO/HATRPO）。

意义与主张

本文声称 ACPO 为 CTDE 下的协作式 MARL 问题提供了一个原则性的解决方案。其重要性在于：

弥合差距： 它统一了独立更新（可扩展性）与交替更新（单调改进保证）的优点，同时避免了各自的缺陷（非平稳性和次优纳什均衡）。
理论严谨性： 它提供了第一个不依赖于价值分解假设的精确联合策略梯度分解，在理论上保证了在表格型设置中收敛至社会最优解。
实际效能： 实验结果表明，与当前最先进的方法相比，通过显式的信念链进行协调是处理复杂多智能体协调任务的更优机制，尤其是在智能体群体复杂度增加时。

作者也谦虚地指出了局限性，具体而言，信念计算随智能体数量线性扩展（导致 $O(N^2)$ 次前向传播），且目前的理论保证依赖于全观测性（MMDP），将其向通用的 Dec-POMDP 扩展作为未来的工作。