技术摘要：在多智能体强化学习中保留次优动作以跟随动态最优解

问题陈述

在合作型多智能体强化学习（MARL）中，基于集中训练分散执行（CTDE）范式的价值分解方法（如 QMIX）已取得显著成功。然而，这些方法依赖于通过单调性约束强制实施的个体 - 全局最大（IGM）条件，这限制了联合动作价值函数的表达能力。本工作指出的一个关键局限是，现有方法无法在训练过程中底层价值函数发生动态变化时进行适应。

传统方法通常专注于学习单一的最优联合动作。当环境或奖励结构发生变化导致最优动作发生转移（例如从动作 $A$ 转移到动作 $C$）时，依赖单一最优轨迹的方法往往无法恢复新的最优解。这一问题在大型联合动作空间中因过度依赖 $\epsilon$-greedy 策略而加剧，因为在这些空间中，联合探索替代性高价值动作的概率随智能体数量的增加呈指数级下降。因此，智能体往往过早收敛到次优策略，难以跟踪移动的最优解。

方法论：连续子价值 Q 学习（S2Q）

为了克服这些局限，作者提出了连续子价值 Q 学习（S2Q），这是一个旨在保留替代性高价值动作并实现对动态最优解快速适应的框架。

核心机制

S2Q 摒弃了单一价值方法，转而学习一系列 $K+1$ 个子价值函数，记为 $Q^{sub}_k$（其中 $k = 0, \dots, K$）。

• $Q^{sub}_0$：定义为全局联合价值函数 $Q_{tot}$，旨在 IGM 条件下识别真正的最优动作。
• $Q^{sub}_k$（$k > 0$）：设计用于捕捉第 $k$ 个次优联合动作。

学习过程采用连续抑制策略。当 $Q^{sub}_0$ 学习全局最优解时，后续的子价值函数被训练以最大化那些未被先前子价值函数识别的动作的联合价值。这是通过修改时序差分（TD）学习目标并加入抑制项来实现的。对于给定的子价值函数 $Q^{sub}_k$，其目标值会被调整，以抑制已被 $Q^{sub}_0, \dots, Q^{sub}_{k-1}$ 识别为最优或次优的动作。

$Q^{sub}_k$ 的目标函数定义为：
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
其中 $A_{k-1,t}$ 是由先前子网络识别的动作集合，$\alpha$ 是抑制因子，$y_t$ 是源自无约束价值函数 $Q^*$ 的目标值。理论分析（定理 4.1）保证，在 $\alpha$ 足够大的情况下，每个 $Q^{sub}_k$ 都能成功识别第 $k$ 个次优动作。

通过通信进行的协调执行

为了有效利用这些子价值函数，S2Q 用基于 Softmax 的行为策略取代了标准的 $\epsilon$-greedy 策略。

1. 采样：在训练期间，智能体根据所跟踪的次优动作的值（$Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$），从 Softmax 分布 $P_t$ 中采样一个索引 $k$。
2. 执行：一旦采样到 $k$，智能体便根据相应子价值函数 $Q^{sub}_k$ 的 $\epsilon$-greedy 策略执行动作。
3. 协调：由于分散式智能体无法直接观察全局分布 $P_t$，S2Q 在训练期间采用编码器 - 解码器架构。编码器将局部历史映射为潜在表示 $z_t$，解码器则重构全局状态及近似分布 $\hat{P}_t$。智能体基于 $\hat{P}_t$ 同步其 $k$ 的选择。
4. 分散式执行：关键在于，在测试阶段无需通信。由于 $Q^{sub}_0$（等同于 $Q_{tot}$）足以产生贪婪最优动作，评估过程保持完全分散且无需通信。此外，还提出了一种变体S2Q-Comm，适用于严格需要通信的环境，该变体在执行期间提供潜在表示 $z_t$。

主要贡献

1. 动态最优性转移的识别：本文指出，现有的价值分解方法无法跟踪移动的最优解，因为它们在找到单一最优解后便丢弃了关于次优动作的信息。
2. 连续子价值学习：引入了一种显式学习并保留多个次优动作的框架，使系统能够在最优动作发生变化时迅速调整。
3. 基于 Softmax 的探索：提出了一种新颖的探索策略，根据估计值优先访问有前景的次优动作，克服了 $\epsilon$-greedy 策略中联合探索概率随智能体数量增加而指数级衰减的问题。
4. 通信高效设计：一种仅在训练期间利用通信来同步子价值选择的机制，在执行期间保持完全分散化。

实验结果

作者在两个主要基准测试上评估了 S2Q：星际争霸多智能体挑战（SMAC）和谷歌研究足球（GRF）。

• SMAC-Hard+ 和 GRF：S2Q 在各种地图（如 6h vs 8z、MMM2、Corridor）上始终优于最先进基线（包括 QMIX、WQMIX、DOP、FOP、PAC、RiskQ 和 MARR）。在训练过程中最优策略发生转移的探索密集型场景中，性能差距最为显著。S2Q 展现了更快的收敛速度和更高的渐近胜率。
• SMAC-Comm：在需要显式通信的任务中（如 5z vs 1ul、bane vs hM），S2Q-Comm 变体在需要通信的基线（如 MASIA、NDQ 和 CAMA）上取得了显著优势，特别是在复杂的协调任务中。
• 随机环境：S2Q 在 SMACv2（随机化队伍组成）和 SMAC-Hard（混合对手）中保持了优越的性能，证明了对随机动态的鲁棒性。
• 通用性：该方法成功扩展到其他 CTDE 基线（如 VDN 和 QPLEX），并带来了一致的性能提升。
• 消融实验：实验证实，连续子价值学习和 Softmax 引导的执行是关键组件。移除抑制机制或 Softmax 策略会显著降低性能。最优的子网络数量（$K$）被确定为 2，以平衡多样性和稳定性。

意义与主张

本文声称，S2Q 解决了合作型 MARL 中的一个根本性局限：收敛于单一最优策略的方法的僵化性。通过保留次优动作，S2Q 使智能体能够在不过早收敛的情况下快速适应变化的价值景观。

作者将 S2Q 定位为一种实用且通用的框架，能够提高在具有挑战性的 MARL 环境中的适应性和整体性能。他们强调，该方法在无需执行期间通信的情况下实现了这些提升，使其适用于通信带宽可能受限的现实世界部署。这项工作表明，显式跟踪次优替代方案是增强多智能体系统探索能力和鲁棒性的可行且有效的策略。