技术摘要：重新审视受限策略类的策略梯度

问题陈述

标准策略梯度（PG）方法被广泛用于求解马尔可夫决策过程（MDP）。虽然它们在充分探索的无限制策略类中理论上保证收敛到最优策略，但在受限策略类中却经常失效。在这些设定中（包括状态聚合、去中心化多智能体系统和部分可观测环境），PG 方法往往陷入次优临界点。

作者将这种失效的根本原因归结为标准策略梯度定理的短视性。该定理依赖于单步 Q 函数，即基于单个动作步骤评估策略的改进，随后便回归到当前策略。在受限类中，这种“短视”意味着，即使该类中存在更优的策略，梯度也可能指示无改进方向，因为偏离当前策略的即时单步成本看似很高，而长期收益（需要新策略的多步执行）并未被纳入梯度计算。即使在全可观测设定中，如果初始状态分布缺乏足够的探索以覆盖最优策略的支持集，这一问题依然存在。

方法论

1. 相关策略公式化

为了解决短视问题，作者提出了策略的重构。他们不再将随机策略视为从状态到动作分布的直接映射 $\pi: S \to \Delta(A)$，而是将相关策略 $\tilde{\pi}$ 定义为一组确定性策略 $\Pi_{det}$ 上的分布。

• 受限类：学习过程在 $\tilde{\Pi}_{res} = \Delta(\Pi_{det})$ 上运行，即预定义的一组确定性策略上所有分布的集合。
• 执行：在标准 rollout 中，每一步独立地从 $\tilde{\pi}$ 中采样一个确定性策略。然而，作者引入了一种k 步评估机制。

2. k 步策略梯度

核心创新是k 步策略梯度，它通过修改评估视界来逃离局部最优。

• k 步价值函数（$J_{\tilde{\pi}, k}$）：算法不再在每一步采样新的确定性策略，而是采样一个确定性策略 $\pi_{det} \sim \tilde{\pi}$ 并执行连续的 k 步，然后再重新采样。
• k 步 Q 函数（$Q_{\tilde{\pi}, k}$）：该函数评估在前 k 步采取特定确定性策略 $\pi'_{det}$，随后执行 $\tilde{\pi}$ 的标准 k 步 rollout 所带来的回报。
• 定理 5.5（k 步 PG 定理）：k 步价值函数关于 $\tilde{\pi}$ 参数的梯度使用 k 步 Q 函数表示：
  $$\nabla_\alpha J_{\tilde{\pi}_\alpha, k}(\mu) = \frac{1}{1-\gamma^k} \mathbb{E}_{s \sim d_{\tilde{\pi}_\alpha, k}^\mu} \left[ \mathbb{E}_{\pi_{det} \sim \tilde{\pi}_\alpha} [Q_{\tilde{\pi}_\alpha, k}(s, \pi_{det}) \nabla_\alpha \log \tilde{\pi}_\alpha(\pi_{det})] \right]$$
  通过在 k 步窗口内评估动作，梯度能够“看到”那些可能产生短期成本但具有长期收益的确定性策略，从而纠正短视偏差。

3. 优化算法

本文分析了投影梯度下降（PGD）和镜像下降应用于此 k 步目标时的收敛性。该分析仅假设价值函数的平滑性和可微性，避免了先前文献中常见的强假设（如贝尔曼完备性或梯度优势）。

主要贡献与结果

1. 近最优性的理论保证

主要的理论贡献是证明了 k 步目标的所有零梯度临界点和边界局部极小值在性能上都与最优确定性策略指数级接近。

• 定理 6.1：对于任意临界点 $\tilde{\pi}_{crit}$，性能差距满足：
  $$\mathbb{E}_{\pi_{det} \sim \tilde{\pi}_{crit}}[J_{\pi_{det}}(\mu)] - J_{\pi^*_{det}}(\mu) \leq \frac{8\gamma^k}{1-\gamma} g_{max}$$
  随着 $k$ 的增加，该界限呈指数级收紧，有效消除了困扰单步方法的次优局部极小值。

2. 收敛速率

作者证明，下降算法（PGD 和镜像下降）以$O(1/T)$的速率收敛到这些近最优解。

• 定理 6.2 与 6.3：尽管缺乏标准梯度优势条件（该条件在受限类中经常失效），k 步评估诱导了一种近似梯度优势条件。这使得算法能够实现更快的 $O(1/T)$ 速率（通常与凸或梯度优势问题相关），而不是平滑非凸函数典型的较慢 $O(1/\sqrt{T})$ 速率。

3. 避免分布不匹配

一个重要的发现是，这些界限不依赖于分布不匹配因子 $\|d_{\pi^*}^\mu / d_{\pi}^\mu\|_\infty$ 或 $\|d_{\pi^*}^\mu / \mu\|_\infty$。

• 在标准 PG 理论中，如果初始分布 $\mu$ 未覆盖最优策略状态占用的支持集，这些因子可能为无穷大，导致即使在全可观测设定中也会出现次优临界点。
• 研究表明，只要 $k$ 足够大，k 步方法就能无论初始分布的覆盖范围如何，都能逃离这些点。

意义与应用

本文声称，这项工作为求解具有受限策略类的复杂 MDP 提供了理论基础，而在此类问题中，以往的方法要么失效，要么依赖于不切实际的假设。

• 状态聚合：该方法为将聚合状态映射到动作的策略提供了近最优保证，这是大规模系统中的常见需求。
• 多智能体系统：它适用于具有独立智能体、去中心化智能体和组去中心化智能体的合作设定。这些通常被建模为 Dec-POMDP，已知是不可处理的（NEXP 完全）。本文为这些设定中的基于梯度的方法提供了积极的理论结果。
• 全可观测设定：这项工作强调，即使在全可观测 MDP 中，糟糕的探索（初始状态分布）也可能产生次优临界点。k 步方法提供了一种机制，无需完美的初始探索即可逃离这些点。

结论

通过将短视的单步评估转变为相关的 k 步评估，所提出的方法从根本上改变了受限策略类的优化景观。它保证了临界点与最优解指数级接近，并确保标准下降算法快速收敛，且无需强可实现性假设或完美的初始探索。这填补了理论保证与状态聚合及多智能体强化学习实际应用之间的鸿沟。