技术摘要：重用轨迹在策略梯度中实现快速收敛

问题陈述

策略梯度（Policy Gradient, PG）方法在连续控制问题中非常有效，但存在样本效率低下的问题。标准的“原生”策略梯度算法（如 REINFORCE、GPOMDP）完全依赖于新鲜的在策略（on-policy）数据，达到 $\epsilon$-近似驻点需要 $O(\epsilon^{-2})$ 个轨迹。这种低效源于梯度估计的高方差，由于梯度始终是从新样本中估计的，该方差无法消失。

虽然重用过去的数据（离策略轨迹或梯度）是提高效率的常用策略，但现有的理论工作主要集中在梯度重用（例如 SVRPG、SRVRPG、STORM-PG）上，其收敛速率最高可达 $O(\epsilon^{-3/2})$。重用过去轨迹的做法虽然直观，但在严谨的理论研究方面仍很大程度上处于空白。以往尝试重用轨迹的方法要么缺乏收敛保证，要么依赖于强假设和复杂的估计器（例如需要存储所有过去的策略，或因朴素的重要性权重导致高方差）。

本文旨在解决的核心问题是：重用过去的离策略（off-policy）轨迹是否能为 PG 方法带来可证明的样本复杂度改进？

方法论

RT-PG 算法

作者提出了 RT-PG（Reusing Trajectories – Policy Gradient，重用轨迹策略梯度），这是一种通过利用最近 $\omega$ 次迭代中收集的轨迹来估计策略梯度的创新算法。其核心创新在于 多元幂平均（Multiple Power Mean, MPM）估计器，它结合了在策略和离策略数据，并采用了经过修正的多元重要性权重（Multiple Importance Weighting, MIW）方案。

MPM 估计器

为了解决重用数据带来的统计挑战（特别是当前策略参数与过去轨迹之间的依赖关系引入的偏差），MPM 估计器采用了两个关键机制：

1. 确定性系数： 与使用依赖于所有过去策略的系数（从而引入“跨时间偏差”）的平衡启发式（Balance Heuristic, BH）不同，RT-PG 使用仅取决于迭代次数和窗口索引的确定性系数 $\alpha_{i,k}$。这消除了跨时间偏差。
2. 幂平均（PM）修正： 为了确保重要性权重保持有界（一种“防御性”属性）并控制由确定性系数引入的偏差，该估计器对原始的重要性权重应用了 PM 修正。对于在策略 $\pi_{\theta_i}$ 下收集并在 $\pi_{\theta_k}$ 下评估的轨迹 $\tau$，其修正后的权重为：
   $$\left( (1 - \lambda_{i,k}) \frac{p_{\theta_i}(\tau)}{p_{\theta_k}(\tau)} + \lambda_{i,k} \right)^{-1}$$
   其中 $\lambda_{i,k} \in [0, 1]$ 是一个修正参数。该项代表了原始权重与 1 之间的调和平均，确保权重被限制在 $1/\lambda_{i,k}$ 以内。

理论分析

作者对 MPM 估计器进行了严谨的有限时间分析：

• 集中不等式（Concentration Bounds）： 他们使用针对鞅（martingales）的 Freedman 不等式以及覆盖论证（covering argument）来处理向量值梯度，推导出了估计器的高概率集中界限。
• 偏差控制： 分析明确地分离并控制了两个来源的偏差：
  • 目标偏差（Target Bias）： 由于目标参数 $\theta_k$ 取决于轨迹的历史，从而产生了目标偏差。这通过在包含历史相关目标的参数子集上进行覆盖论证来控制。
  • PM 偏差（PM Bias）： 由 PM 修正项引起的偏差。这通过根据批次大小和轨迹分布之间的 $\chi^2$ 散度界限来仔细选择 $\lambda_{i,k}$ 来管理。

核心贡献

1. 首个严谨证据： 本文提供了第一个理论证明，证明重用过去的离策略轨迹可以显著加速 PG 的收敛。
2. 新型估计器 (MPM)： 引入了 MPM 估计器，它能有效地将新鲜的在策略数据与最近 $\omega$ 次迭代中的离策略轨迹混合，同时保持有界的重要性权重并消除跨时间偏差。
3. 改进的样本复杂度：
   • 部分重用： 当重用最近 $\omega$ 次迭代的轨迹（其中 $\omega < K$）时，RT-PG 实现的样本复杂度为 $\tilde{O}(\epsilon^{-2}\omega^{-1})$。
   • 全量重用： 当重用所有可用的过去轨迹（其中 $\omega \ge K$）时，算法实现的样本复杂度为 $\tilde{O}(\epsilon^{-1})$。这匹配了文献中已知的 PG 方法的最佳速率，并且相比标准的 $O(\epsilon^{-2})$ 速率有了显著提升。
4. 实际实现： 提出了一种实用的 RT-PG 变体，能够根据经验估计的策略差异（散度）自适应地为离策略数据分配权重，从而在实践中无需使用理论上的全局界限 $D$。

结果

理论结果

在标准假设下（轨迹分布之间的 $\chi^2$ 散度有界且策略类具有正则性），作者证明了 RT-PG 能以以下复杂度找到 $\epsilon$-近似驻点：

• 在全量重用机制下，样本复杂度为 $\tilde{O}(\epsilon^{-1})$。
• 在部分重用机制下，样本复杂度为 $\tilde{O}(\epsilon^{-2}\omega^{-1})$。

这些结果在不需要存储过去策略（与基于 BH 的方法不同）的情况下成立，仅需存储过去的轨迹。

实验结果

作者在连续控制任务（Cart Pole, Half Cheetah, Swimmer）上使用线性高斯和深度高斯策略进行了实验。

• 样本效率： 在样本效率方面，RT-PG 一致优于标准的在策略基准（GPOMDP）以及最先进的方差缩减方法（SVRPG, SRVRPG, STORM-PG, DEF-PG）。在 Half Cheetah 环境中，RT-PG 取得的最终性能几乎是大多数基准方法的两倍。
• 轨迹重用影响： 通过改变窗口大小 $\omega$ 进行的实验表明，增加重用窗口可以加速收敛。RT-PG 在窗口过大时表现出收益递减，但即使在适度重用的情况下也显著优于基准方法。
• 与朴素重用的比较： RT-PG 显著优于 MIW-PG（使用均匀权重），验证了 PM 修正和自适应权重方案在控制方差方面的有效性。
• 内存效率： 与需要存储所有过去策略参数以计算权重的 BH 类方法不同，RT-PG 仅需存储过去的轨迹，这使其对于高维策略空间更具扩展性。

意义与主张

本文声称提供了第一个严谨的理论证据，证明了轨迹重用是加速策略梯度收敛的一种可行且强大的机制。通过引入 RT-PG 算法和 MPM 估计器，作者填补了“重用过去数据这一直觉想法”与“可证明收敛保证”之间的鸿沟。

其意义在于：

1. 理论进步： 确立了轨迹重用可以实现 $\tilde{O}(\epsilon^{-1})$ 的速率，而此前认为在没有强假设或梯度重用的情况下，这对于 PG 方法是难以实现的。
2. 实际效用： 证明了重用轨迹可以在不损害学习稳定性的情况下降低采样成本，为可能需要更大批次或复杂方差缩减技术的梯度重用方法提供了一个实用的替代方案。
3. 内存效率： 在实现改进速率的同时，避免了存储过去策略参数化的内存开销，这是其他轨迹重用方法（如平衡启发式）的一个局限。

作者对局限性保持了谦逊的态度，指出其结果依赖于轨迹分布之间 $\chi^2$ 散度有界的假设，并且样本复杂度取决于参数维度 $d_\Theta$。他们指出，消除这些假设并消除维度依赖性是未来的研究方向。