🤖 machine learning

Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL

本文介绍了近似下一策略采样（ANPS）及其实现稳定价值 PPO（SV-PPO），作为一种新颖方法，该方法以修正后的训练分布取代保守的策略约束，从而在深度强化学习中实现更大且更安全的策略更新。

原作者： Dillon Sandhu, Ronald Parr

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Dillon Sandhu, Ronald Parr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《近似下一策略采样：替代深度强化学习中的保守目标策略更新》的通俗解释，并辅以日常类比。

核心问题：“鸡生蛋，蛋生鸡”的困境

想象你正在教一个机器人玩电子游戏。要教会机器人，你需要两样东西：

一张地图（价值函数）：一份指南，告诉机器人某个特定处境有多好（例如：“如果我在这个角落，我就很安全”）。
一份计划（策略）：机器人实际用来移动的策略（例如：“总是向左走”）。

难点在于：为了让地图准确，你需要看到机器人去探索它实际会访问的地方。但为了让计划变得更好，你需要一张准确的地图。

如果机器人改变计划的幅度太大，它可能会闯入一些地图尚未学习过的陌生区域。在这些地方，地图会出错，机器人可能会做出糟糕的决策。
旧方案（保守更新）：为了避免这种情况，大多数现代人工智能算法都采取保守策略。它们只让计划发生微小的变化。这就像告诉机器人：“你只能向左迈出一小步。”这能让机器人停留在地图可信的熟悉领域。但缺点是，机器人学习得非常慢，因为它不敢向更优的策略迈出大步。

新想法：“近似下一策略采样”（ANPS）

作者提出了一种不同的解决方法。与其缩小机器人的步伐以适应旧地图，他们建议调整训练数据以适应新计划。

类比：侦察兵与将军
想象一场军事行动：

将军（目标策略）：决定最终战略的指挥官。
侦察兵（行为策略）：被派出去收集情报的士兵。

旧方案是如何运作的：将军给侦察兵下达一个微小的、几乎没变的指令。侦察兵出发收集数据并回报。然后，将军对战略进行微小的调整。这很安全，但很慢。

新方案（ANPS）是如何运作的：

将军想出了一个大胆的新战略（计划上的巨大飞跃）。
侦察兵被专门派去探索这个新战略将会涉足的领土。侦察兵被反复更新，以匹配将军的新愿景。
地图是利用侦察兵收集的数据构建的。因为侦察兵正在探索新战略即将前往的确切地点，所以在将军真正采纳该新战略之前，地图就已经对该新战略变得准确了。
最终采纳：一旦地图针对新战略变得稳定且准确，将军最终就会采纳新计划。

论文将这种方法称为近似下一策略采样（ANPS）。与其强迫战略保持微小，他们强迫数据收集去追赶战略。

解决方案：稳定价值 API（SV-API）

为了在实践中实现这一点，作者创建了一个特定的算法，称为SV-API（以及一个用于 PPO 的版本，称为SV-PPO）。

以下是其运作步骤的简单说明：

冻结目标：“目标策略”（我们最终想要使用的策略）被冻结不动。它暂时不发生变化。
派遣侦察兵：一个独立的“行为策略”（侦察兵）开始收集数据。它被允许快速改变和改进，以探索新领土。
等待稳定：系统观察地图（价值函数）。在地图停止剧烈变化之前，系统保持目标策略冻结。这意味着地图终于对新领土学习得足够好了。
巨大飞跃：一旦地图稳定，系统就会更新目标策略，以匹配侦察兵新的、改进后的策略。因为地图是专门为这片新领土构建的，所以即使跳跃幅度巨大，也是安全的。

结果：更大的飞跃，更好的性能

作者在两类挑战上测试了这种方法：

Atari 游戏：经典电子游戏，如《打砖块》（Breakout）和《吃豆小姐》（Ms. Pac-Man）。
连续控制：复杂的物理模拟（如平衡机器人或行走）。

他们的发现：

性能：新方法（SV-PPO）在几乎所有游戏中的表现都与标准方法（如 PPO）相当，甚至更好。
“飞跃”：最重要的发现是，SV-PPO 对策略进行了大得多的更新。虽然标准方法采取微小、谨慎的步骤，但 SV-PPO 能够在策略空间中做出巨大的飞跃而不会崩溃。
安全性：通过在跳跃之前等待“地图”稳定，他们避免了“灾难性遗忘”（即机器人突然忘记如何玩游戏），而这种情况在标准方法尝试过快改变时经常发生。

总结

该论文认为，我们不必害怕对 AI 的策略进行重大改变。与其缩小策略以适应数据，我们应该收集适应策略的数据。通过使用“侦察兵”率先探索未来，并等待“地图”变得准确，我们可以在学习中实现大胆、安全且高效的飞跃。

技术摘要：近似下一策略采样

问题陈述

深度强化学习（RL）算法在策略改进过程中面临一个根本性的“鸡生蛋、蛋生鸡”问题。为了安全地改进策略，价值函数必须在更新后（下一）策略的状态访问分布上是准确的。然而，在训练期间，该分布是未知的。

标准方法，如保守策略迭代（CPI）、信任区域策略优化（TRPO）和近端策略优化（PPO），通过限制策略更新保持较小幅度来解决这一问题。这确保了新策略的分布保持在当前分布附近，而价值函数在该处被假定为可信。虽然这防止了灾难性的性能下降，但它本质上限制了策略更新的幅度，通常导致收敛缓慢和数据利用效率低下。本文认为，这些保守方法是为了适应数据而缩小策略更新，而不是调整数据以适应潜在的策略。

方法论：近似下一策略采样（ANPS）

本文提出了**近似下一策略采样（ANPS）**作为一种替代范式。ANPS 不是限制目标策略保持接近当前策略，而是将训练数据的收集转向与预期的下一策略的状态访问分布相一致。

为了实现 ANPS，作者引入了稳定价值近似策略迭代（SV-API），这是一个将目标策略（ $\pi$ ）与行为策略（ $\beta$ ）解耦的框架。

目标策略（ $\pi_k$ ）： 在多次迭代中保持不变。它定义了价值目标（ $Q^{\pi_k}$ ）和更新的最终目标。
行为策略（ $\beta_k$ ）： 一个迭代更新的策略，负责数据收集。它被优化以探索与固定目标策略相关的状态，并使其自身的分布与预期的下一目标策略对齐。
稳定性门控： 算法仅在满足稳定性准则 $C$ 时才承诺更新目标策略（ $\pi_{k+1} \leftarrow \beta_{k+1}$ ）。该准则监控价值估计和行为策略的收敛情况。

其核心逻辑是，通过保持目标策略固定，行为策略可以安全地探索并收集数据，以准确估计 $Q^{\pi_k}$ 。一旦价值估计稳定且行为策略与目标对齐，即可执行一次大的、无约束的“跳跃”至新策略。

理论框架

本文推导了理论界限以证明该方法的合理性：

定理 3.3： 建立了一个策略改进的界限，该界限明确包含了下一策略分布上的加权动作价值误差（ $\epsilon(d_{\pi'}, q_\pi)$ ）。这突显出，只要价值函数在下一策略的分布上是准确的，无论策略跳跃的大小如何，改进都是有保证的。
引理 3.5 与推论 3.6： 表明如果训练分布实现了 $\delta$ -下一策略对齐（NPA）（即接近下一策略的分布），则下一策略上的误差由训练误差加上一个与分布偏移成正比的项所界定。
定理 4.3： 证明了如果行为策略稳定（确保 $\beta_k$ 和 $\beta_{k+1}$ 之间的分布偏移较小）且训练分布上的价值误差有界，SV-API 能保证策略改进。至关重要的是，该定理允许无约束的目标策略更新，而保守方法则通过步长缩小改进项。

主要贡献

近似下一策略采样（ANPS）： 一种新颖的方法，将训练数据与下一策略的分布对齐，而不是限制策略更新的幅度。
理论界限： 一个通用界限（定理 3.3）隔离了下一策略分布的重要性，以及一个特定界限（定理 4.3）证明 SV-API 通过控制训练误差和行为发散性来保证改进，从而实现更大的策略跳跃。
SV-API 框架： 一个实用的封装（实现为 SV-PPO），它将行为策略和目标策略解耦，允许算法保持目标固定，收集相关经验，并安全地执行更大的策略更新。
实证验证： 证明 SV-PPO 在高维离散（Atari）和连续控制（Brax）基准测试中，性能达到或超过了标准 PPO，同时执行了大得多的目标策略更新。

结果

作者在 16 个 Atari 游戏和 12 个 Brax 连续控制任务上评估了 SV-PPO 与标准 PPO。

性能： SV-PPO 达到或超过了 PPO 的性能。在 Atari 上，动态变体在 16 个游戏中有 11 个击败了 PPO（其中 6 个具有统计显著性），静态变体在 7 个游戏中击败了 PPO。在 Brax 上，动态变体显示出中位数 1% 的提升。
更新幅度： SV-PPO 执行了显著更大的目标策略更新。静态变体做出的更新（在 KL 散度方面）大约是 PPO 的 511%，而动态变体做出的更新平均大了 96%。
行为稳定性： 尽管目标跳跃较大，但行为策略的更新仍然很小且受控，确保了数据收集期间的分布偏移得到控制。
案例研究（四房间）： 在一个网格世界实验中，标准 PPO 由于基于罕见访问状态的不准确价值估计而进行过早更新，导致在第 80 次迭代左右出现“价值震荡”和灾难性遗忘。SV-PPO 通过冻结目标策略并允许行为策略收集大量数据，成功收敛到最优策略，避免了这些失败。

意义与主张

本文声称，ANPS 为经典的保守策略更新策略提供了一个可行的替代方案。通过将分布对齐的负担从策略更新幅度转移到数据收集过程，ANPS 允许实现经典策略迭代所特有的“大跳跃”，同时保持现代深度 RL 的安全保证。

作者强调，这种方法通过主动采样下一策略将访问的状态，而不是回避它们，从而解决了分布不匹配问题。他们指出，虽然该方法依赖于离线策略评估（引入单独的行为策略）并使用代理指标（价值估计的稳定性）来确定更新时机，但它成功证明了如果底层价值函数在相关分布上足够准确，大的策略更新可以是安全的。这项工作表明，对策略更新的“保守”约束可能是当前算法设计的产物，而非 RL 稳定性的根本要求。