📊 statistics

Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework

本文引入了双重平滑策略迭代（DSPI）框架，以证明自然策略梯度是策略迭代的一种精确平滑且平均的形式，从而在不修改马尔可夫决策过程或采用自适应步长的情况下，证明了其在无正则化情形下具有分布无关的全局几何收敛性及有限步终止性。

原作者： Phalguni Nanda, Zaiwei Chen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Phalguni Nanda, Zaiwei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何穿越一个巨大而复杂的迷宫以找到出口。机器人并不知道地图；它只知道迈出一步后会发生什么（是撞到了墙？还是捡到了一枚硬币？）。这就是**强化学习（RL）**的世界。

几十年来，研究人员一直有两种主要方法来教导这个机器人：

“硬”方法（策略迭代）： 查看整张地图，找出每个位置的最佳单步行动，并直接跳转到该新策略。这种方法速度快，但需要完美且僵化的计算。
“软”方法（自然策略梯度）： 迈出小心谨慎的小步，根据上一步行动带来的好坏感受来调整机器人的“本能”。这种方法灵活，但可能需要很长时间才能证明其实际有效性。

本文介绍了一种看待该问题的新方法，称为DSPI（双重平滑策略迭代）。作者表明，“软”方法实际上只是“硬”方法的一种巧妙且经过平滑处理的版本。

以下是使用简单类比进行的分解：

1. 两种“平滑”技巧

作者表示，他们的新方法 DSPI 使用了两种特定的“平滑”技术来弥合硬方法和软方法之间的差距。可以将这些视为应用于机器人学习过程的两个过滤器：

平滑 #1：“记忆库”（平均）
与其让机器人只听从它最近一次的经历，DSPI 让机器人查看其过去所有经历的加权平均。
- 类比： 想象你试图预测天气。与其只看此刻的天空，不如查看过去一周天气的加权平均。这能防止你因单一晴天或单一风暴而反应过度。在论文中，这被称为对过去的"Q 函数”（即衡量不同行动好坏的地图）进行平均。
平滑 #2：“温和的推动”（正则化）
与其让机器人突然、生硬地决定选择那个唯一的“最佳”行动，不如鼓励它选择一个大部分很好但也保留了一些多样性的行动。
- 类比： 想象一位厨师决定做什么菜。一位“贪婪”的厨师只烹饪昨天销量最好的一道菜。而一位“平滑”的厨师会烹饪最好的菜，但会在菜单上保留一点旧日的最爱，以免遗忘它们。在数学上，这相当于添加一个“正则化”项（如熵），防止机器人的选择过快变得过于僵化。

2. 重大发现：它们是一回事

本文的主要“顿悟”时刻在于证明，自然策略梯度（NPG）——一种在现代视频游戏 AI 和机器人技术中广泛使用的流行算法——实际上只是 DSPI 的伪装。

旧观点： 科学家认为 NPG 是一个连续优化问题（就像让球滚下山坡）。
新观点： 作者表明，NPG 实际上只是经典策略迭代（即“硬”方法）的一种“平滑且平均”的版本。

通过意识到这一点，他们可以利用“硬”方法中经过验证的旧数学来证明“软”方法能够完美运作。

3. 为何这很重要（结果）

由于他们采用了这种框架，他们能够证明关于这些算法学习速度的一些非常强有力的结论，而无需改变游戏规则或在数学中添加额外的“拐杖”（正则化）。

保证的速度： 他们证明了这些算法以几何速率收敛（找到最佳解决方案）。
- 类比： 想象你正走向一个目的地。某些方法的步伐越来越小，永远无法到达。本文证明，使用他们的方法，你每走一步就能将到目标的距离减半（或按固定比例减少）。你能很快到达那里。
无需额外拐杖： 许多先前的证明需要添加额外的数学“正则化”（例如强迫机器人保持额外的好奇心），仅仅是为了让数学成立。本文表明你不需要那样做；该算法天然有效。
无需“魔法”步长： 他们不需要机器人根据当前路径神奇地知道该迈多大的步子。他们可以使用简单的、预设的步长计划。

4. “双重平均”的特例

本文还考察了一个特定版本，其中机器人不使用“温和的推动”（无平滑 #2），但仍使用“记忆库”（平滑 #1）。

他们证明了即使这个版本也能在有限步数内终止。
类比： 这就像证明，如果你根据平均历史不断淘汰糟糕的行动，你最终会耗尽糟糕的行动，只剩下完美的一个，并且你可以确切计算出需要多少天。

总结

作者构建了一个统一框架（DSPI），它充当翻译的角色。它将现代、灵活的“自然策略梯度”方法翻译成经典、僵化的“策略迭代”方法的语言。

通过这样做，他们表明现代方法继承了经典方法的最佳特性：它速度快，保证有效，且不需要额外的技巧来支撑数学逻辑。 他们还表明，即使机器人使用简化的地图（线性函数逼近）或试图解决“最短路径”问题（目标是尽快停止），该方法依然有效。

技术摘要：自然策略梯度作为双重平滑策略迭代

问题陈述

强化学习（RL）问题通常被建模为马尔可夫决策过程（MDP）。虽然经典的动态规划方法（如策略迭代 PI 和价值迭代 VI）依赖于贝尔曼算子的收缩性和单调性性质，但现代基于梯度的方法（如自然策略梯度 NPG 和策略对偶平均 PDA）通常通过策略空间上的连续优化视角进行分析。

文献中存在一个概念性缺口：对 NPG 的分析往往未能利用贝尔曼算子基本的 $\ell_\infty$ -范数收缩性，而后者正是经典方法强收敛保证的基础。因此，现有的 NPG 理论结果往往存在以下一种或多种局限性：

缺乏全局几何收敛性。
依赖于初始状态分布或集中性系数。
需要对 MDP 或算法进行额外的正则化以诱导曲率。
依赖于自适应的、依赖于轨迹的步长。

本文旨在通过提供一个统一的框架来弥合这一缺口，该框架将经典 PI 与现代基于梯度的方法联系起来，从而在不修改 MDP 或不需要自适应步长的情况下，实现分布无关的几何收敛分析。

方法论：双重平滑策略迭代（DSPI）

作者提出了双重平滑策略迭代（DSPI），这是一个形式化为贝尔曼算子框架的统一算法框架。DSPI 通过对过去 Q 函数的加权平均应用正则化贪婪步来更新策略。

DSPI 的核心涉及两个层面的平滑：

平均平滑：算法不仅使用最新的 Q 函数，而是维护所有过去 Q 函数的运行平均值（ $\bar{Q}_k$ ）。
正则化平滑：贪婪策略更新被替换为涉及凹函数 $\nu(\cdot)$ （如熵）的正则化步（例如 softmax）。

更新规则定义为：
$\pi_{k+1}(s) \in \arg\max_{\mu \in \Delta(A)} \left\{ \mu^\top \bar{Q}_{k+1}(s) + \eta_k \nu(\mu) \right\}$
其中 $\bar{Q}_{k+1} = (1-\beta_k)\bar{Q}_k + \beta_k Q_{\pi_k}$ ，且平滑参数 $\eta_k$ 基于步长 $\beta_k$ 呈几何衰减。

关键在于，作者证明了 DSPI 可以使用平滑贝尔曼算子（ $H_\eta$ 和 $H^\pi_\eta$ ）进行紧凑表述。这使得算法能够利用这些算子的单调性和收缩性进行分析，而不仅仅依赖于优化理论工具。

主要贡献

1. 算法的统一

本文确立了 DSPI 是一个通用框架，涵盖了多个主要算法作为特例：

策略迭代（PI）：当步长 $\beta_k \equiv 1$ （无平均）且正则化消失时恢复。
自然策略梯度（NPG）：通过设置 $\nu(\cdot)$ 为香农熵并选择特定的步长调度来恢复。
策略对偶平均（PDA）：通过选择 $\nu(\cdot)$ 作为移位负散度生成函数来恢复。
对偶平均策略迭代：一种新变体，其中策略基于平均 Q 函数贪婪更新（ $\nu(\cdot) \equiv 0$ ）。

2. 统一的收敛分析

通过利用平滑贝尔曼算子的性质，作者为 DSPI 提供了统一的收敛分析：

渐近收敛：对任何非可求和的步长序列证明成立。
全局几何收敛：对常数步长证明成立。误差界由下式给出：
$\|V^* - V^{\pi_k}\|_\infty \leq (1 - (1-\gamma)\beta)^{k-1} (\gamma \|V^* - V^{\pi_0}\|_\infty + \tau \nu_{\max})$
其中 $\gamma$ 是折扣因子， $\beta$ 是常数步长。

3. NPG 和 PDA 的理论保证改进

将 DSPI 框架应用于 NPG 和 PDA 产生了以下结果，这些结果在不需限制性假设的情况下改进或匹配了最先进水平：

分布无关：收敛界仅依赖于价值函数差距的 $\ell_\infty$ -范数，而不依赖于初始状态分布或集中性系数。
无需额外正则化：分析成立无需修改 MDP 或在标准 NPG 固有的熵项之外添加额外的正则化项。
简单步长：结果适用于简单的、预先指定的几何递增步长调度（ $\alpha_k = \beta \alpha_0 / (1-\beta)^k$ ），消除了对依赖于策略轨迹或贝尔曼误差的自适应步长的需求。
迭代复杂度：NPG 和 PDA 在 $O((1-\gamma)^{-1} \log((1-\gamma)^{-1}\epsilon^{-1}))$ 次迭代内达到 $\epsilon$ -最优策略。

4. 对偶平均 PI 的有限终止

对于无正则化情况（对偶平均 PI），作者证明了有限终止。该算法在最多 $O(mn(1-\gamma)^{-1} \log((1-\gamma)^{-1}))$ 次迭代内找到最优策略，其中 $n$ 和 $m$ 分别是状态空间和动作空间的大小。这是通过证明该算法每 $k^*$ 次迭代至少消除一个次优动作来实现的。

5. 扩展

该框架被证明可自然扩展到：

线性函数近似：带有线性函数近似的 DSPI 实现了直至函数近似误差项的几何收敛。
随机最短路径（SSP）问题：分析扩展到无折扣 SSP 问题，在所有平稳策略均为适当的假设下，建立了分布无关的全局几何收敛性。

结果与意义

本文声称其主要意义在于提供了一个统一视角，将经典动态规划与现代基于梯度的 RL 联系起来。通过将 NPG 和 PDA 解释为策略迭代的平滑和平均变体，作者能够：

恢复强保证：仅利用贝尔曼算子的内在性质（单调性和收缩性）为 NPG 和 PDA 建立全局几何收敛性。
消除人为因素：消除了以往基于优化的分析中通常所需的“诱导曲率”的正则化或自适应步长。
简化分析：提供了一种更简单、更 principled 的分析方法，避免了分布不匹配系数的复杂性。

作者指出，虽然他们当前的分析假设可以访问精确的 Q 函数（从而隔离策略改进动态），但该框架为未来在无模型设置（其中必须估计 Q 函数）中的工作奠定了基础。他们指出，将 DSPI 与有限时间策略评估保证相结合，是实现无模型 RL 精确样本复杂度结果的非平凡下一步。