🤖 machine learning

Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition

本文提出了一种针对折扣马尔可夫决策过程的稳定且计算高效的二阶演员 - 评论家方法，该方法利用海森矩阵 - 向量积，并借助双时间尺度框架来论证在演员更新过程中将动作价值函数视为局部常数处理的合理性。

原作者： Sanjeev Manivannan, Shuban V

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Sanjeev Manivannan, Shuban V

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人如何行走、驾驶汽车或平衡一根杆子。在人工智能领域，这被称为强化学习。机器人（即“智能体”）尝试不同的动作，因表现良好而获得奖励，并从错误中学习，从而随时间推移不断进步。

你分享的这篇论文介绍了一种更聪明的教机器人学习的新方法。它解决了一个具体问题：如何在不被数学复杂性压垮的前提下，让学习过程更快、更稳定？

以下是用简单类比进行的分解说明：

1. 问题所在：“盲眼徒步者”与“读图者”

大多数现有方法（称为一阶方法）就像一位试图登顶的盲眼徒步者。

工作原理：他们迈出一小步，感受地面是上坡还是下坡，然后朝那个方向再迈一步。
缺陷：他们不知道山体的形状。是缓坡？是陡峭的悬崖？还是紧邻的深谷？由于他们只能感知即时的坡度，因此常常走之字形路线、迈出极小的步伐，或被困在微小的凹陷中，导致旅程非常缓慢。

二阶方法则像一位读图者。

工作原理：他们观察地形的曲率。他们会想：“啊，这是一个陡峭的山谷；我应该迈出一大步，径直走向山顶。”这通常能让他们更快地到达终点。
缺陷：计算整座山的确切形状极其昂贵且缓慢。它需要巨大的计算能力，以至于在实时场景中往往无法实现。此外，如果地图略有错误（由于数据噪声），机器人可能会迈出一大步而坠入悬崖。

2. 解决方案：“双速团队”

作者提出了一种巧妙的技巧，既能获得“读图者”的优势，又无需承担高昂的成本或坠崖的风险。他们采用了一种**双时标演员 - 评论家（Two-Timescale Actor-Critic）**框架。

将其想象为两个人协同工作：

评论家（快速学习者）：这个人反应极快。他们持续观察机器人，并立即评价：“那个动作很好！”或“那个动作很糟糕！”他们更新观点的速度极快。
演员（慢速学习者）：这是实际执行动作的机器人。他们改变策略的速度较慢。

核心洞察：由于评论家更新得如此之快，当演员做出动作时，评论家的观点已经“稳定”下来。评论家如此稳定，以至于在极短的瞬间内，我们可以假设评论家的观点不会仅仅因为演员的移动而改变。

这使得数学计算可以忽略方程中一个非常混乱、复杂的部分（称为“交互项”），而该部分通常会导致“读图者”崩溃。这简化了地图，使其既安全又易于使用。

3. 两种新方法：ACGN1 与 ACGN2

利用这种“双速团队”的思路，作者提出了两种具体的计算“地图”的方法：

ACGN1（“全景”方法）：该方法试图利用所有可用的曲率信息。它既观察坡度，也观察山丘的形状。
- 优点：信息量丰富。
- 缺点：噪声稍大，计算负担较重。就像试图在风中摇晃时阅读地图。
ACGN2（“纯形状”方法）：该方法更为保守。它忽略数学中的“坡度”部分，仅专注于策略的内在形状（曲率）。
- 优点：更加稳定可靠。就像查看一张平稳清晰的地图。
- 缺点：可能会遗漏极细微的细节，但极少犯下灾难性错误。

4. 他们发现了什么？

作者在多种类似视频游戏的任务中测试了这些方法（例如在推车上平衡杆子或让宇宙飞船着陆）。

结果：两种新方法（ACGN1 和 ACGN2）的学习速度更快，且使用的训练尝试次数（样本）更少，优于旧的“盲眼徒步者”方法。
权衡：新方法在每一步计算地图时需要稍多的计算机时间，但由于它们学习速度快得多，因此完成整个任务所需的时间大大缩短。
获胜者：在简单任务中，ACGN2表现最为出色。它最稳定，收敛速度最快。在非常复杂的高维任务中（例如人形机器人行走），两种方法都表现良好，尽管 ACGN2 显示出稍多的波动，而 ACGN1 则非常稳定。

总结

论文指出：“我们找到了一种方法，为机器人提供一张‘感知曲率’的地图（二阶方法），帮助它们更快学习。我们通过使用‘快速评论家’来稳定数学计算，使其既安全又高效。这使得机器人能够以更少的错误和更少的时间浪费来学习复杂技能。”

他们并未声称这能解决医疗问题或控制现实世界的交通；他们只是证明了在标准机器人模拟基准测试中，该方法比旧方法更有效。

技术摘要：基于策略 Hessian 分解的折扣马尔可夫决策过程二阶 Actor-Critic 方法

问题陈述

大规模场景下的强化学习（RL）面临两大主要挑战：维数灾难使得表格方法变得不可行，以及一阶策略搜索方法的局限性。尽管 Actor-Critic 方法缓解了价值近似的方差问题，但它们依赖于忽略目标函数曲率的一阶更新。这导致收敛缓慢且对策略参数化敏感。相反，二阶优化提供曲率感知更新以加速收敛，但由于 Hessian 估计的计算复杂度（ $O(d^3)$ ）过高，以及策略 Hessian 分解中由交互项引起的高方差导致的不稳定性，二阶优化在 RL 中很少被应用。

现有文献通常独立处理价值估计和曲率引入。本文指出了一个缺口：二阶近似往往因高方差曲率分量而不稳定，且缺乏一个统一的框架，能够在折扣马尔可夫决策过程（MDP）中在稳定这些近似的同时保持计算效率。

方法论

作者提出了一种**二阶双时间尺度 Actor-Critic（SOTTAC）**框架，该框架通过对策略 Hessian 的结构化近似，利用目标函数的完整曲率信息。

1. 策略 Hessian 分解

目标函数 $J(\theta)$ 通过其二阶导数进行分析。Hessian $H(\theta)$ 被分解为四个分量（定理 1）：

$H_1$ （外积项）： 一个类似 Fisher 信息的项，涉及策略梯度的外积。
$H_2$ （内禀曲率）： 对数策略的 Hessian，捕捉策略分布的内禀几何结构。
$H_{12}$ 和 $H_{12}^\top$ （交互项）： 涉及状态动作价值函数 $Q$ 关于策略参数的梯度（ $\nabla_\theta Q$ ）的项。

作者指出， $H_{12}$ 引入了显著的方差和计算耦合，使得直接的二阶更新不稳定。

2. 双时间尺度洞察与近似

为了稳定 Hessian，该方法采用双时间尺度 Actor-Critic 框架：

Critic（估计 $Q$ ）的演化速度比Actor（策略 $\pi_\theta$ ）快。
在此框架下，Critic 在 Actor 更新期间被视为准静态。因此，Critic 关于 Actor 参数的梯度被近似为零（ $\nabla_\theta Q_c \approx 0$ ）。
该近似有效地消除了高方差的交互项 $H_{12}$ ，将 Hessian 简化为 $\tilde{H} \approx H_1 + H_2$ 。

3. 基于 Hessian-向量积（HVP）的高效实现

为了避免显式构建 Hessian（ $O(d^3)$ ），该方法利用 Hessian-向量积（HVP）。更新方向是通过对局部二次模型进行最大化推导得出的，使用近似 Hessian。具体提出了两种近似：

ACGN1（基于优势函数的 Gauss-Newton）： 在曲率项中将状态动作价值 $Q$ 替换为优势函数 $A$ （ $H_1 + H_2 \approx A_1 + A_2$ ）。这降低了方差，利用了外积项，同时保留了内禀曲率。
ACGN2（内禀曲率）： 完全丢弃外积项 $H_1$ ，仅保留内禀曲率 $H_2$ 。这在理论上适用于对数凹策略（例如 softmax），其中 $H_2$ 是半负定的，确保了稳定的最大化方向，而无需 $H_1$ 引入的凸偏差。

更新规则涉及一个内循环优化，使用 HVP 求解位移 $\Delta$ ，随后进行策略更新 $\theta \leftarrow \theta + \Delta$ 。

主要贡献

理论统一： 本文建立了双时间尺度 Actor-Critic 稳定性与二阶优化之间的联系。它证明了双时间尺度框架中 Critic 的准静态假设为近似 $\nabla_\theta Q \approx 0$ 提供了依据，从而消除了不稳定的交互项 $H_{12}$ 。
稳定的二阶更新： 通过消除 $H_{12}$ ，作者构建了稳定的二阶更新，在无需完整 Hessian 估计的计算负担下融入了完整的曲率信息。
结构化近似： 引入 ACGN1 和 ACGN2 提供了两种处理曲率的不同策略：ACGN1 平衡外积项和内禀项以降低方差，而 ACGN2 通过仅依赖内禀曲率来优先保证结构稳定性。
收敛性分析： 本文提供了阻尼二阶 Actor 更新的收敛性证明，表明其收敛至平稳点，误差范围涵盖近似误差（Critic 跟踪、曲率和阻尼）。

实验结果

该方法在 MuJoCo 的离散控制任务（CartPole, LunarLander）和连续控制领域（Reacher, Humanoid）上进行了评估。

离散动作空间： ACGN2 始终表现出比一阶（REINFORCE）和自然梯度（NGA）基线更快的收敛速度和更高的样本效率。这归因于 ACGN2 依赖于半负定的内禀曲率，这与所使用的对数凹策略参数化非常契合。ACGN1 也优于基线，但由于外积项引入的凸偏差，其收敛速度稍慢。
连续动作空间： 在高维环境（Humanoid）中，ACGN1 和 NGA 表现出更稳定的收敛，而 ACGN2 表现出相当的性能，但由于对噪声曲率估计的敏感性，方差略高。然而，所有二阶方法均优于 REINFORCE，证实了即使对于非对数凹的高斯策略，曲率信息依然有益。
计算权衡： 虽然二阶方法由于 HVP 计算导致每次迭代的挂钟时间更高，但它们在训练回合数方面实现了更快的收敛。ACGN2 在计算成本和曲率质量之间提供了有利的平衡，而 ACGN1 由于包含两个曲率分量，计算成本最高。

意义与主张

本文主张其主要贡献是通过利用双时间尺度 Actor-Critic 框架来证明忽略高方差交互项的合理性，从而解决了二阶 RL 方法的不稳定性问题。这使得曲率感知更新的实际应用成为可能，这些更新既具有计算效率（通过 HVP），又具有稳定性。

作者断言，他们的方法在多种控制任务中，相比一阶和自然梯度基线，提高了收敛速度和样本效率。他们强调，虽然该方法并不保证在所有情况下（特别是对于 ACGN1）曲率矩阵的正定性，但阻尼的使用以及近似（特别是 ACGN2）的特定结构属性，确保了在局部最优附近产生行为良好的更新。这项工作表明，准确捕捉内禀曲率对于高效的策略优化至关重要，特别是在离散动作空间中。

正如作者所指出的，未来的工作将专注于将这些曲率近似扩展到信任域方法（TRPO）和近端策略优化（PPO），并为更大规模的问题开发可扩展的近似方法。