🤖 machine learning

Policy Gradient Methods for Non-Markovian Reinforcement Learning

本文提出了一种面向非马尔可夫强化学习的以奖励为中心的框架，该框架联合优化智能体状态动力学与控制策略，建立了一个新颖的策略梯度定理，并提出了具有理论收敛保证且在经验性能上优于预测基线的 ASMPG 算法。

原作者： Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人走迷宫，但有个棘手之处：机器人被蒙住了眼睛。它看不见墙壁或出口。它唯一知道的是它听到的声音（比如吱呀作响的地板）和它感受到的触觉（比如撞到了墙）。

在强化学习（RL）的世界里，这被称为非马尔可夫问题。机器人的当前状况不仅仅关乎“现在”；它完全取决于之前发生的一切。如果机器人撞到了墙，除非它记得自己从哪里出发以及走了哪些转弯，否则它不知道撞到了“哪一面”墙。

大多数标准人工智能方法在这里都会陷入困境，因为它们试图仅基于“现在”来猜测未来，或者试图构建一个完美的过去地图，但这会变得过于沉重和复杂，难以携带。

本文介绍了一种教这些蒙眼机器人的新方法，称为ASMPG（智能体状态 - 马尔可夫策略梯度）。以下是其工作原理，使用简单的类比：

1. 问题：“健忘者”与“过度思考者”

健忘者（标准马尔可夫决策过程 MDP）： 想象一个机器人，它在迈出一步的瞬间就忘记了一切。它只知道：“我在这里，我饿了。”如果环境很复杂（比如对话或迷宫），这个机器人就会失败，因为它不了解上下文。
过度思考者（基于历史的方法）： 想象一个机器人试图记住对话中的“每一个字”或迷宫中的“每一步”。虽然这包含了所有信息，但记忆列表会变得无限长。这使得处理变得不可能。

2. 解决方案：“智能日记”（智能体状态）

作者提出了一种折中方案。机器人既不忘记一切，也不记住一切，而是保留一本智能日记（称为“智能体状态”）。

工作原理： 每当机器人采取行动或看到新事物时，它就会更新日记。它不会写下整个历史；它只写一个摘要。
- 示例： 在聊天机器人中，与其记住整篇 100 页的对话，日记只需写道：“用户正在询问订单状态，并且似乎很不耐烦。”
转折： 在以前的方法中，科学家会尝试通过问“你能预测用户接下来会说什么吗？”（一种预测目标）来编写这份日记摘要。
创新： 本文指出：“停止猜测未来。只需写下能帮助你获得奖励（即满意的客户）的摘要。”他们教导机器人同时编写日记并决定做什么，专门为了最大化得分。

3. 方法：“双引擎”方法

本文引入了一种名为ASMPG的新算法。把它想象成一架双引擎飞机，两个引擎是协同优化的：

引擎 A（记录员）： 根据新输入更新日记（智能体状态）。
引擎 B（飞行员）： 阅读日记并决定采取什么行动。

在旧方法中，记录员是固定的，或者被单独训练成“优秀的预测者”。而在 ASMPG 中，记录员和飞行员是联合训练的。如果飞行员需要日记中的某个特定细节来做出好的决定，记录员就会学会包含该细节。如果飞行员不需要某个细节，记录员就会学会忽略它。他们作为一个团队共同努力以赢得比赛。

4. 证明：为何有效

作者通过数学推导证明了这种“联合训练”方法是有效的。

他们推导出了一个新公式（“策略梯度定理”），精确展示了如何调整记录员和飞行员以获得更好的分数。
他们证明，如果你根据这个公式不断进行微调，机器人最终将学会一个非常好的策略（在数学上保证收敛）。

5. 结果：赢得比赛

他们在五个不同的棘手任务上测试了这种新的“智能日记”方法，在这些任务中机器人无法看到全貌：

CheeseMaze（奶酪迷宫）： 一个机器人在迷宫中寻找奶酪，其中不同的地点看起来完全相同。
走廊导航： 在走廊中行走，你只能看到紧邻你的墙壁。
医疗保健： 决定医疗治疗方案，其中患者的反应取决于其过去治疗的隐藏历史（毒性和耐药性）。
机器维修： 修理机器，你只能看到它是“生病”还是“健康”，但真正的病因是过去隐藏的磨损。
CartPole（倒立摆）： 在只能看到速度而看不到位置的情况下，在推车上平衡杆。

结果： 在所有五种情况下，ASMPG 机器人（拥有联合训练的智能日记的机器人）都比那些试图通过预测未来或使用固定记忆系统来学习的机器人学得更快，得分更高。

总结

本文是关于教导人工智能代理如何处理“当下”不足以做出决定的情况。作者没有试图记住一切或猜测未来，而是教导人工智能维护其过去的动态、演变的摘要。关键在于，他们教导人工智能构建这个摘要专门是为了赢得比赛，而不仅仅是为了成为一个好的历史学家。其结果是为复杂的现实世界问题创造了一个更聪明、更高效的学习者。

技术摘要：非马尔可夫强化学习的策略梯度方法

问题陈述

强化学习（RL）传统上依赖于马尔可夫决策过程（MDP）框架，假设动态和奖励仅取决于当前状态和动作。然而，许多现实世界的环境——如部分可观测系统、对话代理、推荐系统和金融市场——本质上是非马尔可夫决策过程（NMDPs）。在这些设定中，观测和奖励取决于整个交互历史。

直接将策略条件化于完整历史在计算上是不可行的，因为历史空间呈指数级增长。虽然现有方法试图压缩历史，但它们往往面临局限性：

固定动态： 一些方法假设代理的内部状态动态是固定的，仅优化控制策略（例如，Dong 等人，2022）。
预测目标： 其他方法通过优化辅助预测目标（例如，预测未来观测）来学习状态表示，这可能需要高维表示，且并不直接对齐最大化累积奖励的最终目标（例如，Subramanian 等人，2022）。

本文解决了在 NMDP 中联合学习紧凑状态表示和控制策略的挑战，无需依赖固定动态或中间预测目标。

方法论

代理状态马尔可夫（ASM）策略

作者引入了一类代理状态马尔可夫（ASM）策略。在该框架中，代理维护一个内部状态 $S_t$ ，该状态基于前一状态、前一动作和当前观测进行递归更新：
$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$
控制策略 $\phi$ 随后将当前代理状态映射到动作：
$A_t \sim \phi_t(\cdot \mid S_t)$
对 $(\nu, \phi)$ 构成了 ASM 策略。关键在于，作者提出联合优化状态动态 $\nu$ 和控制策略 $\phi$ 的参数，以最大化期望累积奖励，而不是固定 $\nu$ 或通过预测来学习它。

理论贡献

本文建立了 ASM 策略的策略梯度定理，将经典结果扩展到回合制和无限时域折扣 NMDP。

梯度表达式： 对于参数化 ASM 策略 $\pi_\theta$ ，期望回报 $J(\theta)$ 的梯度推导如下：
$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$
其中 $R_{t:\infty}$ 代表未来回报（剩余奖励）。
分解： 由于 ASM 策略的结构，对数概率项分解为状态动态和控制策略：
$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$
这使得状态表示和策略可以分别但同步地更新。
收敛保证： 在标准的平滑性和有界性假设下，作者证明了：
- 有限时间收敛： 对于回合制任务，时间平均平方梯度范数以 $\tilde{O}(H^{3.5}/\sqrt{K})$ 的速率收敛（其中 $H$ 是时域长度， $K$ 是迭代次数）。
- 几乎必然收敛： 随着步长减小，梯度范数几乎必然收敛到零。
- 在无限时域折扣设定中建立了类似的保证，其中有效时域由折扣因子 $\gamma$ 决定。

算法：ASMPG

基于梯度定理，作者提出了**代理状态马尔可夫策略梯度（ASMPG）**算法。这是一种在线的、REINFORCE 风格的算法，它：

使用当前 ASM 策略采样轨迹。
利用代理状态的递归结构计算梯度估计。
使用随机梯度上升更新状态动态网络和政策网络的参数。

实验结果

作者在五个非马尔可夫环境中评估了 ASMPG：

CheeseMaze： 一个具有混叠观测的部分可观测导航任务。
HallwayNavigation： 一个确定性迷宫任务，其中局部墙壁配置存在歧义。
HealthcareTreatment： 一个治疗规划任务，包含隐藏的毒性和耐药性变量。
MachineRepair： 一个维护任务，其中隐藏的磨损水平影响机器退化。
VelocityOnlyCartPole： 一个控制任务，仅观测速度（而非位置）。

比较： ASMPG 与 AIS-KL 和 AIS-MMD（Subramanian 等人，2022）进行了比较，后者通过预测目标（近似信息状态）学习状态表示。

发现：

在所有五个环境中，与预测基线相比，ASMPG 实现了更高的每步或每回合平均奖励。
在需要长期记忆的任务中，性能差距尤为显著，例如 CheeseMaze、MachineRepair 和 VelocityOnlyCartPole。
结果表明，直接针对奖励目标优化状态动态比针对预测充分性进行优化更有效。

意义与主张

本文声称其主要贡献是面向非马尔可夫 RL 的以奖励为中心的形式化。通过将代理状态动态视为与优化控制策略联合优化的可学习组件，该方法绕过对辅助预测目标或固定状态表示的需求。

主要主张包括：

理论有效性： 针对一般 NMDP 推导策略梯度定理，为联合优化提供了严谨的基础，扩展了经典 MDP 结果。
实际有效性： 实证结果表明，以奖励为中心的联合优化优于依赖预测状态表示的方法，即使表示大小相当。
最优性条件： 文章指出，如果存在“理想”的代理状态动态（即对奖励和未来观测的充分统计量），将搜索限制在 ASM 策略不会导致最优性损失。

作者承认，所提出的方法依赖于 REINFORCE 型估计量，这可能遭受高方差的影响。他们指出，开发 ASM 策略的演员 - 评论家（actor-critic）变体是未来的自然方向，旨在降低方差同时保留以奖励为中心的目标。