🤖 machine learning

StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent

本文提出并验证了“StaQ”，这是一种针对离散动作强化学习的有限记忆算法，它通过仅保留最近的 $M$ 个 Q 函数来近似策略镜像下降（Policy Mirror Descent），从而在实现误差平均化理论优势的同时，避免了无限求和带来的不可行性，并在经验上证明了足够大的 $M$ 能够产生与精确 PMD 相当的性能。

原作者： Alex Davey, Alena Shilova, Brahim Driss, Riad Akrour

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alex Davey, Alena Shilova, Brahim Driss, Riad Akrour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏。在人工智能领域，这被称为“强化学习”（Reinforcement Learning）。机器人通过尝试各种操作来学习，做对动作会得分，做错动作则会扣分。但棘手的地方在于：机器人的“大脑”是由神经网络构成的，这有点像一个模糊的猜测者。有时，这个大脑在试图弄清楚一个动作到底有多好时会犯错。这些错误可能会堆积起来，导致机器人变得困惑、忘记已学到的知识，或者陷入坏习惯的循环中。

为了解决这个问题，科学家们使用了一种叫做“正则化”（Regularization）的技术。你可以把它想象成一只轻轻搭在机器人肩膀上的手，提醒它不要在不同的策略之间剧烈摆动。它迫使机器人的新想法与旧的想法保持某种程度的相似，从而平滑学习过程。这类方法的特定家族被称为“策略镜像下降”（Policy Mirror Descent）。从理论上讲，这是一种极其强大的学习方式，因为它能通过平均化所有的模糊错误来获得完美的策略。但这里有一个陷阱：要完美地实现这一点，需要机器人记住它所做过的每一个猜测，甚至可以追溯到开始玩游戏的最初一秒。对于一个要玩数百万步的机器人来说，这就像试图把整个宇宙的历史都装进你的背包里一样——根本无法承载如此庞大的记忆量。

所以，大问题变成了：我们能否在不携带整个历史的情况下，获得记住一切带来的好处？这正是论文《StaQ: 一种用于离散动作策略镜像下降的有界记忆方法》（StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent）试图解决的问题。

作者们是一支来自法国的研究团队，他们提出了一种聪明的算法，称之为 StaQ。StaQ 不尝试记住无限的过去，而是提出了一个简单的规则：“只保留最后 $M$ 个记忆”。想象一个机器人只记得它对游戏的最后 300 次猜测。当它做出一个新的猜测时，它会将这个猜测加入列表，并立即忘掉最旧的一个。这就像一叠盘子，你只保留最上面的几个；如果叠得太高了，你就把底下的一个滑走。

论文在数学上证明了这种“遗忘”并不会损害机器人的性能，只要 $M$ （保留的记忆数量）足够大即可。事实上，研究人员表明，这种有限记忆的方法与那个记住一切的完美理论版本几乎是完全一致的。“平均化”错误的过程仍然在发生，但现在机器人不再被沉重的历史数据所累。这有点像意识到你不需要读完人类历史上所有的书就能变得聪明；读完最近的几百本就足以掌握精髓。

为了测试这一点，团队构建了一个在图形处理器（GPU）上运行的高效版 StaQ。他们将其应用于名为 MinAtar 的视频游戏基准测试集，这些测试集就像是经典街机游戏的微缩版。他们让机器人运行了长达 500 万个时间步（这可是很长的一段时间）。结果非常明确：随着我们增加记忆大小 $M$ ，机器人在游戏中的表现越来越好。一旦达到某个阈值（大约 $M=300$ ），机器人的表现就与理论上的“完美记忆”版本一样出色。

真正酷的是，这种方法速度极快。因为机器人不需要进行复杂的数学运算来更新其策略（它只需将新记忆堆叠在旧记忆之上），所以它比其他试图逼近完美解的热门方法学得更快。论文表明，StaQ 不仅仅是一个理论构想，它还是一个在深度学习现实世界中行之有效的实用工具。

研究人员还观察了保留过少记忆时会发生什么。如果 $M$ 太小（比如为 1），机器人表现得就像完全没有记忆一样，并且会陷入挣扎。但只要你给它一段像样的历史记录，它的性能就会大幅提升并保持在高位。他们甚至发现，对于某些游戏，给机器人的探索过程添加一点点随机的“噪声”有助于它更快地找到最佳动作，但核心魔力绝对在于那个有限记忆堆栈。

简而言之，这篇论文表明，我们不需要做到完美也能做得卓越。通过保留一份可控的、有限的过去猜测历史，我们可以构建出高效学习、避免被自身错误搞混、并且比以往任何时候都能更好地玩游戏的 AI 智能体。事实证明，有时候，知道何时遗忘与知道何时记忆同样重要。

技术摘要：StaQ：一种针对离散动作策略镜像下降的有限记忆方法

问题陈述

在强化学习（RL）中，策略镜像下降（Policy Mirror Descent, PMD）算法通过使用 Kullback-Leibler（KL）散度来正则化策略更新，以惩罚相邻策略之间的剧烈偏差。PMD 的一个关键理论特性是其能够平均化策略评估误差，而这种误差在利用神经网络等函数近似器时是不可避免的。精确 PMD 的闭式解涉及所有过去 Q 函数的无限加权和。然而，这种无限求和在实践中通常是难以处理的，尤其是在使用非线性函数近似器时，这会导致无法获得闭式的策略表达式。

现有的实用近似方法，如自然策略梯度（Natural Policy Gradient）或演员-评论家（Actor-Critic, AC）方法（例如 TRPO、MDPO、ECPO），试图对这种更新进行近似。然而，这些方法往往会引入策略更新误差，因为它们依赖于优化代理目标或执行梯度步骤，这可能无法与理论上的 PMD 更新完美对齐。这导致了理论上的 PMD 优势（误差平均化）与实际实现之间的差距，可能导致次优收敛或较高的误差底限（error floors）。

方法论：StaQ

作者提出了 StaQ（Stacked Q-functions，堆叠 Q 函数），这是一种旨在解决无限求和不可行性问题，并避免策略更新误差的离散动作空间 PMD 变体。

核心算法

StaQ 不维护无限的历史记录，也不通过梯度下降来近似策略，而是维护最近 $M$ 个 Q 函数估计值的有限记忆。第 $k$ 次迭代的策略定义为这 $M$ 个 Q 函数加权平均后的玻尔兹曼分布：

$\pi_k \propto \exp\left( \frac{\alpha}{1 - \beta^M} \sum_{i=0}^{M-1} \beta^i q_{k-i} \right)$

其中 $q_{k-i}$ 是 Q 函数估计值， $\alpha$ 和 $\beta$ 是源自 KL 正则化权重 $\eta$ 和熵权重 $\tau$ 的温度及权重参数。

实现细节

有限记忆截断： 该算法实现了一种“先进先出”（FIFO）机制。在每次策略评估后，新 Q 函数的权重被推入一个神经网络堆栈。如果堆栈超过大小 $M$ ，最旧的 Q 函数将被删除。
无优化更新： 与需要通过梯度步骤来更新策略网络的演员-评论家方法不同，StaQ 的策略更新是**无需优化（optimization-free）**的。它仅涉及堆叠存储的 Q 函数的冻结权重。策略对数几率（logits） $\xi_k$ 直接从存储的 Q 函数的加权和中计算得出。
高效 GPU 并行化： 作者利用 GPU 上的批处理操作来并行计算多个 Q 值。他们在策略评估阶段预先计算重放缓冲区（replay buffer）的对数几率，以最小化大规模 $M$ 带来的计算开销。

理论分析

论文在熵正则化策略镜像下降（EPMD）框架下提供了 StaQ 的收敛性分析。

收敛性： 作者证明了对于足够大的 $M$ ，StaQ 在不存在评估误差的情况下收敛到最优策略。
误差平均化： 分析表明，StaQ 的误差底限取决于最后 $M$ 个评估误差的加权平均。偏离精确 PMD 误差底限的偏差由随 $M$ 指数级快速衰减的额外项组成。
无策略更新误差： 至关重要的是，由于策略更新直接源自闭式解（被截断至 $M$ ），StaQ 不会引入来自策略更新步骤的额外误差，这与会遭受优化误差影响的 AC 近似方法不同。

核心贡献

扩展 PMD 分析： 作者将之前的 PMD 分析扩展到了策略迭代（PI），并证明了可以使用仅在策略更新阶段进行的 $D_{KL}$ 惩罚来实现策略评估误差的平均效应，而无需在评估步骤中进行 $D_{KL}$ 正则化。
StaQ 算法： 他们提出了 StaQ 及其分析，这是一种有限记忆的 PMD 变体。他们在理论上证明了对于足够大的 $M$ ，该算法可以在没有策略更新误差的情况下收敛，并以指数衰减的误差项近似精确 PMD 的误差平均特性。
经验验证： 他们提供了一个高效的 GPU 实现，证明了增加 $M$ 会提高性能，直到达到一个阈值，之后 StaQ 将与精确 PMD 变得无法区分（他们评估了高达 500 万个时间步的情况）。
运行时效率： 研究表明，对于中等规模的环境（如 MinAtar），增加 $M$ 对运行时间的影响很小，这使得 StaQ 比演员-评论家基准方法更快，因为它省去了策略优化步骤。

实验结果

作者在 MinAtar（5 个环境）和 Classic Control 任务（4 个环境）上对 StaQ 进行了评估，并将其与以下方法进行了比较：

基准方法： 自然策略梯度 (TRPO)、SAC（离散版本）、ECPO (M-Projection)、MDPO (Direct Optimization)、DQN 以及 M-DQN。
精确 PMD： 使用 $M=1000$ 进行评估（在 500 万步的时间窗口内等效于无限求和）。

发现：

性能与记忆大小 ( $M$ ) 的关系： 性能几乎单调地随 $M$ 提升。在几乎所有任务中， $M \ge 300$ 时，性能与精确 PMD 几乎无法区分。
与 AC 方法的比较： 在各项任务中，StaQ 通常优于演员-评论家基准方法（TRPO、ECPO、MDPO）。引入策略更新误差的 AC 方法在面对中等 $M$ 值（如 $M=50$ 到 $M=300$ ）时，表现落后于 StaQ。
运行时： StaQ 比 AC 基准方法更快。例如，在 MinAtar/SpaceInvaders 任务中，尽管有额外的内存开销，但 StaQ ( $M=100$ ) 耗时约 10.4 小时，而 SAC 耗时约 13.9 小时，因为它避免了策略梯度步骤。
探索： 作者指出，虽然熵正则化有所帮助，但 StaQ（与其它熵正则化方法一样）在缺乏额外机制（如“粘性”动作或 $\epsilon$ -greedy 探索）的情况下，在像 MountainCar 这样的稀疏奖励环境中可能会面临探索困难。

重要性与主张

论文声称 StaQ 为离散动作空间提供了一种实用且具有理论依据的 PMD 实现方式。其意义在于：

弥合理论与实践： 它证明了可以在不需要处理不可行的无限求和或使用近似策略的方法（如 Actor-Critic）所带来的近似误差的情况下，恢复精确 PMD 的理想特性（特别是误差平均化）。
消除策略更新误差： 通过使用有限记忆的 Q 函数堆栈，StaQ 避免了标准 AC 算法中引入的“误差底限”。
可扩展性： 高效的 GPU 实现表明，保留有限的历史 Q 函数在计算上是可行的且有益的，这挑战了“精确 PMD 纯属理论”的观点。

作者总结道，StaQ 为测试其他 RL 组件（如策略评估技术）提供了一个极具前景的设置，因为它隔离了策略更新机制，确保观察到的性能提升或失败不会被策略优化误差所混淆。他们也谦虚地指出，虽然对于大规模任务（如完整的 Atari 游戏）内存使用量可能会变得显著，但未来的工作可以探索压缩旧的 Q 函数以保持效率。