🤖 machine learning

Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning

本文将直接优势估计（Direct Advantage Estimation, DAE）扩展到部分可观测环境，并通过引入离散潜在动力学模型降低了其计算开销，从而实现了可扩展且样本高效的深度强化学习。

原作者： Hsiao-Ru Pan, Bernhard Schölkopf

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hsiao-Ru Pan, Bernhard Schölkopf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩电子游戏。在计算机科学理论的完美世界里，机器人能时刻清晰地看到整个游戏棋盘。它确切知道每个敌人的位置、剩余血量，以及如果向左或向右跳会发生什么。这被称为“完全可观测”的世界。

然而，在现实世界中（以及许多复杂的视频游戏中），机器人往往是被蒙着眼睛的。它只能看到面前的一小块窗口。它不知道墙后有什么，也不知道是否有敌人正从背后悄悄靠近。这被称为部分可观测的世界。

这篇论文介绍了一种让这些“被蒙住眼睛”的机器人学习得更快、更聪明的全新方法。以下是他们解决方案的拆解，使用了简单的类比：

1. 问题所在：“盲目”的学生

以往教导机器人的方法（具体来说是一种叫做直接优势估计或 DAE 的方法）就像是在教一个只能看到整个教室的学生。如果你尝试用同样的方法去教一个只能看到教室一角的小角落的学生，这个学生会感到困惑，且学习速度极慢。

此外，旧方法要求老师构建一个庞大且完美的完整世界地图，以此来预测下一步会发生什么。对于观察高清晰度视频游戏屏幕的机器人来说，构建这样一张地图就像是试图手工绘制一部电影每一帧的所有像素——这需要耗费过多的计算能力和时间。

2. 解决方案：一种新的教学方式

作者通过一个巧妙的两步走方案解决了这两个问题：

步骤 A：教导“盲目”的学生 (POMDPs)
他们更新了数学模型，使机器人不再需要看到整个世界。他们不再问：“世界的状态是什么？”（这是机器人无法知道的），而是问：“我所见所做的一切历史记录是什么？”

类比： 想象你在玩一场国际象棋，但你只能看到自己的棋子。你无法确切知道对手棋子的位置，但你可以记住你们双方最近进行的 10 步走法。通过回顾这段历史，你可以对现状做出合理的推测。新方法教导机器人依赖于其“对过去的记忆”，而不是试图去窥探看不见的现在。

步骤 B：是“素描画家”而非“摄影师”
旧方法试图通过拍摄下一幕的高清照片来预测未来，这既缓慢又昂贵。
新方法使用的是离散潜在动力学模型 (Discrete Latent Dynamics Model)。

类比： 机器人不再试图画出一张完美的、高清晰度的下一场景照片，而是学习画出一张简单的素描或火柴人图解。
- 它知道只有几种可能的结局（例如：“敌人可能向左跳”、“敌人可能向右跳”或“什么都没发生”）。
- 它将这些可能性归纳为一个简单的、精简的列表（就像是一份选择题）。
- 通过使用这些简单的素描和场景，而不是高清照片，机器人学习得更快，且使用的计算资源更少。

3. 结果：更快、更聪明

研究人员在 47 款不同的雅达利 (Atari) 视频游戏（如《Pong》、《Breakout》和《Space Invaders》）上测试了这种新方法。

“超级学习者”： 他们的机器人学习这些游戏的方式与现有的最佳机器人一样出色，但它仅需 10% 的数据（练习时间）即可达到目标。
可扩展性： 他们展示了如果扩大机器人的“大脑”（增加神经元数量），它会在不崩溃的情况下变得更擅长游戏。这非常重要，因为通常情况下，扩大 AI 的规模会导致训练不稳定或变得难以训练。
“盲目”的优势： 他们证明了使用基于记忆的方法（例如 LSTM，一种能够记住序列的脑部结构）比仅仅将几帧视频堆叠在一起（一种被称为“帧堆叠”的常用技巧）效果要好得多。在那些需要通过物体运动来预测轨迹的游戏中，“记忆型”机器人成功掌握了规律，而“帧堆叠型”机器人则陷入了混乱。

总结

可以将这篇论文看作是对机器人学习风格的一次升级。

旧风格： “我需要完美地看到整个世界，并且我需要模拟未来的每一个细节才能学习。”（缓慢、昂贵，且在黑暗中会失效）。
新风格： “我会记住我的过去经历，并利用几种可能的场景对未来做出简单、快速的猜测。”（快速、高效，且即使在机器人被蒙住眼睛时也能正常工作）。

其结果是，这种机器人能以惊人的效率学习视频游戏，所用的练习时间仅为以往方法的一小部分。

技术摘要：用于可扩展且高样本效率深度强化学习的直接优势估计（Direct Advantage Estimation）

问题陈述

深度强化学习（RL）已取得显著成功，但通常需要数百万甚至数十亿次的采样才能训练好智能体，这限制了其在现实场景中的应用。一个核心挑战在于学习稳定的状态-动作价值函数，这些函数往往具有高度的非平稳性。为了解决这一问题，研究者提出了直接优势估计（Direct Advantage Estimation, DAE），通过直接学习优势函数而非通过价值函数分解，展示了更高的样本效率。

然而，现有的离策（Off-policy）DAE 方法面临两个关键局限性：

部分可观测性（Partial Observability）： DAE 的理论框架最初被限制在完全可观测的马尔可夫决策过程（MDP）中。而现实世界的环境通常是部分可观测马尔可夫决策过程（POMDP），智能体只能接收观测值而非直接访问状态。
计算开销（Computational Overhead）： 离策 DAE 需要近似转移概率以强制执行特定的约束（即“自然优势”约束）。以往的方法通过学习生成模型来重建高维观测值以实现这一目标，这带来了巨大的计算成本，并限制了其在复杂领域的可扩展性。

方法论

作者提出了一种扩展的离策 DAE 方法，通过理论泛化和架构创新解决了上述两个局限性。

1. 向 POMDP 的理论扩展

论文将用于离策 DAE 的回报分解（return decomposition）推广到了 POMDP 设置中。

基于历史的定义： 作者不再在状态 $s$ 上定义价值和优势函数，而是在信息向量（历史） $h_t = (o_0, a_0, r_0, \dots, o_t)$ 上进行定义。
回报分解： 总回报被分解为三个组成部分：策略优势 $A^\pi(h_t, a_t)$ $A^{π} (h_{t}, a_{t})$ 、“自然”优势 $B^\pi(h_t, a_t, r_t, o_{t+1})$ $B^{π} (h_{t}, a_{t}, r_{t}, o_{t + 1})$ 以及价值函数 $V^\pi(h_t)$ $V^{π} (h_{t})$ 。
- $A^\pi$ 捕捉智能体动作带来的优势。
- $B^\pi$ 捕捉由环境随机性（奖励和下一时刻观测值）产生的优势。
优化目标： 学习目标是在长度为 $n$ $n$ 的轨迹上最小化回报分解的平方误差，并受两个约束条件的限制：
1. 策略中心化（Policy Centering）： $E_{a \sim \pi}[ \hat{A}(h, a) ] = 0$ 。
2. 自然中心化（Nature Centering）： $E_{(r, o') \sim p(\cdot|h, a)}[ \hat{B}(h, a, r, o') ] = 0$ 。
  该公式允许在行为策略具有足够覆盖度的情况下进行无需重要性采样（importance sampling）的离策学习。

2. 离散潜在动力学模型（Discrete Latent Dynamics Model）

为了高效地满足“自然中心化”约束，而不必重建高维观测值，作者引入了一个离散潜在动力学模型。

嵌入空间： 观测值首先被编码到一个低维嵌入空间 $x = \text{enc}(o)$ 。
随机预测： 模型不是预测单一的下一个嵌入，而是预测一组包含 $|Z|$ 个候选下一时刻嵌入的集合 $\{\hat{x}_{t+1, z}\}$ 。
胜者通吃（WTA）损失： 模型使用 WTA 损失进行训练（类似于嵌入空间中的 k-means 聚类），其中梯度仅通过与实际下一时刻嵌入最接近的预测值进行传播。这有效地在紧凑的潜在空间中模拟了环境的随机性。
约束近似： $\hat{B}$ 约束所需的期望是通过在离散潜在空间 $Z$ 上计算期望来近似的，并由学习到的先验分布 $p(z|h, a)$ 进行加权。这避免了昂贵的观测重建。
端到端训练： RL 目标函数和动力学模型进行联合训练，共享循环骨干网络（LSTM）以减少计算开销。

3. 实验设置

该方法在来自 Arcade Learning Environment (ALE) 的 47 个环境中进行了评估，这些环境包含不同程度的部分可观测性。智能体使用：

一个循环架构（CNN + LSTM）来处理观测序列。
IMPALACNN 骨干网络（15 层残差网络）以保证可扩展性。
标准的 Dopamine 基准设置（粘性动作、帧跳跃）以确保公平比较。

核心贡献

理论泛化： 作者将直接优势估计理论扩展到了 POMDP，证明了当状态被替换为历史，且转移概率被替换为观测变量的条件密度时，回报分解依然成立。
高效的约束近似： 他们提出了一种离散潜在动力学模型，用于近似离策 DAE 约束所需的转移概率。与之前的生成模型方法相比，这显著降低了计算复杂度，使其能够应用于高维观测。
可扩展性与样本效率： 研究表明，DAE 能随着函数近似器容量（网络宽度）的增加而有效扩展，同时保持高样本效率。

结果

作者将该方法与强基准模型进行了对比，包括训练了 200M 帧的 Rainbow DQN 和 DreamerV3。

样本效率： DAE 智能体仅使用 10% 的训练数据（20M 帧） 就达到了与训练了 200M 帧的 Rainbow DQN 相当的性能。
可扩展性： 将网络宽度（缩放因子 $m$ ）从 1 增加到 8，性能得到了持续提升。 $m=8$ 的变体实现了与使用 IMPALACNN 的 Rainbow 相当的性能，并在样本效率上超越了 DreamerV3。
消融实验：
- 多步学习： 去除多步学习（ $n=1$ ）导致性能显著下降（IQM 分数下降了 1.74），表明多步目标的偏差削减至关重要。
- 离策修正： 去除离策修正（设置 $\hat{B} \equiv 0$ ）导致性能退化，验证了针对环境随机性进行修正的必要性。
- POMDP 修正： 用帧堆叠 MLP 替换循环 LSTM 导致性能下降，证实了帧堆叠在捕捉 ALE 中的部分可观测性方面是次优的。
- 潜在动力学： 该方法对潜在模式数量 $|Z|$ 保持鲁棒， $|Z|=8$ 和 $|Z|=16$ 的结果几乎一致。

意义与主张

论文声称，通过将 DAE 扩展到 POMDP 并通过离散潜在动力学降低其计算开销，可以构建适用于具有部分可观测性和高维观测等特征的挑战性现实领域的高样本效率 RL 智能体。

作者强调，虽然他们的方法学习了转移模型，但这些模型仅用于离策修正（强制执行 $\hat{B}$ 约束），而不用于展开（rollouts）或规划。因此，该方法被描述为比典型的基于模型的算法更趋向于“无模型”（model-free）。DAE 的成功表明，限制此类价值型无模型方法（如 DQN）扩展的因素可能是目标函数本身，而非仅仅是架构。

这项工作定位为迈向使先进 RL 算法适用于现实场景的一步，在这些场景中无法假设完全可观测，且无需承担以往在处理高维空间转移概率时所面临的沉重计算成本。