🤖 AI

Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning

本文介绍了集成弹性 DQN（Ensemble Elastic DQN, EEDQN），这是一种基于价值的强化学习算法，它通过结合自适应弹性多步回报与依赖于时界的集成聚合，有效地减少了高估偏差，并在多个 MinAtar 环境中实现了卓越的性能。

原作者： Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩电子游戏。机器人通过尝试各种操作、获取分数（奖励），并试图弄清楚哪些动作能在长远来看获得最高分来进行学习。这被称为强化学习（Reinforcement Learning）。

这篇论文讨论的具体方法叫做深度 Q 网络（Deep Q-Network，简称 DQN）。把 DQN 想象成一个拥有“水晶球”的机器人，它能预测未来的某个动作会有多好。然而，这个水晶球有一个缺陷：它容易变得过度乐观。因为机器人必须基于嘈杂、不完美的数据来猜测未来，它有时会不小心从一堆糟糕的猜测中选出一个看似“最好”的猜测。这就像一名学生在做选择题时，纯粹靠运气选到了答案纸上最高的那个数字，即便他其实并不知晓答案。这会导致机器人高估自己的能力，做出错误的决策，并陷入性能低下的恶性循环。

这篇论文介绍了一种新的解决方案，叫做集成弹性 DQN（Ensemble Elastic DQN，简称 EEDQN）。以下是它的工作原理，通过简单的概念进行拆解：

1. “委员会” vs. “独狼”（集成学习）

标准的 DQN 使用单个“水晶球”（一个神经网络）来进行预测。EEDQN 则使用一个由五个不同的水晶球组成的委员会（一个由多个网络组成的集成）。

问题： 如果你只问一个人预测，他可能会错得离谱。
解决方案： 如果你询问五个人，你可以取他们答案的平均值，从而得到一个更可靠的结果。然而，论文发现仅仅通过取平均值还不足以阻止机器人变得过于乐观。

2. “有弹性的橡皮筋”（弹性多步回报）

通常，机器人通过观察仅仅是紧接着的下一步来学习（比如向前迈一步，然后看是否会绊倒）。有时，向前看更远一点会更好，比如规划一整条路径。

旧方法： 以前的方法使用固定的距离来向后观察（例如：总是向前看 5 步）。这是僵化的。
新方法（弹性）： EEDQN 使用了一根“有弹性的橡皮筋”。
- 如果机器人在游戏的安全、可预测部分移动，橡皮筋就会拉长，让机器人能够观察更远的未来，从而学得更快。
- 如果机器人进入了混乱或多变的环节，橡皮筋就会缩回到较短的距离，以免它被糟糕的长期猜测所迷惑。
- 论文的升级： 原本这种“橡皮筋”版本因为使用复杂的数学运算（聚类）来决定何时拉伸，显得很沉重且缓慢。EEDQN 用一个轻量级的规则取代了它：它只需检查当前位置的预测值与下一个位置是否差异很大。如果差异很大，它就会停止拉伸。这使得机器人的运行速度更快，也更容易运行。

3. “智能聚合”（秘诀所在）

这是论文中最具创意性的部分。作者意识到，委员会的水晶球应该根据机器人观察未来的距离长短，以不同的方式进行表达。

观察紧接着的下一步（短距离）： 委员会应该平均他们的意见。这能让机器人保持信心并向前推进，而不至于过于胆怯。
观察遥远的未来（长距离）： 委员会应该采取最小值（最悲观的）意见。
- 类比： 想象你在规划一次公路旅行。
  - 对于下一个转弯，你信任小组给出的平均建议。
  - 但对于 500 英里外的行程，你会听取小组中最谨慎的人的意见。为什么？因为观察得越远，你的“水晶球”出错并变得过度乐观的可能性就越大。通过在长期计划中听取“最坏情况”那个人的意见，你可以防止机器人对不可能实现的奖励抱有不切实际的期望。

他们发现了什么？

研究人员在五个微型电子游戏（MinAtar 环境）中测试了这个新机器人。

结果： EEDQN 在五个游戏中的四个里都获得了第一名或并列第一。
诊断： 他们检查了机器人的“水晶球”数值，发现标准机器人预测的分数在物理上是不可能的（例如，预测你会得到 1000 分，而游戏实际最高只能给 100 分）。EEDQN 则让这些数值保持在现实且受控的范围内。
教训： 并不存在“一劳永逸”的规则。在某些游戏中，保持非常谨慎（听取最小值）效果最好；在其他游戏中，混合模式则更好。但核心结论是，将“有弹性的橡皮筋”与“智能委员会”结合使用，比单独使用其中任何一种技巧效果都要好。

总结

这篇论文提出了一种让 AI 学习电子游戏的更聪明的方法。它通过以下方式解决了 AI 过度自信的问题：

使用团队式的 AI 大脑而非单个大脑。
使用有弹性的时间线来决定向前看多远。
让团队根据观察未来的距离长短改变投票方式（短期内取平均值，长期内选取最谨慎的猜测）。

这使得 AI 学习得更快、更稳定，并避免了高估自身能力的陷阱。

技术摘要：集成弹性 DQN (EEDQN)

问题陈述

深度 Q 网络 (DQN) 及其他基于价值的强化学习算法经常遭受高估偏差 (overestimation bias) 的困扰。这是因为自助式目标值 (bootstrapped targets) 利用了对噪声价值估计的极大化操作，使得正向误差被选中并传播到后续的更新中。这种 Q 值的膨胀会误导动作选择，促使智能体反复访问被高估的状态-动作区域，并导致收敛至次优策略。

虽然基于集成的方法（例如 Averaged DQN、MaxMin DQN）和多步方法（例如 Rainbow、Elastic Step DQN）已分别在提高稳定性与样本效率方面展现出潜力，但两者的相互作用仍有待深入探索。结合这些方法并非易事；虽然集成聚合可以减少高估，但在所有目标上应用保守聚合可能会引入低估偏差。此外，现有的自适应多步方法（如 Elastic Step DQN）依赖于计算昂贵的基于聚类的相似性测试，限制了其可扩展性。

方法论

本文提出了 Ensemble Elastic DQN (EEDQN)，这是一种将自适应弹性多步回报与依赖于时界 (horizon) 的集成聚合相结合的基于价值的算法。

1. 可扩展的弹性步长机制

EEDQN 修改了原始的 Elastic Step DQN，消除了聚类的计算开销。EEDQN 不再使用基于表示的聚类来确定状态相似性，而是采用了一种轻量级的 Q 值差异规则：

它维护一个包含 $N$ 个目标网络 $\{\hat{Q}_i\}$ 的集成。
它计算集成平均目标向量 $\bar{Q}^-(s, \cdot)$ 。
它计算起始状态 ( $s_0$ ) 与当前下一状态 ( $s'$ ) 之间平均目标向量的 $L_1$ 差异 ( $z$ )。
一个自适应阈值 ( $h$ ) 是从近期 $z$ 值的历史缓冲区中导出的（ $h = \text{mean}(B) + \text{std}(B)/\sqrt{|B|}$ ）。
如果 $z > h$ ，则认为轨迹已进入新的价值区域，从而触发存储累积回报并重置累积过程。否则，奖励继续累积。

2. 依赖于时界的集成聚合

EEDQN 的核心创新在于根据累积回报的长度（时界 $k$ ）使用不同的聚合规则：

单步目标 ( $k=1$ )： 自助值使用集成平均值进行计算。这可以防止目标变得过于保守，从而在需要自助更新的区域内避免阻碍学习。
多步弹性回报 ( $k > 1$ )： 自助值使用集成最小值进行计算。由于较长的回报在进行自助项计算前已经累积了显著的奖励信息，使用最小值可以减少极端的乐观外推，且不会主导完整的目标值。

目标值 $y$ 定义为：
$y = \begin{cases} R(k) & \text{若为终止状态} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{若 } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{若 } k>1 \end{cases}$
其中 $a^*$ 是基于集成平均值选择的贪婪动作。

核心贡献

算法提案： 引入了 EEDQN，它将自适应弹性多步回报与基于集成的目标聚合相结合。
可扩展性提升： 使用轻量级的 Q 值差异规则取代了 Elastic Step DQN 中基于聚类的相似性测试，使得自适应回报构建更适用于离散控制设置。
依赖于时界的聚合： 提出了一种规则，即单步目标使用集成平均值，而较长的弹性回报使用集成最小值，旨在平衡减少乐观偏差与保持样本效率之间的关系。
实证评估： 在五个 MinAtar 环境中针对 DQN、Double DQN、Averaged DQN、MaxMin DQN 和 Elastic Step DQN 进行了全面评估。
消融分析： 研究了各种聚合规则（平均值、最小值、交换规则以及凸组合），以分析集成保守性与自适应回报长度之间的相互作用。

实验结果

EEDQN 在五个 MinAtar 环境（Seaquest, SpaceInvaders, Asterix, Breakout, Freeway）中进行了评估，使用了 10 个匹配的随机种子。

性能： EEDQN 在五个环境中的四个（SpaceInvaders, Asterix, Breakout, Freeway）中取得了最高的最终回报。在 Seaquest 中，MaxMin DQN 表现最好，EEDQN 位列第二。
价值膨胀控制： 通过对比最大观测 Q 值与理论折扣回报上限的诊断指标显示，EEDQN 和 MaxMin DQN 在所有环境中都保持在膨胀阈值以下。相比之下，DQN、DDQN、Averaged DQN 和 Elastic Step DQN 在至少一个环境中超过了该界限。
消融发现： 没有一种单一的聚合规则在所有环境中都占据主导地位。
- EEDQN（ $k=1$ 时用 Mean， $k>1$ 时用 Min）在 Asterix, Breakout 和 Freeway 中表现最好。
- MinEEDQN（全部使用 Min）在具有严重高估问题的环境 Seaquest 中表现最好。
- ConvexEEDQN2（50/50 混合）在 SpaceInvaders 中表现最好。
- 这表明最优的保守程度是依赖于环境的。

意义与主张

本文声称 EEDQN 成功证明了自适应多步回报与集成聚合是降低高估偏差的互补机制。然而，结果也表明，“一刀切”的聚合策略并非最优；最优的保守程度取决于特定环境的特征。

作者将 EEDQN 定位为一种轻量级的基于价值的方法，用于研究聚合规则应如何随回溯时界进行调整。他们明确指出，其贡献不仅在于单独使用集成或多步回报，而是在于研究了一种根据自适应回报长度改变聚合算子的时界依赖型规则。论文总结道，虽然 EEDQN 优于标准基准，但未来仍需研究如何在运行时在线调整均值-最小值权衡的自适应聚合规则，并在更大型的基准测试（如完整的 Atari Learning Environment）上进行评估。