Integrating Causal DAGs in Deep RL: Activating Minimal Markovian States with Multi-Order Exposure
本文通过引入多阶状态暴露（MOSE）方法，解决了在深度强化学习中从纵向因果图构建可证明的马尔可夫状态这一挑战，该方法将多阶历史状态构造输入 Q 函数，以证明受控冗余而非单纯的极小充分性，对于释放因果状态信息的性能优势至关重要。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人玩电子游戏或穿越迷宫。为了做出明智的决策，机器人需要知晓其当前的“状态”。在一个理想世界中，机器人只需观察当下这一刻，就能知道下一步该做什么。这被称为马尔可夫性质。
然而，在现实世界中，情况错综复杂。机器人的传感器（如摄像头）提供的是原始数据，但这些数据往往无法讲述完整的故事。例如，如果机器人看到一个球，除非它能记住一秒钟前球的位置，否则它无法判断球是滚向它还是滚离它。
这里的问题在于：如果机器人忘记了过去，它就会做出错误的推测；如果它记住一切（过去 100 秒内的每一个像素），它又会不堪重负，导致学习速度过慢。
这篇论文，《在深度强化学习中整合因果 DAG》，针对这种“金发姑娘”难题（即寻找记忆历史长度的“恰到好处”）提出了一种巧妙的解决方案。
核心思想：“最小”与“冗余”
作者分两步解决这个问题，结合了逻辑（因果性）与一点“受控的混乱”（冗余）。
1. “最小”状态（完美打包的行李箱）
首先，作者利用因果图（展示变量之间因果关系的地图）来确定做出完美决策所需的绝对最小信息量。
- 类比：想象你在为旅行打包行李。你想带上维持生存所需的最少量衣物。你精确计算出所需物品：一件衬衫、一条裤子和袜子。你将其他所有东西都留在身后。
- 结果：理论上，这个“最小行李箱”是完美的。它没有任何多余之物。
- 缺陷：当作者尝试将这个“最小行李箱”输入现代人工智能（深度神经网络）时，它失败了。人工智能感到困惑。事实证明，AI 网络就像学生，当它们拥有一点点额外的背景信息时，学习效果更好，而不仅仅是干巴巴的事实。“最小”状态过于稀疏，使得 AI 难以学习其中的模式。
2. 解决方案：MOSE（多阶状态暴露）
为了解决这个问题，作者发明了MOSE（多阶状态暴露）。
- 类比：MOSE 不是只给学生那个“最小行李箱”，而是给他们提供一系列不同大小的行李箱。
- 行李箱 A：仅包含当前时刻。
- 行李箱 B：当前时刻 + 过去 1 秒。
- 行李箱 C：当前时刻 + 过去 2 秒。
- ……以此类推。
- 工作原理：AI 同时观察所有这些不同的行李箱。它既能看到“最小”版本，也能看到带有额外历史的版本。
- 为何有效：这就像辅助轮。AI 可以从简单、短暂的历史开始，并逐渐学会在有帮助时利用更长的历史。这就像同时给学生一个提示、一个更大的提示以及完整的答案，让他们能够自行判断哪些线索才是真正重要的。
3. “两全其美”（因果 MOSE）
作者还尝试了一种名为因果 MOSE的混合方法。这种方法将源自因果图的“完美打包的最小行李箱”与“多个行李箱”的方法相结合。
- 结果：这往往是获胜者。它为 AI 提供了由数学保证的“完美核心”信息，同时允许其在有助于学习过程时添加额外的“冗余”信息。
实验结果
团队在以下领域测试了该方法：
- 合成游戏：虚构的世界，其中他们知晓确切的规则（因果图）。
- 真实游戏：具体而言，是一款名为GOPHER的 Atari 游戏。
研究发现：
- 标准方法（帧堆叠）：这是当前的行业标准，即简单地将最后 4 个视频帧堆叠在一起。它效果尚可，但就像携带一个装满不需要的垃圾的行李箱。
- 最小状态：仅使用数学上完美、最小化的历史，实际上导致 AI 的表现不如标准方法。
- MOSE：新方法始终优于标准方法和最小状态方法。
- 重要启示：论文得出结论，“最小充分性是不够的”。仅仅因为一个状态拥有理论上正确的最小信息量，并不意味着它最适合神经网络学习。你需要受控的冗余（一点点额外的、杂乱的历史）来帮助 AI 更快、更好地学习。
一句话总结
这篇论文告诉我们，要训练一个智能 AI，你不应该只给它最基础的事实（这会令它困惑）；相反，你应该给它混合了短历史和长历史的输入，让它能够自行判断究竟需要记住什么才能获胜。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。