🤖 machine learning

Forager: a lightweight testbed for continual learning with partial observability in RL

本文介绍了 Forager，这是一个轻量级、部分可观测的持续强化学习环境，具有恒定的内存占用，旨在促进对智能体可塑性丧失的深入研究，以及状态构建在处理无尽新任务流中的关键作用。

原作者： Steven Tang, Xinze Xiong, Anna Hakhverdyan, Andrew Patterson, Jacob Adkins, Jiamin He, Esraa Elelimy, Parham Mohammad Panahi, Martha White, Adam White

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Steven Tang, Xinze Xiong, Anna Hakhverdyan, Andrew Patterson, Jacob Adkins, Jiamin He, Esraa Elelimy, Parham Mohammad Panahi, Martha White, Adam White

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名在巨大、无边森林中觅食的采集者。你的目标很简单：找到美味的蘑菇来吃，并避开有毒的蘑菇。但有一个陷阱：你戴着眼罩，只能看到你脚周围的一小圈区域。你无法看到整片森林，而且森林还在不断变化。有时美味的蘑菇会移动，有时会腐烂，有时“美味”的规则甚至会在 overnight 改变。

这就是计算机科学家所称的**持续强化学习（CRL）**在现实世界中的挑战。它关乎如何教导人工智能体在一个巨大、混乱且不断变化的世界中永远学习。

问题在于，大多数当前的人工智能研究都在微小、完美的世界中测试这些智能体，在那里它们可以看到一切（就像国际象棋棋盘）。但现实世界并非如此。为了研究人工智能如何应对“眼罩”和无尽的变化，研究人员需要一个特殊的测试场地。

于是，Forager 登场了。

Forager 是什么？

可以将 Forager 想象为一个轻量级、超快的视频游戏，专门设计用于测试人工智能在戴着那个眼罩时的学习能力。

旧方法： 以前的测试场地就像背着装满砖块的沉重背包跑马拉松。它们速度慢，需要庞大的计算机，并且当人工智能试图记住更多内容时，经常陷入内存错误。
Forager 方法： Forager 就像一只 sleek、轻盈的跑鞋。它运行得极快（每秒高达 10 万次），并且无论人工智能运行多久，它使用的计算机内存都极少且恒定。这使得研究人员能够快速运行数千次实验，以观察什么有效、什么无效。

大考验：“眼罩”与“切换”

该论文在两个主要场景中测试了人工智能：

受限视野： 人工智能拥有一个小的“视野”。如果视野宽阔，人工智能可以看到整片森林并轻松找到食物。但随着研究人员缩小视野（使眼罩更紧），人工智能必须记住好蘑菇曾经在哪里，并预测它们何时会重新生长。
- 结果： 标准人工智能体（如 DQN 和 PPO）迷失了方向。它们忘记了食物在哪里，学习变得低效。它们只是漫无目的地游荡。
永无止境的切换： 研究人员增加了一个转折，即规则不断变化。也许今天紫色蘑菇是美味的，但明天它们就有毒了，而黄色蘑菇成了新宠。人工智能必须不断瞬间地忘掉旧习惯并学习新习惯。
- 结果： 人工智能开始“忘记”如何学习。这被称为可塑性丧失。这就像一个学生为一次考试如此努力地学习，以至于大脑变得如此饱和，以至于无法为下一次考试学习任何东西。

“修复”有效吗？

研究人员尝试了几种“创可贴”来解决人工智能的记忆和学习问题。他们尝试了：

正则化： 告诉人工智能更紧密地坚持其原始的“个性”。
特殊激活： 改变人工智能脑细胞的触发方式，以防止它们消亡。
多网络： 给人工智能一个由多个大脑组成的团队，而不仅仅是一个。

裁决： 这些修复只起到了一点作用，就像给断腿贴上创可贴。它们阻止了人工智能随时间推移而变得更糟，但并没有让它变得擅长这项任务。人工智能仍然难以在盲目的森林中导航。

真正的解决方案：赋予人工智能记忆

该论文发现，秘密武器不是复杂的算法，而是记忆。

简单记忆： 当研究人员给人工智能一本简单的“笔记本”来记录它最近吃过的东西时，它的表现要好得多。它可以记住：“哦，我在这里吃了一个粉色蘑菇，而且它很好吃。”
循环记忆（英雄）： 表现最好的是拥有循环大脑的人工智能（具体是一种称为 RTU-PPO 的算法）。这可以想象成一个拥有工作短期记忆的人工智能。它不仅仅看着眼前的蘑菇；它记得它走过的路径、经过的气味以及它看到的变化。
- 这个人工智能不仅生存了下来，而且蓬勃发展。它学会了预测变化，并在几乎与能看到整个世界的人工智能体一样好的程度上导航盲目的森林。

终极挑战：无限流

最后，研究人员创建了 Forager 的“困难模式”版本。在这个版本中，每当人工智能吃掉足够多的蘑菇时，森林就会生成带有新规则的、源源不断的新蘑菇物种。人工智能必须学习、适应并永远记住，而从不安定下来。

即使是拥有记忆的最聪明的人工智能在这里也挣扎不已。它无法跟上无尽的新任务流。这证明，虽然我们取得了进展，但当前的人工智能仍然远未能够在像我们这样复杂、部分可见的世界中“永远”学习。

总结

Forager 是一个新的、快速且高效的工具，它向我们展示了当前人工智能确切失败的地方。它揭示出，当世界很大且我们无法看到一切时，仅仅让人工智能变得“更强”是不够的。人工智能需要记忆来追踪变化并构建世界的心理地图。没有它，人工智能就会迷失并停止学习。这个测试平台为科学家提供了一个清晰的游乐场，以构建下一代能够真正终身学习的人工智能。

技术摘要：Forager——一个用于部分可观测持续学习的轻量级测试平台

问题陈述

持续强化学习（CRL）旨在开发能够在“大世界”中无限期地学习、行动和探索的智能体，该世界具有部分可观测性和非平稳性。当前的 CRL 研究主要集中于可塑性丧失——即智能体在任务切换后无法继续学习的能力——且通常是在完全可观测的马尔可夫决策过程（MDP）中进行的，其中的非平稳性是人为引入的。

在部分可观测性条件下研究 CRL 存在一个关键缺口。虽然部分可观测性是真实世界环境的基本特征（“大世界假设”），但大多数现有基准测试要么：

是完全可观测的（例如 ALE、Mujoco），智能体理论上可以完美模拟环境。
运行成本过高，难以进行长期的 CRL 实验（例如 Minecraft、Craftax），通常需要大规模并行处理或特权状态信息才能取得成功。
存在技术局限性，例如不断增长的内存占用阻碍了快速迭代（例如 Jelly Bean World）。

因此，状态构建（利用记忆/循环机制处理部分可观测性）与持续学习（跟踪变化的动态）之间的相互作用仍未得到充分探索。

方法论：Forager 环境

作者引入了Forager，这是一个轻量级、可配置的网格世界环境，旨在作为 CRL 的可扩展测试平台。

环境结构：Forager 模拟一个无限的环形世界，智能体在其中导航以收集具有不同奖励和重生行为的蘑菇。该世界是过程生成的，但不依赖复杂的物理引擎或丰富的图形。
部分可观测性：智能体在有限的、以智能体为中心的视野（FOV）内运行。观测结果可以是可见区域的 RGB 图像或二进制张量。智能体无法看到全局状态，因此需要记忆来跟踪视野外的物体位置和重生时间。
非平稳性：环境支持多种形式的非平稳性，包括：
- 任务切换：特定物体类型的奖励函数发生周期性变化（例如，之前为正奖励的蘑菇类型变为负奖励）。
- 动态奖励：随时间衰减或根据隐藏时间表变化的奖励。
- 无尽流：一种变体，其中新的蘑菇物种取代灭绝的物种，形成无限的任务序列。
性能特征：Forager 针对速度和内存效率进行了优化。无论智能体的探索历史如何，它都能以高达 $10^5$ 帧每秒（FPS）的速度运行，并保持恒定的内存占用。这与 Jelly Bean World 等基准测试形成对比，后者的内存使用量随探索过程而增长。
实现：该环境提供 CPU 实现和基于 JAX 的实现（Foragax），后者支持在单个 GPU 上并行运行数百次试验。

主要贡献

资源高效的测试平台：Forager 提供了一个可配置的环境，用于快速原型化 CRL 算法。它允许研究人员控制部分可观测性的程度（通过视野大小）和问题难度（通过物体放置和奖励动态），而无需复杂游戏引擎的计算开销。
证明状态构建的必要性：本文提供了实证证据，表明标准深度强化学习智能体（DQN、PPO）由于部分可观测性而在 Forager 中表现不佳。它强调，在这种设置下，状态构建（通过记忆痕迹或循环架构）对于持续性能比标准的可塑性缓解技术更为关键。
全面的基准测试套件：作者评估了广泛的算法，包括：
- 基线：DQN 和 PPO。
- 可塑性缓解技术：向初始化正则化、cReLU 激活函数、收缩与扰动（Shrink & Perturb）、L2 正则化以及永久 - 瞬态 Q 学习（PT-DQN）。
- 状态构建：指数加权记忆痕迹、深度循环 Q 网络（DRQN）和循环时间单元 PPO（RTU-PPO）。
无尽任务变体：一种特定配置，生成无尽的新任务流，迫使智能体永远学习而不收敛到静态策略，从而突显当前 CRL 智能体的局限性。

实验结果

1. 部分可观测性（视野）的影响

观察：随着视野（FOV）减小，前馈 DQN 智能体的性能显著下降。
发现：在大视野下，DQN 接近神谕搜索（Oracle Search）的性能。在小视野下（智能体无法跨越“生物群落”间隙），DQN 无法学习最优觅食策略，表现得像随机搜索或最近邻搜索。这证实了该环境确实需要记忆来跟踪隐藏状态。

2. 可塑性丧失及其缓解

观察：在任务切换变体中，PPO 表现出严重的可塑性丧失（性能随时间下降），而 DQN 仅显示出轻微下降。
缓解测试：测试了几种提出的缓解措施（cReLU、L2 初始化、收缩与扰动、PT-DQN）。
- 结果：虽然某些缓解措施（特别是L2 初始化和cReLU）提高了适应速度或防止了完全崩溃，但没有任何一种能让智能体接近神谕搜索基线的性能。
- 结论：仅缓解可塑性丧失不足以应对部分可观测环境中的 CRL；智能体仍然缺乏构建有用内部状态的能力。

3. 状态构建的作用

简单记忆：为 DQN 和 PPO 添加近期奖励的指数加权记忆痕迹显著提高了性能。
循环架构：
- DRQN：带有 GRU 的修改版 DRQN 并未优于标准 DQN，表明特定的实现或算法在此上下文中未能提取有用的状态。
- RTU-PPO：使用循环时间单元（RTU）层的循环 PPO 变体在所有学习智能体中取得了最佳性能，几乎达到了神谕搜索基线的水平。
- 持续学习证据：当 RTU-PPO 智能体在实验中途被“冻结”（停止学习）时，其性能显著下降。这证明该智能体并未收敛到静态策略，而是正在积极地持续重新学习并适应任务切换，同时利用其循环状态来处理部分可观测性。

4. 无尽任务流

在最具有挑战性的变体中（四个生物群落、动态物种替换、隐藏线索），即使是最好的循环智能体（RTU-PPO）也达到了平台期，未能达到神谕性能。
解释：快速奖励非平稳性、大世界尺寸和有限视野的结合创造了一个当前算法无法完全克服的挑战，特别是在单流（同步）学习设置中。

意义与主张

本文声称，Forager通过提供一个可扩展、内存高效的环境，填补了 CRL 研究中的关键缺口，该环境隔离了部分可观测性和状态构建的挑战。

适度主张：作者明确指出，Forager 并非逼真的模拟，也缺乏复杂的物理特性。其价值在于能够平衡快速原型化与足够的复杂性，以挑战当前算法。
核心见解：主要发现是，虽然缓解可塑性丧失很重要，但状态构建（通过循环或记忆）是使智能体能够在部分可观测世界中持续学习的主导因素。
未来方向：无尽任务变体作为一个“挑战问题”，旨在推动未来研究开发能够在大而部分可观测的世界中处理快速适应、时间抽象和有效探索的算法。

本文结论指出，当前 CRL 智能体在这些设置中存在明显的局限性，而 Forager 提供了一个科学测试平台，用于研究这些局限性，同时避免了大规模环境带来的计算限制。