💻 computer science

NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting

本文介绍了 NeuroSynth，这是一种受生物启发且具有双通路巩固机制的持续强化学习架构，通过该机制缓解了灾难性遗忘，并在顺序导航任务中证明了其在保留先前任务知识方面显著优于标准的 PPO 和 EWC 基准模型。

原作者： Yash Kini

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yash Kini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大脑永不遗忘的秘密（以及为什么机器人会挣扎）

想象一下，你正在尝试学习一款新的电子游戏。你在第一关玩得非常出色，但就在你开始第二关的瞬间，你的大脑似乎按下了“重置”键，你竟然忘记了如何玩第一关。这不仅仅是人类的一个怪癖，更是人工智能（AI）面临的一个巨大难题。在机器学习领域，这被称为“灾难性遗忘”（catastrophic forgetting）。当 AI 学习一项新任务时，它会意外地覆盖掉用于旧任务的代码，就像在磁带上录入一首新歌，却在过程中擦掉了 90 年代的经典金曲一样。

科学家们一直在研究我们的大脑是如何解决这个问题的。他们认为我们的大脑使用了一个巧妙的双部分系统。其中一部分是海马体（hippocampus），它像是一个超快速的记事本，能瞬间捕捉新信息；另一部分是新皮层（neocortex），它像是一个慢火烹饪的图书馆，需要时间来组织并将这些笔记存储为长期记忆。虽然我们可以学习新事物而不丢失旧事物，但大多数 AI 系统被构建成一个单一的、巨大的大脑，试图同时处理所有事情，从而导致了那种令人沮付的“重置”按钮效应。核心问题在于：我们能否构建出一种像人类一样学习的 AI，既能保留旧技能，又能精通新技能？

NeuroSynth：记住根源的 AI

请看 NeuroSynth，这是一种由高中研究员 Yash Kini 设计的新型 AI 架构，旨在阻止这种记忆流失。不要把 NeuroSynth 仅仅看作一个单一的大脑，而要把它看作是一个由两名专家组成的团队：一位“规划者”（Planner）和一位“习惯养成者”（Habit-Former）。

规划者 的灵感来自大脑的海马体。它是快速学习者。当 AI 面临新挑战时，规划者会迅速介入，快速理清思路，然后——至关重要的一点是——它会冻结其知识。这就像是拍下一张完美的照片并将其锁进保险库，使其永远不会被意外擦除。习惯养成者 的灵感来自大脑的皮层，它是灵活的工作者。它保持开放状态并不断学习新事物。但神奇之处在于：习惯养成者并不只是独立学习。它会不断观察保险库中那张冻结的照片（即规划者），并利用一种被称为“回放”（replay，即想象旧游戏）和“蒸馏”（distillation，即模仿规划者的风格）的技术来练习旧的动作。通过这种方式，AI 可以在学习新关卡的同时，不会删除旧的关卡。

为了测试这种类脑团队是否比标准 AI 更有效，研究人员将三种不同的模型放入了一个名为 NeuroMaze-CL 的数字迷宫中进行测试。目标很简单：在网格中导航以找到特定的出口。转折点在于：每当出口移动时，AI 都必须重新学习。AI 必须学习第一个出口，然后是第二个，接着是第三个，且在此过程中从未被允许再次练习前两个出口。这种“不可重访”规则旨在强迫 AI 产生遗忘，就像一个只能为期末考试学习、却永远无法查看旧笔记的学生一样。

结果证明，这种受大脑启发的方案取得了明显的胜利。标准的 AI 模型（称为 PPO）在记忆方面表现得一塌糊 l。在学习完第三个迷宫后，它完全忘记了第一个迷宫，在任务 A 上的成功率仅为 0.33%。就好像 AI 从未见过第一个迷宫一样。第二个模型 EWC 试图通过极其谨慎地更新来保护其旧记忆，但由于过于谨慎，它在学习新迷宫时显得力不从心。

然而，NeuroSynth 找到了平衡点。在同样的训练后，它在第一个迷宫上的成功率为 18.00%——显著优于 PPO 近乎为零的表现。它不仅记住了第一个任务，还比 PPO 更好地保留了第二个任务，在任务 B 上达到了 35.33% 的成功率（相比之下 PPO 为 0.00%）。当面对最终最难的任务（任务 C）时，NeuroSynth 的表现优于谨慎的 EWC 模型（9.00% 对比 2.00%），尽管这一特定差异在统计学上还不足以被称为决定性的胜利。

这项研究表明，通过将“快速学习”与“缓慢记忆”分离，并利用回放技术来练习旧技能，我们可以构建出既稳定又灵活的 AI。虽然这目前还不是解决机器人技术或医疗 AI 中所有问题的万能药，但它表明，模仿大脑的双路径系统是阻止机器人每学到新东西就按下那个令人沮丧的“遗忘”按钮的一种极具前景的方法。正如作者所言，这是迈向能够真正学习终身技能、且不会丢失已掌握技能的机器器的关键一步。

技术摘要：NeuroSynth —— 一种受生物启发且具有持续强化学习能力的架构

问题陈述

人工智能系统，特别是强化学习（RL）领域，频繁遭受**灾难性遗忘（catastrophic forgetting）**的困扰。这种现象发生在神经网络在顺序学习新任务时，覆盖了对先前行为至关重要的参数，导致先前的知识迅速退化。虽然生物学习系统通过互补的记忆过程（特别是海马体快速编码与皮层缓慢巩固之间的相互作用）来减轻这种干扰，但大多数人工强化学习架构缺乏明确的记忆系统分离。现有的解决方案通常依赖于单一的自适应表示空间，这使得它们在面对优先考虑新任务而非旧任务的梯度更新时显得非常脆弱。

方法论

实验框架

本研究评估了受大脑启发的架构 NeuroSynth 与两种标准的持续学习基准模型的表现：

近端策略优化 (PPO)： 一种标准的演员-评论家（actor-critic）方法，没有专门的持续学习机制，作为灾难性遗忘的参考。
弹性权重巩固 (EWC)： 一种基于正则化的方法，通过使用费舍尔信息矩阵（Fisher Information matrices）来惩罚对先前任务重要参数的更新。

评估在 NeuroMaze-CL 中进行，这是一个基于 Gymnasium 框架构建的自定义持续强化学习环境。该环境是一个 8×8 的网格世界，智能体通过部分可观测的、以自我为中心的 7×7 RGB 观测进行导航以到达特定目标位置。实验由三个连续任务（任务 A $\rightarrow$ 任务 B $\rightarrow$ 任务 C）组成，目标位置会发生变化。至关重要的是，该设置是**非重访式（non-revisitation）**的：一旦某个任务阶段结束，智能体将不再重新训练该任务，从而迫使模型依赖内部保留机制。

NeuroSynth 架构

NeuroSynth 通过将互补学习系统（CLS）理论转化为功能性的算法框架，通过双通路机制将快速获取与长期巩固分离：

受海马体启发的“规划”（Plan）通路：
- 通过时序差分学习（temporal-difference learning）快速获取初始任务（任务 A）的表示。
- 一旦任务 A 训练完成，所有规划参数将被冻结，以保留早期表示。
- 该冻结网络的指数移动平均（EMA）副本充当后续阶段的“教师”。
受皮层启发的“习惯”（Habit）通路：
- 在任务 B 和任务 C 期间保持塑性，允许智能体学习新的目标。
- 通过两种机制防止对任务 A 的遗忘：
  - 重放（Replay）： 一个储备采样缓冲区存储历史任务 A 的状态。在新的训练期间，习惯通路会接触到当前任务经验与重放的先前任务经验的混合。
  - 策略蒸馏（Policy Distillation）： 习惯通路（学生）通过在重放的任务 A 状态上使用 Kullback–Leibler (KL) 散度损失，与冻结的规划通路（教师）进行对齐。这在不重新训练冻结的规划器的情况下，稳定了与早期状态相关的策略行为。

训练协议

种子： 使用了六个独立的随机种子以确保统计可靠性。
步数： 任务 A（100k 步），任务 B（100k 步），任务 C（200k 步）。任务 C 被延长以增加表示干扰。
评估： 训练后采用确定性调度，每个任务进行 50 个回合（episodes）。成功率定义为达到目标的总回合百分比。

关键结果

研究报告了顺序训练后在三个任务上的表现，重点关注先前任务的保留情况以及最终任务的获取能力。

任务 A 保留（任务 C 后）：
- PPO： 遭受了近乎完全的遗忘，成功率仅为 0.33%。
- NeuroSynth： 实现了 18.00% 的成功率。
- 显著性： 差异具有统计学意义（ $p = 0.014929$ ），且具有较大的效应量（Cohen's $d = 1.49$ ）。
任务 B 保留（任务 C 后）：
- PPO： 成功率为 0.00%。
- NeuroSynth： 实现了 35.33% 的成功率。
- 显著性： 差异高度显著（ $p = 0.002376$ ），具有极大的效应量（Cohen's $d = 2.31$ ）。
任务 C 获取（最终性能）：
- EWC： 成功率为 2.00%，表明参数约束限制了其对新任务的适应能力。
- NeuroSynth： 实现了 9.00% 的成功率。
- 显著性： 虽然 NeuroSynth 优于 EWC，但差异在统计上并不显著（ $p = 0.226643$ ），尽管显示出中等效应量（Cohen's $d = 0.56$ ）。

核心贡献

架构分离： NeuroSynth 引入了一种双通路设计，将快速获取（规划）与缓慢巩固（习惯）明确分离，模拟了生物学中的海马体-皮层相互作用。
混合稳定性： 该架构结合了重放（数据复习）与策略蒸馏（行为对齐），在不完全依赖静态参数正则化的情况下稳定了表示。
实证验证： 研究表明，这种受生物启发的方案在保留先前知识方面显著优于标准 PPO，并在平衡稳定性与塑性方面较 EWC 提供了适度的改进。

意义与主张

论文声称 NeuroSynth 成功解决了持续强化学习中的**稳定性-塑性权衡（stability-plasticity tradeoff）**问题。通过将学习新任务与保留旧任务的机制解耦，该架构防止了新任务的梯度更新覆盖先前任务的关键参数。

作者得出结论，受生物启发的巩固机制——特别是记忆路径的分离和基于重放引导的蒸馏的使用——为开发稳定的终身学习系统提供了一个充满前景的方向。结果表明，此类架构可以在继续适应新环境的同时，维持先前获得的行为，而标准的基于梯度的算法（PPO）和刚性正则化方法（EWC）难以同时实现这一目标。

局限性与未来方向

论文谦逊地承认了一些局限性：

环境复杂度： 实验是在低维、离散的网格世界中进行的，这无法完全捕捉高维感觉输入或连续控制的复杂性。
任务范围： 仅使用了三个连续任务；其在更大规模、终身学习基准测试中的可扩展性尚未经过测试。
基准对比： 与对比仅限于 PPO 和 EWC；需要与混合型或基于 Transformer 的记忆系统进行更广泛的比较。
生物保真度： 该模型是“受生物启发”而非“生物学真实”的，简化了诸如睡眠依赖性重放和突触调节等复杂过程。

作者提出的未来工作包括在机器人和连续控制环境中测试 NeuroSynth，研究稀疏奖励场景，以及探索自适应巩固机制（例如动态路径冻结）而非静态冻结，以提高长期灵活性。