🤖 machine learning

Catastrophic Forgetting in Continual Reinforcement Learning

本研究通过在基于图的任务上使用 Q 学习，调查了持续强化学习中任务相似性与灾难性遗忘之间的关系，发现虽然遗忘表现出受相似性和复杂性共同影响的复杂动态，但没有统计学上的显著证据表明任务相似性独立驱动了遗忘。

原作者： Emma Graham

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Emma Graham

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人如何通过迷宫。起初，你给它展示一个带有几个转弯的简单迷宫，它学会了通往宝藏的完美路径。然后，你把迷宫换成了一个略微不同的迷宫。如果机器人过于急于学习新迷宫，它可能会完全忘记如何解决旧迷宫。这种现象被称为“灾难性遗忘”，它是科学家们在试图构建像人类一样能进行持续学习的人工智能时面临的一个重大难题。大问题在于：新迷宫与旧迷宫有多不同，这真的重要吗？如果新迷宫看起来很像旧的，机器人的记忆力会更好吗？或者，如果它看起来完全不同，处理起来反而更容易吗？这篇论文通过一种特定的机器人学习方法——“强化学习”来深入探讨这个谜团，在这种方法中，智能体通过试错法来学习，目标是以尽可能少的步数达到目标。

这项研究背后的研究人员决定使用一个巧妙的几何学技巧来测试这个想法。他们没有使用杂乱的现实世界迷宫，而是用名为“沃罗诺伊图”（Voronoi diagrams）的数学形状构建了他们的“迷宫”。把这些想象成一张地图，其中地面上的每个点都属于最近的“种子”点，从而创造出一片由多边形组成的拼布图案。为了创建一个新任务，他们只需稍微移动这些种子点的位置。这使他们能够创造出一系列在结构上相关但略有不同的迷宫。他们在第一个迷宫上训练了一个机器人智能体，然后教它第二个略有不同的迷宫，最后检查它对第一个迷宫遗忘了多少。

然而，结果却有点令人惊讶，并且并不像人们预期的那样直接。研究发现，任务之间的相似程度与智能体遗忘程度之间的关系极其复杂且混乱。虽然研究人员观察到，根据任务差异的不同，遗忘程度会出现巨大的波动，但他们无法找到一个清晰、一致的规则。换句话说，他们无法证明是“相似”或“不同”导致了智能体的遗忘。数据表现出了高度的可变性，这表明遗忘取决于任务相似性和任务复杂性之间错综复杂的混合因素，而不仅仅是单一因素。最终，这篇论文得出结论：虽然任务相似性与遗忘之间的联系非常引人入胜，但目前还没有确凿的统计证据表明仅仅是相似性驱动了这种遗忘。故事尚未解决；它只是告诉我们，答案远比一个简单的“相似等于安全”或“不同等于糟糕”的规则要复杂得多。

技术摘要：持续强化学习中的灾难性遗忘

问题陈述

持续学习（Continual learning）是指系统在学习新任务的同时保留先前知识的能力，这仍然是机器学习领域一个尚未解决的重要挑战。实现这一能力的主要障碍是灾难性遗忘（catastrophic forgetting），即模型在学习新信息时会丢失先前获得的知识。尽管在缓解监督学习和神经网络中的遗忘问题方面已有大量研究，但在**强化学习（RL）**中，任务相似性（task similarity）与遗 de 遗忘严重程度之间的具体关系仍缺乏量化研究。

本研究调查了在新任务学习过程中，新任务的相似程度在多大程度上影响对先前学习任务的性能退化。研究旨在确定：在可解释的表格型（tabular）RL智能体设置下，任务差异的程度与灾难性遗忘的幅度之间是否存在可量化的关系。

研究方法

实验框架

本研究采用基于图结构任务的表格型 Q-learning。智能体的目标是最小化到达特定目标状态所需的步数。使用表格化方法确保了可解释性，而基于图的环境则允许对任务结构进行精确控制。

任务生成

任务通过由二维平面内一组点（site）生成的**沃罗诺伊图（Voronoi diagrams）**来生成。

结构： 图的节点对应于沃罗诺伊图的顶点，边代表相邻区域之间的连接。
相似性控制： 为了生成一系列相关的任务，对沃罗诺伊图的内部点进行扰动。通过从高斯分布中采样基准点集 ( $x_0$ ) 和新点集 ( $x_1$ ) 来生成任务。通过线性插值创建新的任务配置 ( $x_\alpha$ )：
$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$
其中 $\alpha \in [0, 1]$ 控制扰动程度。 $\alpha=0$ 代表基准任务， $\alpha=1$ 代表完全扰动的任务。
一致性： 为确保智能体能够比较不同任务，实现了一套旋转系统（rotation system）。该系统根据节点周围邻居的相对顺时针顺序分配动作（后退、左转、右转），而非基于绝对坐标。这使得智能体能够独立于空间畸变来理解拓扑结构。

测量任务相似性

本研究根据图之间的拓扑结构差异来定义任务相似性，因为智能体优化的是步数而非几何距离。

指标： 由于计算图编辑距离（Graph Edit Distance）在计算上是不可行的（NP-hard），本研究使用了两种计算上可行的指标组合：
1. Wasserstein 距离 ( $W_2$ )： 测量沃罗诺伊单元面积的空间分布差异。
2. Hausdorff 距离 ( $\delta_H$ )： 测量两个图顶点集合之间的最大距离。
组合指标： 最终的相似性度量 $\Delta(G_1, G_2)$ 是归一化后的 Wasserstein 距离与 Hausdorff 距离的平均值。

评估协议

阶段 1（基准学习）： 在基准图 ( $G_0$ ) 上训练智能体直至收敛。性能通过到达目标的步数来衡量。
阶段 2（新任务学习）： 在具有不同拓扑结构但具有相同目标状态定义的图 ( $G_\alpha$ ) 上训练同一智能体。
阶段 3（遗忘测量）： 再次在原始基准图 ( $G_0$ ) 上测试智能体。
量化： 遗忘程度被量化为：在学习新任务之后，解决基准任务所需的步数相对于学习新任务之前性能的增加量。

关键结果

研究针对不同任务复杂度和相似度 ( $\alpha$ ) 进行了一百次实验试验。

复杂动态： 结果揭示了任务相似性与遗忘之间存在复杂的动态关系，在不同的任务相似度和任务复杂度下，观察到了遗忘严重程度的显著波动。
变异性： 数据表现出遗忘结果的高度变异性，并伴随有任务相似性度量分布不均的现象。
统计显著性： 至关重要的是，研究发现没有证据表明任务相似性本身在持续强化学习中对遗忘具有统计学意义上的影响。这两个变量之间的关系仍不明确，且未确认任何特定的模式（无论是线性、单调还是其他模式）。
相互依赖性： 观察结果表明，遗忘可能与任务的相似性和复杂性共同相互依赖，但这种关系的具体性质尚未得到解决。

意义与主张

本文定位为对文献中一个空白领域的探索性研究：即量化任务差异如何具体驱动强化学习中的灾难性遗忘。

适度的结论： 作者明确指出，其观察结果表明遗忘与任务相似性和复杂性之间存在相互依赖关系，但并未声称已经证明了某种确定的因果机制或特定的函数关系。
作为贡献的负面结果： 本研究的一个主要贡献是发现，在这一特定的表格型、基于图的设置下，任务相似性本身似乎并不是遗忘严重程度的统计显著预测因子。这挑战了“相似性是所有 RL 背景下遗忘风险之直接代理指标”的假设。
未来方向： 论文总结道，需要进一步的研究来全面理解任务相似性与灾难性遗忘之间潜在的相互作用，目前的结论强调了需要更稳健的实验设计或替代指标来解决观察到的变异性问题。

本研究并未提出新的缓解算法或具体的应用场景，而是通过使用可解释的模型来隔离结构变量，从而对该问题空间提供基础性的分析。