🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

本文介绍了保留感知策略优化（RaPO），这是一种新颖的强化微调方法，它通过保留奖励塑造和跨任务优势归一化来解决轨迹级漂移不可知性问题，从而在视觉持续学习中缓解灾难性遗忘，并实现了优于现有方法的性能。

原作者： Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《通过强化微调克服视觉持续学习中的灾难性遗忘》的解释。

核心问题：“金鱼”式人工智能

想象你正在教一个非常聪明的机器人识别不同种类的鸟。

周一： 你给它看一张麻雀的图片。它完美地学会了。
周二： 你给它看一张鹰的图片。它学会了鹰，但突然忘记了麻雀长什么样。它认为麻雀只是一种小鹰。
周三： 你给它看一只猫头鹰。现在，它既忘记了麻雀，也忘记了鹰。

这被称为灾难性遗忘。这个机器人就像一条只有 3 秒记忆的金鱼；每学到一个新东西，它就会把大脑里的旧东西全部清空。这对于需要在现实世界中持续学习的人工智能来说，是一个巨大的问题。

当前的解决方案（及其不完美之处）

研究人员尝试了两种主要方法来解决这个问题：

监督微调（SFT）： 这就像一位严厉的老师说：“把答案原封不动地背下来。”这种方法效果尚可，但机器人仍然会很快忘记旧答案。
强化微调（RFT）： 这就像一位教练说：“尝试不同的方法来解决这个问题，如果你做对了，我就给你奖励。”最近的研究表明，这种“教练”方法（具体是一种称为GRPO的技术）比“老师”方法更擅长记忆。

然而，本文的作者发现了一个陷阱：即使“教练”方法（GRPO）在任务变得非常困难时，仍然会遗忘大量内容。它比“老师”方法好，但并非完美。

发现：“漂移”侦探

研究人员问道：为什么“教练”方法仍然会遗忘事物？

他们仔细观察了机器人的思考方式。他们注意到一种奇怪的现象，称为轨迹级漂移无差别性。

类比： 想象机器人正在参加考试。它可以用两种不同的方式正确解答当前的问题。
- 方式 A： 它使用的逻辑与它昨天解题时的逻辑非常相似。
- 方式 B： 它使用了一种完全狂野、全新的逻辑，与昨天的逻辑截然不同。
问题： 当前的“教练”（GRPO）只关注最终得分。如果方式 A 和方式 B 都答对了问题，教练会给它们相同的奖励。它并不在意方式 B 正在“漂移”，偏离了机器人的旧知识。
结果： 随着时间的推移，机器人会不断选择“狂野”的方式（方式 B），因为它们能得分。最终，它漂移得离原始知识太远，以至于忘记了过去所知道的一切。

解决方案：RaPO（保留感知策略优化）

为了解决这个问题，作者创造了一种名为RaPO的新方法。把 RaPO 想象成一位“智能教练”，它关心两件事：答对答案以及保持与昨天的自己一致。

RaPO 有两个主要技巧：

1. “记忆锚点”（保留奖励）

工作原理： 每次机器人尝试解决问题时，RaPO 都会检查：“这种新的思考方式与你昨天的思考方式有多相似？”
类比： 想象你正在学习一个新的舞蹈动作。
- 如果你学习的动作自然地延续了你之前的风格，教练会给你额外加分。
- 如果你学习的动作完全混乱，破坏了你之前的节奏，即使你仍然跳完了舞，教练给你的分数也会更少。
目标： 这鼓励机器人在学习新事物时，不要完全抛弃旧习惯。它温和地引导机器人保持靠近其“记忆锚点”。

2. “稳健之手”（跨任务优势归一化）

工作原理： 当机器人从学习“鸟类”切换到学习“汽车”时，任务的难度会突然改变。这可能会让机器人的学习过程感到困惑，使其在过于自信和过于不确定之间剧烈摇摆。
类比： 想象你在开车。突然，你从平坦的高速公路切换到颠簸的土路。如果汽车的悬挂系统对每一个颠簸都做出即时反应，你就会撞车。
修正： RaPO 使用了一种“减震器”（指数移动平均）。它不是对当下的颠簸做出反应，而是随时间平滑这些颠簸。这使机器人的学习节奏保持稳定，即使任务发生剧烈变化。

结果

研究人员在多种视觉任务上测试了 RaPO：

识别新类型的图像（图像分类）。
在图片中寻找物体（目标检测）。
理解视频（视频分类）。

结果：
RaPO 是明显的赢家。它学习新事物的速度与旧方法一样快，但遗忘的内容少得多。

在一次测试中，旧方法遗忘了约**20%**的学习内容。
RaPO 仅遗忘了约4%。

总结

这篇论文不仅仅是在说“人工智能变得更聪明了”。它具体解决了如何教导人工智能在学习新事物时不删除旧记忆的问题。

他们发现，仅仅奖励人工智能的“正确性”是不够的。你还必须奖励它与过去的自己保持一致性。通过在 learning 过程中加入“记忆检查”和“稳定器”，他们创造了一种能够在成长的同时不失去自我身份的人工智能。

注意： 该论文完全专注于计算机视觉任务（图像和视频），并未声称这些方法目前用于医疗诊断、监控或其他特定的现实世界应用。这是一项基础性研究，旨在帮助未来的人工智能系统实现持续学习。

技术摘要：利用强化微调克服视觉持续学习中的灾难性遗忘

问题陈述
尽管近期研究表明，强化微调（RFT），特别是组相对策略优化（GRPO）等方法，在多模态大语言模型（MLLMs）中比监督微调（SFT）具有更强的抗灾难性遗忘能力，但其在具有挑战性的视觉持续学习（VCL）场景中的有效性仍是一个未解之谜。具体而言，在无重放（rehearsal-free）场景下，如类增量学习（CIL）和域增量学习（DIL），标准 RFT 仍遭受不可忽视的遗忘。作者识别出一个特定的瓶颈，称为轨迹级漂移盲视（Trajectory-level Drift Agnosticism）：在实现相同任务奖励的候选轨迹中，相对于前一任务策略的 Kullback-Leibler（KL）散度存在显著差异。纯粹由任务奖励驱动的行为无法区分这些轨迹，导致信用分配无意中偏向高漂移的解，从而加速历史知识的丧失。

方法论：保留感知策略优化（RaPO）
为解决轨迹级漂移盲视问题，作者提出了RaPO，这是一种简单而有效的 RFT 方法，通过轨迹级奖励塑形显式地减轻遗忘。RaPO 包含两个核心组件：

保留奖励（Retention Reward）： 该组件将轨迹级的分布漂移转化为连续的奖励信号。对于由当前策略 $\pi_t$ 生成的轨迹 $y_i$ ，其漂移被测量为相对于冻结的锚定策略 $\pi_{t-1}$ （前一任务的策略）的长度归一化对数概率比。
- 漂移指标定义为 $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ 。
- 该漂移被映射为有界的正奖励 $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$ ，其中较低的漂移产生较高的奖励。
- 总奖励公式为 $R_{total} = R_{task} + \lambda R_{ret}$ 。关键在于，该奖励是在组相对优势计算之前添加的。这确保了在任务表现相当的轨迹中，那些更靠近锚定策略（即保留先验知识）的轨迹会获得更高的优势，从而将策略引导至低漂移区域。
跨任务优势归一化（CTAN）： 为了抵消任务边界处奖励分布突变引起的优化不稳定性，RaPO 用持久的指数移动平均（EMA） $\hat{\sigma}$ 替换了每批次的奖励标准差。
- $\hat{\sigma}$ 在优化步骤和任务边界之间进行更新（ $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ ）。
- 优势计算为 $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ 。
- 该机制防止了在任务转换期间优势尺度发生崩溃或爆炸，确保持续学习流中信用分配的稳定性。

主要贡献

漂移盲视的实证识别： 本文提供了首次系统性分析，表明原生 GRPO 在视觉 VCL 中存在轨迹级漂移盲视，即具有相同奖励的轨迹相对于先前任务表现出截然不同的分布漂移程度。
RaPO 框架： 作者引入了 RaPO，该框架整合了保留奖励和 CTAN，分别用于显式惩罚高漂移轨迹和稳定优化尺度。
全面评估： 该方法在五种不同的视觉持续学习场景中进行了评估：类增量图像分类、域增量图像分类、类增量目标检测、域增量目标检测以及类增量视频分类。
首次系统性探索： 据作者所知，这是首次系统性探索基于验证器的 RFT 在视觉持续学习中的潜力。

实验结果
在包括 ImageNet-R、ImageNet-A、TinyImageNet、CUB-200、COCO 2017、UCF-101 和 Kinetics-200 在内的数据集上进行的广泛实验表明，RaPO 始终优于强大的基线方法（包括 SFT、EWC、LwF 和标准 GRPO）。

图像分类： 在 ImageNet-R（10 个任务）上，RaPO 达到了 85.92% 的准确率，遗忘率仅为 4.69%，显著优于 GRPO（74.67% 的准确率，20.02% 的遗忘率）。
目标检测： 在 COCO（5 个任务）上，RaPO 将边界框 AP 从 14.64% 提升至 19.31%，同时将遗忘率从 6.67% 降低至 1.39%。
泛化能力： RaPO 在视频分类和域增量场景中表现出稳健的性能，在保留历史知识的同时，对新任务保持了强大的可塑性。
消融研究： 作者证实，保留奖励和 CTAN 是互补的；移除其中任何一个都会降低性能。该方法也被证明对超参数选择具有鲁棒性，并且在应用于其他策略优化算法（如 SAPO）时同样有效。

意义与主张
本文主张，虽然 RFT 天生比 SFT 更能抵抗灾难性遗忘，但在缺乏针对轨迹级漂移的显式干预的情况下，它不足以应对具有挑战性的视觉 VCL。RaPO 通过修改奖励信号来优先选择保留知识的轨迹，从而解决了这一问题，且无需架构更改或数据重放。作者将这项工作定位为对 RFT 如何适应持续学习的基础性探索，而非通过复杂工程追求最先进基准。他们得出结论，RaPO 提供了一种简单有效的策略，在大幅减少灾难性遗忘的同时，保留了 MLLMs 强大的推理和适应能力，希望以此激发更多关于基于 RFT 的持续学习的研究。