想象一个极其聪明但有着非常奇怪记忆问题的学生：每当他们学习一门新学科时，他们会瞬间忘记之前掌握的所有旧知识。如果他们为了历史考试而学习，他们可能会忘记如何解数学方程。如果他们学习弹吉他，他们可能会忘记如何说母语。这不仅仅是人类生物学上的一个小癖好，它也是我们今天构建的人工智能（AI）系统面临的一个重大难题。在机器学习领域，这种现象被称为“灾难性遗忘”（catastrophic forgetting）。

通常情况下，当我们教 AI 一项新任务时，我们会向它展示一些过去课程的示例，以提醒它已经知道的内容。但如果我们不能这样做呢？想象一下，如果由于隐私法规或严格的内存限制，意味着 AI 被禁止保存任何来自其先前课程的旧照片、文档或数据。它必须在学习新事物的过程中保持旧技能的活跃，同时又不能查阅任何参考资料。这就是“无样本”（exemplar-free）挑战。目前大多数 AI 方法试图通过复杂的数学来记住大脑过去是如何变化的来解决这个问题，但这需要一种特定的数学信号（称为“梯度”），而当你不拥有旧数据时，这种信号根本不存在。

由此诞生了一种名为 EvoCL 的新方法，它试图通过彻底打破规则来解决这个谜题。EvoCL 不再尝试使用梯度来计算完美的数学路径，而是使用一种受自然启发的方法：进化。你可以把它想象成一场“猜解方案”的游戏，AI 会创造出整个人群中略有不同的多个自我版本，测试它们，保留最好的那些，并将它们混合在一起，以创造出更强大的下一代。这是一种不需要回顾旧数据或使用通常会在这些情况下失效的标准数学信号的学习方式。

问题所在：AI 失忆症

在神经网络（现代 AI 背后的类脑结构）的世界里，存在着一种持久的恐惧：当你教神经网络新事物时，它往往会覆盖掉旧知识。这就像是在笔记本上写新的章节，但墨水太浓，渗透到了之前的页面并擦除了它们。为了阻止这种情况，大多数科学家使用一种称为“反向传播”（backpropagation）的技术，这本质上是一种计算如何微调网络设置，以便同时记住新旧信息的高级方法。

然而，这种方法在“无样本”场景下会撞墙。在这种设定下，由于隐私保护或内存限制，AI 被禁止存储任何来自过去任务的原始数据。没有了旧数据，AI 就无法计算出过去任务所需的数学信号（梯度）。这就像是在从未见过旧零件蓝图的情况下试图修理汽车发动机。结果就是，AI 会迅速偏离其旧技能，从而产生遗忘。

解决方案：用进化代替方程

由 Grzegorz Rypeść 领导的研究团队提出了一个激进的转变。他们建议不要强迫 AI 去寻找它找不到的梯度，而是使用一种进化策略（Evolution Strategy, ES）。

想象你正在试图寻找一条穿过浓雾森林到达隐藏宝藏的最佳路线。

• 旧方法（梯度下降）： 你试图计算脚下地面的精确坡度，以确定哪种方向是通往宝藏的“下坡”。但在迷雾中（没有旧数据），你看不清地面，所以你的计算是错误的，最终会迷失方向。
• EvoCL 方法（进化策略）： 你不再进行计算，而是派出了一支探险队（一群 AI 模型）。每位探险家都采取略微不同的路径。你检查谁找到了最多的宝藏（表现最好的人）。然后，你选取表现最好的两个探险家，将他们的路径混合在一起（交叉），并加入一点随机游走（变异），从而创造出一支更强大的新探险队。你重复这个过程，直到找到完美的路径。

这种方法不需要知道过去的“坡度”，它只需要知道哪些方案比其他方案效果更好。

EvoCL 如何运作：神奇的适配器

有一个棘手的部分：如果 AI 没有旧数据，它如何知道一条新路径对过去的任务是否有效？

EvoCL 使用了一个涉及**潜空间缓冲区（Latent Buffer）和适配器网络（Adapter Network）**的巧妙技巧。

1. 记忆库： 在完成一项任务后，AI 不会保存原始图像或文本。相反，它会保存一份关于它所学内容的极小、压缩过的摘要（称为“潜特征”）。这就像是保存一幅画的素描稿，而不是画作本身。它占用的空间极小，且能保护隐私。
2. 翻译器（适配器）： 随着 AI 学习新任务，它的内部“语言”会发生变化。旧时光里的素描稿在新语境下可能不再适用。因此，EvoCL 会训练一个小型、临时的翻译器（适配器网络），将这些旧素描转化为新的语言。
3. 模拟： AI 拿这些经过翻译的素描，并假装它们就是真实的旧数据。它根据这些素描计算一个“伪损失”（衡量误差的指标）。这使得进化算法可以测试一组新的设置是否既有助于当前任务，也有助于“模拟”出的过去任务。

实验结果表明

研究人员在多个标准数据集上测试了 EvoCL，涵盖了从简单的手写数字（MNIST）到复杂的飞机图像（FGVCAircraft）以及不同的领域（DomainNet）。他们将其与现有的试图在不存储旧数据的情况下解决此问题的最佳方法进行了对比。

结果非常理想。EvoCL 始终优于其竞争对手。

• 在 MNIST（手写数字）数据集上，当同时学习 3 个任务时，EvoCL 达到了 92.3% 的最终准确率，大幅领先于次优方法。
• 在难度更高的 FashionMNIST（服装图像）上，它达到了 77.2% 的准确率，再次领先。
• 即使在复杂的 CIFAR100（100 个不同物体类别）数据集上，EvoCL 依然保持领先，达到了 24.8% 的准确率，这相比其他方法有了明显的提升。

论文还进行了一项专门的测试，以观察进化方法在缺少梯度时是否真的优于标准的数学方法（SGD）。他们发现，标准方法表现得非常糟糕，导致 AI 几乎忘掉了所有东西（在某些情况下准确率降至 14% 左右），而 EvoCL 则保持了强劲的表现。这表明，当你无法计算梯度时，进化确实是一种更优越的策略。

权衡：速度与智能

然而，这里有一个代价。虽然 EvoCL 在不使用旧数据的情况下更聪明，但它也更慢。因为它必须同时测试许多个不同版本的 AI（种群），所以训练时间要长得多。

• 在 CIFAR100 数据集上，其他方法大约需要 3 到 20 分钟 进行训练，而 EvoCL 则花费了近 985 分钟（超过 16 小时）。
• 作者指出，这是一个权衡：你用时间换取了在不存储数据的情况下进行学习的能力。

局限性与未来步骤

论文谨慎地指出，这目前还不是解决所有问题的万灵药。

• 规模： 该方法在中小规模数据集上表现良好。作者承认，他们尚未在像 ImageNet-1k 这样的大型数据集上测试它，因为“进化”过程对于如此巨大的模型来说需要过多的计算能力。
• 近似： 该方法依赖于从翻译后的素描中计算出的“伪”损失。如果翻译器（适配器）不够好，AI 可能会学到错误的东西。
• 内存： 虽然它通过不存储原始图像节省了空间，但它仍然需要存储那些压缩后的素描和适配器网络。

总结

这篇论文表明，当 AI 系统由于隐私或内存限制被迫放弃其过去的数据时，我们不应该强迫它们使用我们一直以来使用的数学方法。相反，我们可以让它们进化。通过使用基于种群的方法和一种巧妙的翻译器来模拟过去，EvoCL 展示了 AI 如何在不丢失旧技能的前提下学习新技能，即使它被禁止查看以前的作业。这是一种更慢、计算成本更高的学习方式，但它为数据隐私至关重要的场景中的 AI 开辟了一扇新的大门。