A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

想象一个住在你口袋里的数字助手，你每天都会向它提问。为了让这个助手真正变得有用，它需要的不仅仅是了解世界的各种事实；它需要记住你对话的具体历史。它必须记得你上周告诉它你的狗的名字叫 Toby，但本周它又需要记得你纠正了自己，说你其实有两只狗，分别是 Toby 和 Luna。它需要能够保留这种变化而不产生混乱，并且当你在询问一些它从未听闻的事情时，它需要知道何时说“我不知道”。这就是构建一个能够持续学习而不遗忘已知知识的机器所面临的挑战，这个问题长期以来一直困扰着研究人工智能的科学家们。

核心难点在于这些计算机程序存储信息的方式。传统上，当一个模型学习新事物时，它必须重写其内部记忆，这往往会导致它意外地抹除旧记忆。这就像试图通过在旧笔记上涂鸦来写一条新笔记；新信息进去了，但旧的信息却丢失了。其他方法尝试在主记忆之外维护一个单独的事实列表，但随着该列表的增长，系统会变得缓慢且使用成本高昂。研究人员希望找到一种方法，让一个冻结的计算机模型——即一个其核心结构不发生改变的模型——能够在不减慢速度的前提下，记住数百个事实、在事实发生变化时进行修正，并清楚地知道何时承认无知，即使其历史记录不断增长。

一位名叫 Maximiliano Speranza 的研究人员通过在一个小型冻结语言模型上测试一个两部分组成的系统来解决这个问题。第一部分是一个“日志簿”（logbook），这是一个外部记录，存储了每一个事实及其版本历史。这个日志簿就像一张快速参考表，模型可以在需要了解故事最新版本时进行查阅。第二部分是一个被称为“睡眠”（sleep）的过程，它会定期发生。在这些睡眠周期中，模型会提取日志簿中最新的事实并进行练习，将它们缓慢地移动到一个附加在主模型上的小型、可调节的记忆组件中。这种整合确保了近期的记忆成为了模型永久知识的一部分，这样它就不必永远依赖于日志簿。

实验过程持续了八个星期，模型每周学习 100 个新事实。让这一切奏效的关键不仅在于日志簿或睡眠周期本身，而是在于睡眠期间使用的一种特定技术。模型被要求重演（replay）它在前几周学到的事实，将它们与新信息一起进行练习。这种复习（rehearsal）至关重要。当研究人员移除这个重演步骤时，模型几乎立即忘记了它在第一周学到的所有内容，其准确率在一次会话中就从接近完美跌落到了几乎为零。重演起到了胶水的作用，在添加新信息的同时，将旧的记忆固定在原处。

结果表明，这种方法在防止遗忘方面非常有效。在经过八周的学习后，模型仍然能以 88% 到 97% 的准确率记住它在第一周学到的事实。相比之下，其他试图直接更新模型记忆而不使用这种“睡眠与重演”过程的方法表现得非常糟糕。那些方法在第八周时仅能保留 1% 到 10% 的第一周事实，更糟的是，它们破坏了模型执行其他从未被教过要更改的任务的能力。然而，这种新方法保持了模型的其他技能完好无损，证明了它可以在学习新事物的同时不破坏已有的知识。

该系统在识别自身未知领域方面也表现出色。当被问及它从未学过的实事时，模型在大多数情况下都能正确回答“我不知道”。然而，研究人员发现这种能力存在一个特定的局限。当模型被问到一个结合了两个它已知的事物（一个已知的人物和一段它从未见过的已知关系）的问题时，它有时会编造一个答案而不是承认无知。在实验结束时，这种情况大约发生了一半的案例。研究人员曾尝试通过更均匀地分布事实来修复这个问题，但这并没有改变结果。这表明，当模型识别出问题的组成部分时，它有一种倾向去进行猜测，即使具体的组合是全新的。

最后，研究还将这种双通道系统与一种常见的替代方案——检索增强生成（RAG）进行了比较，后者通过将整个对话历史粘贴到模型的提示词（prompt）中来进行工作。虽然两种方法都达到了相似的准确度，但新系统要高效得多。日志簿系统在每个问题中仅处理 16 个单词，而替代方案则必须处理随着历史增长而产生的数百甚至数千个单词。这意味着新系统即使在使用数月后仍能保持快速且廉价运行，而另一种方法随着历史的增长，最终会变得过于缓慢且昂贵，从而无法投入实际应用。

这项工作证明，只要给计算机模型提供一种在学习新事实的同时练习旧事实的方法，它就可以被教导去记住一段漫长且变化的历程而不遗忘过去。它表明，持续学习的关键不仅在于存储信息，还在于以一种既能强化旧知识又能整合新知识的方式进行主动练习。尽管该系统在处理结合已知事实的猜测错误时仍有困难，但它为构建能够真正随用户时间推移而记忆和学习的助手提供了一条清晰的路径。