Can a Language Model Learn Facts Continually in Its Weights?
本文表明，尽管广泛的训练数据使语言模型比仅凭陈述语句能更有效地将新事实存储在权重中，但持续性的基于权重的学习不可避免地会导致灾难性遗忘和干扰，使得上下文成为在连续更新过程中保存和组合知识的唯一可靠渠道。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人朋友，它知道很多事情。你想每天教它一些新编造的事实——比如“佐尔瓦廷（Zorvathine）是一种在变冷时会融化的金属”。现在有一个大问题：我们能不能直接把这些事实写进机器人的大脑（它的“权重”）里，让它永远记住，即使你在教完一百件事之后它依然记得？
这篇论文试图通过玩一场名为“写入、遗忘与检查”的游戏来回答这个问题，使用的模型是 Qwen3。以下是他们的研究发现，并使用了有趣的类比。
两种教导机器人的方式
研究人员发现，你如何教机器人，比你重复多少次课程更重要。
- “单纯陈述”法（糟糕的方法）： 想象一下，你只是对机器人低声说了一句：“佐尔瓦廷在低于 -10°C 时融化。”你一遍又一遍地这样做。机器人变得非常擅长背诵那句完全相同的话。这就像一只只会重复短语的鹦鹉，能完美地复读，却并不理解其含义。
- “学习”法（好的方法）： 想象一下，你用一整本教科书来教机器人。你展示这个事实，然后向它提问，用不同的方式表达同一个意思，并展示这个事实如何与它原有的认知相冲突。机器人学习的是这个事实背后的概念，而不仅仅是文字。
结果：
当机器人通过“学习”法进行学习时，它实际上能够使用这个事实来解决新的谜题。而通过“单纯陈述”法学习时，它只能背诵那个句子。如果你问它一个棘手的题目，比如“如果我冷却佐尔瓦廷会发生什么？”，“学习型”机器人会说：“它会融化！”而“单纯陈述型”机器人只会茫然地盯着你或给出错误的答案，尽管它已经完美地背诵了那个句子。
“覆盖”问题：失落的书籍图书馆
现在，是棘手的部分来了。研究人员先后教了机器人 20 个、然后是 100 个新事实。他们想看看旧的事实是否还能存活。
- “单纯陈述”型事实： 它们几乎瞬间消失了。仅仅经过 20 个新课程后，机器人就遗忘了 99% 的事实。这就像是在便利贴上写了字，然后立刻把一张更大的便签贴在了上面。旧的便签还在那里，但你已经看不见它了。
- “学习”型事实： 它们更顽强一些。在 20 个新课程后，大约有 46% 的事实仍然可用。在 100 个课程后，它们稳定在 25–28% 的水平。它们没有完全消失，只是变得越来越难被找到。
大惊喜：
研究人员甚至在机器人似乎已经“忘记”了一个事实后，检查了机器人的大脑（它的“权重”）。他们发现，这个事实的“记忆”依然存在！机器人并没有擦除数据，它只是丢失了寻找该数据的地址。
把它想象成一个图书馆。书（事实）仍然在书架上。但是管理员（机器人）得到了一张新的地图，指向了最新的书。当你寻找一本旧书时，管理员查看了新地图，发现旧书的位置现在被标记为“最新事实”，于是递给了你一本错误的书。旧书还在那里，但机器人无法触及它了。
为什么我们不能直接“修复”地址？
研究人员尝试了许多聪明的技巧，试图帮助机器人在学习新知识的同时记住旧事实：
- 他们尝试在机器人遗忘时对其进行“惩罚”。
- 他们尝试将新课程从旧课程中“投影”出去。
- 他们尝试使用一个“冻结的老师”（机器人开始学习前的一个完美副本）来引导新的课程。
有效的方法：
使用冻结的老师有助于机器人保持其通用的聪明才智（如数学或逻辑）不退化。它防止了机器人变得“疯狂”。但这并没有解决寻找旧事实的问题。旧的事实仍然在混乱中丢失了。
无效的方法：
无论他们多么仔细地测量新旧事实之间的“冲突”，都无法阻止新课程阻挡旧课程。论文指出，局部测量（只看下一步）可以预测即时发生的情况，但无法预测经过一系列长期课程后的情况。这就像试图通过观察你前面的那辆车来预测交通拥堵一样；你无法预见三英里外的事故。
最终结论：上下文才是王道
那么，我们能把事实写进机器人的大脑并让它永远保存吗？
- 如果你想让机器人“使用”这个事实： 你必须通过广泛、多样化的示例（“学习”法）来教它，而不是简单的重复。
- 如果你想让事实在 100 个新课程后依然存活： 论文表明，将它写入大脑并不是正确的工具。 即使是最好的方法，在 20 次更新后也会丢失一半以上的事实。
让事实保持可用最可靠的方法是将其放入提示词（Prompt）中给机器人（即“上下文”）。
想象机器人的旁边有一块白板。如果你在每次提问时都把事实写在白板上，机器人就能完美地使用它，即使在学习了 100 件事之后也是如此。白板不会被覆盖，它只是不断更新。
底线是：
机器人的大脑擅长存储内容，但它非常不擅长创建一个能经受住新更新影响的永久“地址”。如果你需要一个事实被组合、结合其他知识，或者在许多新课程后被记住，请把它留在上下文（提示词）中，而不是权重（大脑）中。 大脑存储的是“内容”，而上下文提供的是“位置”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。