Self-Consolidating Language Models: Continual Knowledge Incorporation from Context
本文提出了自整合语言模型（SCoL），这是一种后训练框架，它通过元强化学习生成稀疏的、特定于层的更新指令，使大型语言模型能够持续将新知识整合到其权重中，从而相较于现有基线方法提升信息保留能力并减少干扰。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢但非常健忘的助手，正试图一页接一页地学习一座庞大的新书库。
通常，当这位助手阅读一页时，他们会将信息保留在短期记忆（即“上下文窗口”）中以回答问题。但一旦翻过这一页，该信息就会消失。如果他们试图阅读一千页，短期记忆就会变得拥挤不堪，他们开始遗忘最初的几页，以便为新内容腾出空间。
现有的解决方案试图通过给助手提供笔记本（外部记忆）或总结页面（压缩）来解决这个问题。但本文的作者，佐治亚理工学院的Zekun Wang 及其同事，提出了一个不同的问题：如果助手能够永久重写自己的大脑以记住这些页面，同时又不遗忘已知内容，会怎样？
他们将此解决方案称为SCoL（自巩固语言模型）。以下是其工作原理，使用简单的类比：
问题：“灾难性橡皮擦”
在人工智能领域，如果你试图通过简单地重新训练模型来教它一个新事实，它往往会像一个为历史考试而学习、却立即忘记数学课所学内容的学生。这被称为“灾难性干扰”。新信息会覆盖旧信息。
解决方案：“智能建筑师”（SCoL）
SCoL 不是强迫整个大脑发生改变，而是教导人工智能扮演一位智能建筑师。
- 决策： 当人工智能阅读新段落时，它不会盲目地死记硬背。相反，它会生成一组指令（就像蓝图），说明：“我需要仅更新我大脑中的这些特定房间（神经网络的特定层），以存储这个新故事。”
- 施工： 然后，人工智能仅对这些特定的“房间”进行微小而精确的更改（使用一种称为 LoRA 的技术）。它让大脑的其他部分保持原样。
- 安全检查： 人工智能被训练得小心翼翼。它了解到，如果更改了错误的房间，可能会意外擦除旧记忆。因此，它学会了选择那些最适合新信息且不会干扰旧信息的“更坚固”的房间。
他们如何训练人工智能（训练健身房）
研究人员并没有直接告诉人工智能该做什么，而是让它通过试错游戏来学习，类似于电子游戏角色升级的方式。
- 奖励系统： 人工智能因两件事获得积分：
- 获取： “我是否正确学会了新故事？”
- 保留： “我是否忘记了旧故事？”
- 元学习循环： 人工智能尝试不同的“蓝图”（选择不同的大脑层）。如果某个蓝图能帮助它学习新故事而不会导致它忘记旧故事，它就会获得高分。随着时间的推移，人工智能变得非常擅长为每一条新信息挑选完美的蓝图。
结果：发生了什么？
研究人员通过两种方式测试了这一点：
“事实核查”（SQuAD）： 他们向人工智能输入了百科全书条目和问题的流。
- 结果： 与标准方法相比，SCoL 更好地学习了新事实，而且关键的是，它没有忘记旧事实。这就像一个学生能够背诵教科书的新章节，而不会丢失之前的章节。
- “费雪”关联： 当他们观察人工智能选择更新哪些大脑层时，发现它选择的是“高流量”区域（对变化非常敏感的层）。这就像人工智能学会了翻新厨房而不是地基，从而确保房屋保持稳定。
“长故事”（LongBench v2）： 他们用非常长的文档（如短篇小说或报告）测试了人工智能，这些文档太长，无法一次性放入其短期记忆中。
- 结果： SCoL 能够逐段消化这些长故事并记住整篇内容。更棒的是，人工智能在短故事上学会了这项技能，并将其应用于它从未见过的更长的故事。它概括了“如何记忆”这项技能。
为什么这很重要（根据论文）
论文声称，SCoL 是一项突破，因为它不再依赖外部笔记本或不断重读整个历史。相反，它将人工智能自身的内部权重转化为永久、自更新的记忆。
- 稀疏性： 它只改变大脑的一小部分，效率很高。
- 选择性： 它确切知道将新信息放在哪里，以避免系统崩溃。
- 可扩展性： 即使信息流比人工智能最初训练时的长度更长，它也能发挥作用。
简而言之，SCoL 教导人工智能成为一位自我改进的图书管理员，它确切知道该更新哪个书架，以便新书完美地融入，而不会撞倒旧书。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。