Memory for Large Language Models
本综述提出了一个以架构为中心的、系统性的语言模型记忆分类法，通过表示、更新动态和持久性这三个维度的框架统一了碎片化的研究，旨在引导未来可扩展且具自适应性的设计。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一位才华横溢但健忘的朋友如何写故事。你让他坐下来，给了他一座巨大的图书馆，他也把整座图书馆都背了下来。这就是当今最先进的计算机大脑——大语言模型（LLM）的工作方式。它们就像是读遍了几乎所有互联网内容的超级聪明的学生。但问题在于：一旦读完一本书，除非你一直把书摊在面前，否则它们通常会忘记细节。在人工智能的世界里，这种“书就在桌上打开着”的状态被称为记忆。
长期以来，这些人工智能模型拥有一种非常特殊的记忆方式。它就像一张只能在你注视时才有效的便利贴。如果你试图阅读一本比便利贴容量更长的长篇小说，AI会在读到一半时就开始忘记故事的开头。这被称为“隐式记忆”——它只是计算机进行数学运算时产生的一个副作用，而不是一个专门的工具。但最近，科学家们开始提出了一个大问题：如果我们给这些人工智能模型一个真正的笔记本呢？一个它们可以记录重要事实、永久保存并稍后查阅的地方，就像人类一样？这种从“对话结束即忘记一切”到“拥有一个永久、有序的大脑”的转变，正是目前计算机科学领域正在发生的重大变革。
这篇论文就是那个新世界的一本宏大的指南。作者们（一支研究团队）注意到，虽然每个人都在发明不同的方式来赋予人工智能记忆，但他们使用的名称和地图却各不相同，令人困惑。有些人是在构建“便利贴”，有些人是在构建“文件柜”，甚至有些人正试图教人工智能在交谈时重写自己的大脑。这篇论文的主要任务就是将这些混乱的想法整理成一个整洁、有序的系统。他们提出了一种看待人工智能记忆的新方法，通过三个简单的问题：存储的是什么？何时进行更新？以及它能持续多久？
论文指出，我们正在从旧的方式——即记忆仅仅是思考过程中的一种临时副产品——转向一个新时代，即记忆是一个专门的、可控的工具。他们发现，现在主要有两种类型的记忆。第一种是隐式记忆，它就像是人工智能的短期工作记忆。它快速且灵活，但与当前的对话紧密相连，一旦聊天结束就会消失。把它想象成人工智能在脑海中进行对话：它可以记住你在五秒钟前说了什么，但除非你提醒它，否则它记不起昨天说了什么。
第二种是显式记忆，这是令人兴奋的新事物。这就像是给了人工智能一个真正的笔记本或一个数字硬盘。这种记忆与思考过程是分离的。人工智能可以将一个事实写进这个笔记本，关闭聊天，并在几天后回来阅读它。论文显示，研究人员正在以不同的方式构建这些笔记本：有些是“参数化”的，意味着人工智能学习直接将其写入自己的大脑权重中；有些是“基于查找”的，即人工智能搜索一个庞大的事实数据库；还有一些是“混合专家模型”，其中人工智能针对不同话题拥有不同的专家。
然而，论文非常明确地指出，这还不是一个已经解决的问题。虽然这些新的记忆系统功能强大，但它们也带来了巨大的权衡。作者指出，仅仅给人工智能一个更大的笔记本并不意味着它会记得更好。有时，人工智能会被过多的信息搞混，或者它写下了错误的东西且无法擦除。他们还注意到，在人工智能说话的过程中更新这种记忆（称为“在线”更新）是具有风险的，并且可能导致人工智能不稳定；而仅在学习阶段进行更新（称为“离线”更新）虽然更安全，但灵活性较低。
这篇论文并不声称我们已经构建出了一个完美的人类大脑。相反，它表明我们正处于一个混乱且实验性的阶段，我们正在试图弄清楚人工智能应该如何存储和使用信息的最佳规则。他们认为，未来不在于只选择一种记忆类型，而在于构建混合系统。想象一个既有用于当前对话的快速便利贴，又有用于长期事实的个人笔记本，还有一个用于搜索互联网的图书卡，且三者协同工作的模型。作者总结道，要让人工智能变得真正聪明且有用，我们需要停止将记忆视为一种偶然现象，而是开始将其设计为一个核心功能，仔细平衡它能记住多少、更新多快以及保留多久。这是一份将“健忘的天才”转变为“真正睿智的伴侣”的路线图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。