← 最新论文
💻 computer science

MoEMory: Long-Term User Memory as a Routing Policy on Frozen Mixture-of-Experts Language Models

MoEMory 为冻结的混合专家(Mixture-of-Experts)语言模型引入了一种全新的长期记忆范式,该范式将用户特定信息存储为路由偏置,以选择性地激活现有能力,而无需注入新的标记或参数,从而在实现对无关查询近乎零泄漏的同时,与传统的基于注入的记忆方法保持正交且互补的关系。

原作者: Chenxi He

发布于 2026-08-24
📖 1 分钟阅读☕ 轻松阅读

原作者: Chenxi He

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一个能记住你的数字助手。它能回想起你最喜欢的咖啡口味、你说话的方式,以及你感兴趣的特定话题。多年来,赋予计算机这种长期记忆的主流想法是将新信息强行塞进它们的脑海中。研究人员尝试过两种主要方法。第一种就像是在向计算机提问之前,先大声朗读一遍日记,将文本直接注入其即时注意力中。第二种则是像重构计算机的内部电路一样,通过永久改变其权重,将其记忆刻入其核心结构之中。这两种方法在某种程度上都有效,但它们都有一个共同的隐患:它们是侵入性的。通过向计算机的计算过程中添加新材料,它们面临着让机器产生混乱的风险。关于足球的记忆可能会意外地渗透到关于音乐的问题中,导致计算机在回答关于某位著名歌手的问题时,却给出了一个足球运动员的名字。这不仅仅是一个小故障,它是这些系统构建方式的一个根本性副作用,并提出了一个严肃的问题:我们能否拥有一个真正有用、个性化,却又不会经常迷失方向的助手?

剑桥大学的一位研究人员提出了一条不同的路径,这条路径通过彻底改变交互规则来避免这种混乱。他们建议不要将新内容注入计算机的思想,而是将记忆作为一种“选择器”。他们将这种方法称为 MoEMory,它依赖于一种被称为“混合专家模型”(Mixture of Experts)的特定人工智能架构。请不要将这种架构视为一个单一、庞大的大脑,而应将其视为一个庞大的专业工具库,或者说是一组“专家”,在处理任何给定任务时,只需调用其中的少数几个即可。在这些模型的标准版本中,决定使用哪些工具的决策是固定且不可更改的。这位研究人员意识到,他们可以通过微调决定调用哪些工具的“开关”,而不是改变工具本身,来存储用户的记忆。这个开关是一个在选择发生前应用的简单偏差(bias),一个微小的推动力,它告诉系统:“对于这个特定的用户,请优先考虑这些特定的工具。”

这种方法的精妙之处在于它“不做”什么。因为底层的工具和计算机的核心结构保持完全冻结且未受触动,所以记忆无法创造新的能力,也不会强迫系统说出它本身还不会说的话。它只能重新排列现有能力的调用顺序。如果计算机已经具备了以正式语气写作或讨论体育的能力,那么记忆仅仅是确保这些特定的模式在为该用户服务时更容易被激活。如果用户询问一个与他们存储的偏好完全无关的话题,系统就会恢复到默认行为,不受记忆的影响。这从设计上实现了一种“非干扰性”。记忆被限制在冻结计算机已有的能力边界之内,从而防止了那种用户特定的痴迷导致无关答案发生扭曲的“过度记忆”现象。

为了测试这个想法,研究人员将他们的路由式系统与传统的注入记忆法进行了对比。他们设定了一个场景:安装了用户记忆后,让计算机回答一系列问题,其中一些与该记忆相关,而许多则完全无关。结果非常鲜明。传统方法(即向计算机的上下文或权重中添加内容)在无关问题中泄露存储记忆的频率在 45% 到 62% 之间。即使在不相关的查询中,计算机也会始终提及用户的特定兴趣。相比之下,新的路由方法在无关查询中泄露记忆的概率仅为 0.7%。这代表了干扰程度的大幅降低,比之前的最佳方法要“干净”约九十倍。在极少数新系统显示出记忆痕迹的情况下,也恰好发生在理论预测可能出现记忆的情况,这证实了系统的行为完全符合设计预期。

研究人员还探索了这种记忆可以如何以两种方式应用。第一种是静态方法,记忆表现为一种持久的倾向,例如用户的通用风格或性格,影响每一次互动。第二种是动态方法,记忆仅由当前问题中的特定词汇触发,就像一道只有转动正确钥匙才会开启的门。这两种方法都不需要重新训练计算机或在对话过程中增加额外的处理时间。系统只需阅读一次用户历史记录以设置偏差,然后便永久性地以该偏差运行。这意味着计算机可以在无需存储历史日志或重放过去对话的情况下,记住用户的偏好。这是一种轻量级、高效的个性化方式,既能让机器记住用户,又能保持其核心知识的完整性和行为的可预测性。

研究结果表明,个性化人工智能的未来可能不在于让模型变得更大或更复杂,而在于寻找更聪明的方法来引导它们现有的力量。通过将记忆视为一种“选择策略”而非“数据注入”,研究人员证明了我们可以创造出既能记住你是谁,又不会忘记如何在其他语境下提供帮助的助手。这种方法尊重了机器的能力边界,确保了个性化是在增强体验而非扭曲体验。虽然该系统无法存储计算机本身并不了解的新事实,但它擅长处理那些定义了优秀个人助手的微妙、倾向性的任务:了解你的语气、你的风格以及你的偏好,并在恰当的时机将其应用。在这样一个往往痴迷于增加更多数据的领域,这项工作提供了一个安静而有力的提醒:有时,最有效的记忆方式,仅仅是知道该唤起自己的哪一部分。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →