💬 NLP

MeMo: Towards Language Models with Associative Memory Mechanisms

本文介绍了 MeMo，一种新颖的语言模型架构，它通过在分层关联记忆中显式地记忆标记序列，从而实现透明度、模型编辑以及遗忘特定文本的能力。

原作者： Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人说话。目前我们教它的方式（使用“Transformer”）就像是强迫机器人阅读一整个图书馆的书籍，然后根据它以前可能见过什么的模糊、模糊的感觉来猜测下一个词。它通过调整大脑内部看不见的旋钮来获得正确答案。这很强大，但它是一个“黑盒”——我们并不真正知道机器人在哪里存储了一个特定的事实，而且如果我们想让它忘记某些东西，我们必须重新训练整个大脑。

MeMo 论文提出了一种完全不同的方法。与其让模型基于模糊的感觉进行猜测，MeMo 构建了一个字面意义上的、有组织的档案柜，作为机器人的记忆。

以下是 MeMo 的工作原理，通过简单的概念进行分解：

1. 核心理念：“先记忆，后学习”

目前的模型试图在记忆的同时学习模式。MeMo 颠覆了这一点。它说：“让我们先直接把事实放进抽屉里。”

这就像是图书馆与直觉的区别。

目前的模型： 像是一个读了太多书的人，因为感觉“对了”，所以能猜出故事的结局。他们可能会猜错，或者把来自不同书中的细节混淆在一起。
MeMo： 像是一个为每一句话都准备了特定索引卡的图书管理员。如果你问：“‘猫坐在……’ 后面是什么”，图书管理员不会去猜；他们会直接抽出那张写着“垫子”的精确卡片，因为他们把内容记录在那里了。

2. 魔法工具：“相关矩阵记忆”（便利贴系统）

为了让这个档案柜发挥作用，MeMo 使用了一种被称为相关矩阵记忆 (Correlation Matrix Memories, CMM) 的数学技巧。

想象你有一个巨大的白板。

输入（键/Key）： 你将一个句子（如“猫坐在”）转化为一种独特的、随机的点阵图案（一个向量）。
输出（值/Value）： 你将下一个词（如“垫子”）转化为另一种不同的点阵图案。
存储： 你在白板上画一条线，将“句子模式”与“单词模式”连接起来。

如果你有一百万个句子，你只需在同一个白板上画一百万条线。因为这些模式被设计得非常独特，所以线条不会缠绕在一起。当你想要记忆时，你只需指向“句子模式”，白板上与之相连的“单词模式”就会亮起。

为什么这很酷？

透明性： 你可以观察白板，看清哪句话与哪个词相连。这里没有任何隐藏的秘密。
编辑性： 如果你想让机器人忘记某个特定的句子，你不需要重新训练整个大脑。你只需拿出一块橡皮擦，把白板上的那条线擦掉即可。

3. 短期记忆的问题（单层限制）

在第一个实验中，研究人员构建了一个单层白板。对于短句（如 4 个单词长）它表现得很好。但如果你尝试喂给它一段长段落，线条就会变得过于拥挤，机器人就会开始感到困惑。这就像试图在一张单层便利贴上写完一整部小说。

4. 解决方案：多层塔式结构（MeMo 架构）

为了处理长文本，MeMo 将这些白板堆叠在一起，就像一座多层图书馆。

第一层： 记住单词对（例如：“猫” + “坐”）。
第二层： 记住由四个单词组成的组（例如：“猫坐在……”）。
第三层： 记住更长的片段。

当你提出问题时，机器人会检查底层，然后检查下一层，依此类推，结合每一层的线索来找到答案。这使得它能够记住更长的序列而不产生混乱，就像人类利用短期记忆来构建完整句子一样。

5. 实验结果显示

研究人员使用随机的句子和单词测试了这个系统：

容量： 他们发现，给予白板越多的“空间”（参数），它就能容纳越多的句子。这是一个直接的线性关系：更大的白板 = 更多的记忆。
复杂度： 当他们使句子变得更难（加入“诱饵”或看起来相似的干扰词）时，他们发现需要更多的层数（layers）。单层图书馆无法处理这种混乱，但三层图书馆可以。
准确度： 在拥有足够的层数和空间的情况下，该系统可以高精度地记忆超过 25 万个序列，即使在句子非常棘手的情况下也是如此。

总结

MeMo 是一种构建语言模型的新方式，它将记忆视为一个透明的、可编辑的归档系统，而不是一个黑盒式的猜测游戏。

它通过数学连接存储文本。
它通过查找这些连接来检索文本。
它通过简单地擦除连接来遗忘文本。

论文声称，这使得语言模型更加诚实（你可以看到它们知道什么），更容易修复（你可以删除特定的错误记忆），并且能够通过堆叠这些记忆层来处理长文本。作者指出，由于这是一个全新的架构，它目前还不能完美适配大多数 AI 开发者使用的现有软件工具，但其记忆能力本身运作得非常出色。

技术摘要：MeMo —— 迈向具有关联记忆机制的语言模型

问题陈述

当前的基于 Transformer 的大语言模型（LLMs）通过广泛的训练学习复杂的序列依赖关系，其中记忆是权重优化的一个涌现副产品。虽然这种方法在泛化方面表现出色，但往往缺乏对存储信息的透明度和显式控制。作者认为，主流范式将学习视为主要机制，而将记忆视为次要结果。然而，对于需要精确事实召回、问答和信息检索的任务，模型显式记忆数据的能力至关重要。现有的编辑或控制 LLM 的方法通常依赖于事后干预，而作者提出了一个根本性的转变：设计一种记忆先于学习的架构。其目标是创建一个能够以透明且可编辑的方式存储标记（token）序列的语言模型，从而实现对存储知识的受控遗忘和直接操作。

方法论

本文介绍了 MeMo，一种用于语言建模的新型架构，它用**分层相关矩阵记忆（Correlation Matrix Memories, CMMs）**取代了 Transformer 标准的基于权重的学习。该架构建立在三个核心理论支柱之上：

多元高斯随机向量： 标记和序列被表示为高维空间中的随机向量。利用 Johnson-Lindenstrauss 引理，这些向量被映射到低维空间（ $R^d$ ）中，同时保持它们的距离。这确保了不同的标记几乎是正交的（若 $a \neq b$ ，则 $a^T b \approx 0$ ），而相同的标记高度相关（若 $a = b$ ，则 $a^T b \approx 1$ ）。
相关矩阵记忆 (CMMs)： MeMo 不学习权重，而是将关联存储为键值对外积之和。一个 CMM $C$ 定义为 $C = \sum k_i v_i^T$ ，其中 $k_i$ 代表一个序列（键）， $v_i$ 代表下一个标记（值）。检索过程是通过将输入序列向量与 CMM 矩阵相乘来完成的。
Johnson-Lindenstrauss 变换 (JLT)： 该变换用于将标记序列嵌入到目标空间 $R^d$ 中，确保输入序列和输出向量位于相同的维度空间内，从而促进关联检索过程。

架构变体

论文详细说明了两种配置：

单层 MeMo： 使用单个 CMM 来记忆固定长度的标记窗口 ( $h$ ) 并预测下一个标记。它证明了单个矩阵可以基于标记的重叠在部分序列上进行泛化。
多层 MeMo： 为了处理更长的序列，该架构堆叠了多个 CMM 层。
- 记忆阶段： 底层将元素序列编码为唯一的表示。这些表示被存储为 CMM 中的键，其值是编码后的整个序列。最后一层存储长序列与下一个标记之间的关系。
- 检索阶段： 中间层检索不断增长的序列长度的编码，这些编码会被求和，以查询最后一层进行下一个标记的预测。
- 遗忘： MeMo 的一个独特之处在于能够显式地“遗忘”存储的文本。这是通过从 CMM 矩阵中减去序列和标记的外积来实现的，从而有效地擦除特定的关联，而无需重新训练。

核心贡献

范式转移： 论文提出了从“为了学习而记忆”到“为了记忆而学习”的转变，设计了一种使记忆是显式且结构化而非隐式存在于权重中的架构。
MeMo 架构： 引入了一种基于分层 CMM 和随机向量表示的语言模型，为序列预测提供了一种数学上透明的机制。
可编辑性与透明度： 该设计天生支持模型编辑，包括遗忘文本的具体能力，为减轻数据泄露和社会偏见提供了机制，可以通过移除特定的存储关联来实现。
显式知识建模： 该架构为将显式知识建模（例如，知识图谱、语言本体）直接集成到神经语言模型中提供了可能性，有望减少对数据的需求。

实验结果

作者通过实验评估了单层和多层配置的记忆能力：

单层容量： 使用随机符号序列进行的实验显示，CMM 中的总参数量与能够高精度存储（定义为平均准确率 > 0.9）的序列数量之间存在线性关系。这符合传统 Transformer 中观察到的线性缩放定律，但应用于显式记忆。
多层容量：
- 维度： 增加内部维度 $d$ 显著提高了记忆性能。在简单序列上保持高准确率（>0.97）需要 $d=4096$ 的维度，而对于具有高“诱饵”（需要不同上下文的重复标记）的复杂序列，则需要 $d=8192$ 。
- 层深度： 增加层数 ( $l$ ) 增强了记忆更长序列和处理复杂上下文的能力。例如，在有 40 个诱饵的情况下，至少需要三层才能在 250,000 个序列中实现高于 0.88 的存储容量。
- 泛化： 多层方法成功地将记忆容量扩展到了单层所能达到的范围之外，验证了堆叠 CMM 方法处理更长上下文的有效性。

重要性与主张

论文声称 MeMo 代表了迈向透明且可编辑的语言模型的重要一步。通过将记忆与标准 Transformer 中不透明的权重更新解耦，MeMo 提供了：

控制： 直接控制什么被记忆、如何存储以及如何访问。
安全性： 通过显式遗忘机制减轻数据泄露和社会偏见的能力。
集成： 有潜力在大型语言模型时代利用传统的语言学研究和显式知识结构。

作者承认了局限性，指出目前的实现与现有的 Hugging Face 生态系统存在兼容性问题，无法使用标准评估套件与最先进的 Transformer 进行直接比较。然而，他们断言这并不会削弱其架构所展示的记忆能力。这项工作旨在将控制权交还给知识专家和语言学家，提供一条通过使记忆机制显式化和可管理化来减少 LLM 数据饥渴的路径。