🤖 AI

AI Engram: In Search of Memory Traces in Artificial Intelligence

本文引入了一种被称为“AI 记忆痕迹”（AI engrams）的几何框架，该框架将生物记忆标准形式化，旨在通过线性算术在深度神经网络中识别、分离并手术式地操纵特定的记忆痕迹，从而弥合生物记忆理论与人工表示学习之间的鸿沟。

原作者： Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的、复杂的图书馆，其中的每一本书都是用数字组成的语言编写的。这个图书馆就是一个人工智能（AI）。在这里，知识并不是存储在像“猫类知识”或“数学公式”这样带有标签的分离盒子中，而是像一杯巨大的、旋转着的奶昔一样混合在一起。每一个成分（AI 代码中的一个数字）都在共同构成这杯饮品的整体味道。如果你想去掉仅仅是“草莓”的味道（一个特定的记忆），你不能直接舀出它；通常，你必须把整杯奶昔倒掉重新开始，或者尝试去猜哪一小滴液体需要被移除。

这篇论文介绍了一种寻找并从 AI 的奶昔中移除特定“味道”而不破坏其他部分的新方法。作者将这些特定的记忆痕迹称为 “AI 记忆印迹”（AI Engrams）。

以下是他们是如何做的，使用了简单的类比：

1. 问题所在：纠缠的奶昔

在生物学中，科学家们长期以来一直在寻找“记忆印迹”（engram）——即大脑中存储特定记忆的物理位置。他们知道记忆的存在，但寻找确切的位置很难，因为脑细胞都是相互连接的。
在 AI 中，情况甚至更难。AI 的“大脑”是一个庞大的数字网格。当 AI 学习到一张图片是“猫”时，它不仅仅是打开了一个开关。它同时微调了数百万个数字，而这些相同的数字同时也帮助 AI 识别“狗”或“汽车”。记忆是纠缠（entangled）在一起的。

2. 解决方案：“外科手术式过滤器”

作者创建了一个数学工具，它充当了一个外科手术式过滤器。他们没有通过猜测或缓慢地微调 AI（这既耗时又容易出错），而是使用一个单步数学公式来隔离出那个特定的“草莓”味道。

他们基于神经科学中的四条规则：

特异性（Specificity）： 该记忆必须只关于“猫”，而不是“狗”。
重现性（Reactivation）： 如果你找到了这个记忆，你应该能够让 AI 再次“想起”那只猫。
充分性（Sufficiency）： 如果你将这个记忆放入一个空白的 AI 中，它应该能立刻识别出什么是猫。
必要性（Necessity）： 如果你移除了这个记忆，AI 应该忘记那只猫，但仍能记住其他所有事物。

3. 它是如何工作的：“影子”类比

想象你正在进行一场影子戏。光（AI 当前的知识）是复杂的。作者意识到，如果你通过一个特定的“过滤器”（基于 AI 所学习数据的数学公式）照射光线，你就可以分离出仅仅是一个木偶的影子。

旧方法： 要移除一个木偶，你会试图调暗整个舞台的光线，希望木偶的影子随之变淡，同时其他影子保持不变。这种方法既混乱又缓慢。
新方法（Engram）： 你利用一个简单的数学技巧计算出“猫”影子的精确形状。然后，你从总光线中减去那个精确的形状。 “猫”的影子消失了，但“狗”和“汽车”的影子依然清晰可见。

4. “线性算术”的魔力

他们发现最令人惊讶的部分是，这些记忆在数学上表现得像向量（arrows/vectors）。

你可以叠加记忆：如果你有“眼镜”的记忆和“胡须”的记忆，你可以将它们相加，从而创造出一个能识别“戴眼镜且留胡须的人”的 AI。
你可以减去记忆：你可以去掉“眼镜”的部分，而不触及“胡须”的部分。
你可以用简单的加法和减法瞬间完成这一切，而不需要重新训练 AI 或运行复杂的计算机模拟。

5. 测试理论

作者在不同类型的 AI 上测试了这一理论：

简单 AI： 他们从一个经过动物图片训练的 AI 中移除了“猫”的概念。该 AI 忘记了猫，但仍然认识狗和汽车。
复杂 AI（大语言模型/LLMs）： 他们在大型语言模型（如聊天机器人）上尝试了这种方法，看看它是否能“忘记”它所记忆的特定事实。他们发现，这些事实的“记忆”集中在 AI 代码的特定部分（特别是处理注意力机制和逻辑的部分）。通过针对性地处理这些部分，他们可以让 AI 忘记这些事实，同时保持其说话和推理的能力。

6. 为什么它很快

大多数让 AI “忘记”某事的方法都需要让 AI 进行成千上上的轮次练习（就像为了考试而复习），以消除信息。这需要大量的时间和计算资源。
“Engram”方法就像是拥有了一份**“作弊条”**。因为他们找到了精确的数学公式，所以他们可以在单步内移除记忆。在高性能计算机上，它大约只需要 2 分钟，而其他方法可能需要数小时甚至数天。

总结

这篇论文并不是说我们现在可以编辑人类记忆，或者 AI 会突然产生意识。它只是在说：我们找到了一种方法，可以定位 AI 代码中的特定记忆，并使用简单的数学将其移除，同时不会破坏 AI 的其他部分。

它架起了生物记忆运作方式（作为特定的、可识别的单元）与 AI 实际存储信息方式之间的桥梁，证明了即使在混乱、纠缠的数字大脑中，你也可以通过外科手术式的方式移除其中的单根线条，而不至于拆解整件毛衣。

技术摘要：AI 记忆痕迹（Engrams）：寻找人工智能中的记忆痕迹

1. 问题陈述

深度神经网络以高度纠缠的方式存储知识，其中单个参数会同时参与多种行为。这种学习表示的分布式且纠缠的特性，使得进行“外科手术式”的知识操纵（例如移除特定概念的机器卸载，或在不重新训练整个模型的情况下隔离特定记忆）变得困难。虽然神经科学认为记忆存储在被称为“记忆痕迹”（engrams）的可识别物理基质中，但人工智能中是否存在类似的、可识别的记忆痕迹仍是一个开放性问题。目前的知识编辑或卸载方法通常依赖于迭代的基于梯度的优化或启发式归因，这些方法计算成本高昂、缺乏特异性的理论保证，或者难以扩展到大型模型。

2. 方法论

本文引入了一个几何框架来识别“AI 记忆痕迹”（即人工智能中的因果记忆痕迹），通过将神经科学标准形式化为一个受约束的反问题。

2.1. 作为约束条件的神经科学标准

作者根据四个规范标准（Josselyn & Tonegawa, 2020; Tomé et al., 2024）定义了目标概念 $c$ 的记忆痕迹 $\mu^+_c$ 的识别：

特异性（Specificity）： 记忆痕迹必须选择性地编码目标体验（ $X^+$ ），同时对参考体验（ $X^-$ ）保持惰性。
重激活（Reactivation）： 记忆痕迹必须能够一致地重现与目标相关的内部表示（ $Z^+$ ）。
充分性（Sufficiency）： 将记忆痕迹注入一个初始（空）状态必须能诱导学习到的行为。
必要性（Necessity）： 从学习状态中消减（Ablating）记忆痕迹必须消除目标行为，同时保留无关知识。

2.2. 代数公式化

作者将寻找突触记忆痕迹 $W^+$ 的过程表述为一个优化问题。他们通过对比观察状态（自然学习）与干预状态（代数操纵）来推导线性约束。

目标： 最小化跨目标集和参考集的干预状态与观察状态之间的差异。
约束： 强制要求与参考子空间正交（ $W^+ X^- = 0$ ）以确保特异性。
解：作者推导出了一个闭式估计量（closed-form estimator）。通过利用 Moore-Penrose 伪逆和非中心协方差矩阵（ $\Sigma^+ = X^+ X^{+\top}$ 以及 $\Sigma^- = X^- X^{-\top}$ ），他们得到：
$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$
在实践中，对于一个权重为 $W$ 的已训练模型，更新可以回顾性地近似为 $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$ 。这允许在无需反向传播的情况下，通过单次前向传播提取记忆痕迹。

2.3. 几何解释

论文建立了这些生物学约束与信息几何之间的联系。在 Kronecker-Factored 近似曲率（K-FAC）假设和最大熵原理下，推导出的闭式解对应于在费雪信息度量（Fisher Information Metric）下向约束流形的最小范数投影。这揭示了记忆痕迹方向与参数流形上的自然梯度方向相一致。

2.4. 组合式卸载

由于识别出的记忆痕迹是线性可加的，该框架实现了组合式卸载（Combinatorial Unlearning）。要移除一组概念，只需使用线性算术从模型权重中减去相应的记忆痕迹：
$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$
这绕过了迭代卸载方法的指数级复杂度。

3. 核心贡献

AI 记忆痕迹框架： 作者将生物记忆标准转化为代数约束，产生了一个可扩展的闭式估计量，从而将记忆痕迹从全局纠缠的参数中分离出来。
摊销式记忆隔离： 该方法解耦了记忆痕迹，通过简单的线性算术实现知识的瞬时组合或擦除。这解决了卸载的组合复杂度，并在从简单 MLP 到数十亿参数 LLM 的各种架构上展示了鲁棒性。
与信息几何的联系： 该工作证明了受生物启发的闭式估计量可以恢复费雪曲率，与自然梯度方向一致，从而架起了生物记忆理论与人工表示学习之间的桥梁。

4. 实验结果

作者在多种架构和数据集上验证了该框架：

可扩展性与通用性： 该方法成功地在 MLP、CNN（ResNet-18/50）、视觉 Transformer（ViT）和生成模型（ConvAE, WAE）中隔离并擦除了概念。在 CIFAR-10 和 CIFAR-100 实验中，消减特定的记忆痕迹能选择性地移除目标类别的准确率，同时保持对参考类别的性能（外科手术式的精准度）。
定量性能： 在类间卸载基准测试（CIFAR-10/100）中，Engram 方法取得了优于现有先进基准方法（如 NegGrad, SalUn, Fine-tuning）的 Tug-of-War (ToW) 分数，表明其行为更接近于从头开始训练的模型。它还在潜在空间的结构痕迹消散方面表现出色（DA 和 NMI 指标）。
大语言模型 (LLMs)： 应用于 Llama-3.2-1B 在 TOFU 基准测试上的表现，该方法展示了极高的效率。
- 效率： 与基于梯度的迭代方法相比，它所需的 FLOPs 减少了约 30 倍，峰值内存减少了 2.3 倍，在约 2 分钟内即可完成，而迭代方法则需要数十分钟。
- 性能： 虽然在整体指标上略逊于某些专门的迭代方法（如 AltPO, NPO），但它显著优于其他闭式编辑基准（UCE, Task Arithmetic），并且在无梯度方法中实现了最低的**精确记忆（Exact Memorization, EM）**分数。
- 定位： 对记忆痕迹权重的分析表明，记忆痕迹并非随机分布，而是集中在特定的层中：自注意力机制中的**查询（Query, Q）和键（Key, K）投影，以及 MLP 中的门控（Gate）**投影。消减研究证实，针对这些特定层进行处理足以实现有效的卸载。

5. 重要性与主张

论文声称通过证明即使在高度非线性的系统中，也可以通过确定性的谱解析来隔离和操纵知识的因果基质，从而弥合了生物记忆理论与人工智能之间的鸿沟。

范式转变： 该工作提出将机器卸载的范式从随机梯度搜索转向结构识别。
正交范畴： 作者将 Engram 定位为迭代卸载的一个正交范畴（ $O(1)$ $O (1)$ 次传递、无梯度），在以下情况下特别有价值：
1. 需要卸载的概念数量很大（利用组合叠加性）。
2. 计算资源或权重访问受限。
3. 目标是结构识别而非分布不可区分性。
可解释性： 在 LLM 中发现的浓缩定位模式提供了一个新的神经可解释性视角，表明特定的功能拓扑记忆存在于权重空间的可线性化子空间中。

作者总结道，他们的框架为外科手术式的记忆隔离提供了前所未有的效率，不仅实现了更安全的模型行为和更清晰的可解释性，也为持续学习中记忆痕迹的时间动力学研究开辟了道路。