💬 NLP

Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

该研究通过借鉴认知心理学中的干扰范式，发现大语言模型在处理上下文冲突信息时普遍表现出“先入为主”的主动干扰效应（即早期记忆压制近期信息），这与人类记忆模式相反，且揭示了主动干扰与被动干扰分别对应不同的记忆机制，其中主动干扰具有架构层面的固有优先性，而被动干扰则受模型规模影响。

原作者： Sourav Chattaraj, Kanak Raj

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sourav Chattaraj, Kanak Raj

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当大型语言模型（LLM）面对“新旧信息打架”时，它到底记得住什么？是记得住最早的信息，还是最近的信息？

为了让你轻松理解，我们可以把大语言模型想象成一个超级忙碌的图书管理员，而这篇论文就是观察这个管理员如何处理“旧书”和“新书”冲突的实验报告。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心发现：人类和 AI 的“记性”完全相反

人类的情况（后摄干扰 > 前摄干扰）：
想象你早上背了一首古诗（旧信息），下午又背了一首新诗（新信息）。到了晚上，你往往更容易把新诗背混进旧诗里，或者新诗把旧诗给“挤”忘了。
- 结论： 人类的大脑通常最近的信息会覆盖旧的信息。
AI 的情况（前摄干扰 > 后摄干扰）：
这篇论文测试了 39 种不同的大模型（从小的到巨大的），结果发现它们全部表现出相反的模式：
- 现象： AI 死死地记得住最早的信息，却很难记住最近的信息。
- 比喻： 就像那个图书管理员，不管后面来了多少本新书，他脑子里始终只有第一本放在最显眼的位置。如果你问他“最新那本书叫什么？”，他可能会固执地回答“第一本的名字”。
- 数据： 这种“最早信息霸占记忆”的现象在所有模型中都非常显著，比人类的情况还要极端。

2. 两种“打架”机制：它们其实是两回事

研究人员发现，AI 处理“旧信息被新信息覆盖”（后摄干扰）和“新信息被旧信息阻挡”（前摄干扰）时，用的是两套完全不同的系统。

证据一：互不相关
一个模型如果擅长记住旧信息（抗干扰强），并不代表它擅长记住新信息。这就像一个人可能擅长长跑，但完全不会游泳。
证据二：大小决定不同
- 模型越大，越能守住“旧信息”： 就像把图书馆扩建得越大，管理员就有更多书架把旧书单独放好，不容易被新书挤掉。
- 模型大小对“记新信息”没用： 不管图书馆多大，管理员似乎都有一种“死脑筋”，只盯着第一本书看，新来的书很难插队。这说明“记新信息”难，不是因为脑子不够大，而是看问题的角度（架构）有问题。
证据三：犯错的方式不同
- 记不住旧信息时（被动）： 管理员说：“哎呀，那本书好像被弄丢了，我找不到。”（检索失败）
- 记不住新信息时（主动）： 管理员说：“你问最新那本？不，第一本才是对的！”（旧信息主动入侵，强行干扰）

3. 为什么会出现这种情况？（Transformer 的“先天缺陷”）

论文指出，这是由 AI 的底层架构（Transformer 的注意力机制）决定的。

比喻：聚光灯效应
想象 AI 的注意力是一个聚光灯。
- 在人类阅读或 AI 处理文本时，这个聚光灯一开始就死死打在第一个词上。
- 随着阅读继续，后面的词虽然也能被看到，但第一个词已经积累了所有的“关注度”。
- 结果： 第一个词（最早的信息）变得像刻在石头上一样牢固，而最后进来的词（最新的信息）因为缺乏这种累积的“关注度”，很容易被忽略或覆盖。
- 这就导致了 AI 有一种**“首因效应”（Primacy Bias）**：它过度保护最早的信息，牺牲了最近的信息。

4. 这对我们有什么实际影响？

这篇论文不仅仅是理论探讨，它对实际应用有重要指导意义：

选模型要看场景：
- 如果你需要查历史档案、分析长文档、追溯旧事实： 选那些参数大的模型，或者专门做了“推理优化”的模型（如 o1 系列）。它们虽然记不住最新的对话，但能完美守住最初的事实。
- 如果你需要实时对话、追踪最新状态（比如股票价格、病人最新体征）： 要小心！即使是最大的模型，也可能因为“太记得住开头”而忽略结尾的最新更新。这时候可能需要特殊的提示技巧，或者选择那些在架构上更平衡的模型（如论文中提到的 Claude 系列，表现相对均衡）。
不要盲目迷信“上下文窗口”：
很多人认为把模型的“记忆窗口”（Context Window）从 8K 扩大到 100 万，就能记住更多信息。但论文发现，窗口大小对解决这种“新旧打架”的问题帮助不大。真正起作用的是模型的**“大脑容量”（参数量）**，而不是“书架长度”。

总结

这篇论文告诉我们：
大语言模型并不是完美的“人类大脑复制品”。
它们有一种独特的“性格”：极其念旧，却容易健忘最近的事。
这种“念旧”不是因为它聪明，而是因为它的工作方式（注意力机制）决定了它总是把聚光灯打在开头。

给普通人的建议：
当你让 AI 处理包含大量更新信息的任务时（比如“这是昨天的新闻，这是今天的新闻，请告诉我今天的结论”），要意识到 AI 可能会顽固地坚持昨天的结论。你需要通过特殊的提示词（Prompt）来“提醒”它关注最新的信息，或者选择更适合该任务的模型。

1. 研究背景与问题定义 (Problem)

核心问题：当大型语言模型（LLM）在上下文中遇到冲突信息时，哪些记忆会保留？是早期的信息还是近期的信息？
人类记忆 vs. LLM 记忆：
- 人类：通常表现出倒摄抑制 (Retroactive Interference, RI) 占主导地位，即新学习的信息会干扰对旧信息的回忆（“新忘旧”）。
- LLM 现状：尽管上下文窗口已扩展至数百万 token，但 LLM 如何处理记忆干扰（Memory Interference）仍不清楚。现有研究多关注“长文本搜索”能力，缺乏对语义冲突下记忆保持机制的深入理解。
研究目标：通过引入认知心理学中的经典干扰范式，系统测试 39 种不同架构和规模的 LLM，探究 RI 和 PI（前摄抑制）在模型中的表现、相关性及其背后的计算机制。

2. 方法论 (Methodology)

实验范式：改编自认知心理学中的 AB-AC 干扰范式 (Underwood, 1957)。
- 任务流程：
  1. 初始学习：模型学习 46 个“类别 - 值”对（例如：视觉艺术 -> 印象派）。
  2. 干扰更新：对每个类别进行 $N$ 次随机交织的更新（ $N \in \{3, 10, 50, 100, 200, 300\}$ ），每次更新赋予该类别一个新值（例如：视觉艺术 -> 巴洛克）。
  3. 查询测试：
    - 倒摄抑制 (RI) 任务：查询初始值（尽管后续有更新）。
    - 前摄抑制 (PI) 任务：查询最新值（尽管早期信息存在竞争）。
- 关键控制：RI 和 PI 使用完全相同的刺激序列，仅查询目标不同，从而隔离了干扰效应与搜索难度。
数据集：包含 46 个具有现实意义的语义类别，更新随机交织，模拟真实数据日志中的并发更新，避免位置邻近性带来的偏差。
评估指标：
- RIES (Retroactive Interference Endurance Score)：RI 准确率随干扰程度变化的曲线下面积（对数缩放），衡量模型抵抗 RI 的能力。
- PIES (Proactive Interference Endurance Score)：同上，用于衡量 PI 抵抗能力。
实验对象：测试了 39 个 LLM，涵盖：
- 规模：1B 到 2.5T 参数。
- 类型：开源（Llama, Mistral, Qwen）和闭源（GPT-4o, Claude-3.5, o1, o3）。
- 上下文窗口：8K 到 2M token。

3. 主要发现与结果 (Key Results)

3.1 核心发现：LLM 表现出与人类完全相反的干扰模式

普遍规律：所有 39 个模型均显示 前摄抑制 (PI) > 倒摄抑制 (RI)。
- 这意味着 LLM 保护早期编码，牺牲近期信息（“先记后忘”）。
- 这与人类记忆（新信息覆盖旧信息）截然相反。
- 统计显著性：Cohen's $d = 1.73$ , $p < 0.0001$ 。
具体表现：
- RI 任务：在少量更新（N=3）时准确率高达 93.5%，随更新增加缓慢下降，但在 N=300 时仍保留约 27% 的准确率。
- PI 任务：准确率从 85% 急剧崩溃至 2%，表现出近乎完全的失败。

3.2 RI 与 PI 反映独立的记忆机制 (Dual-Process)

无相关性：RI 和 PI 的抵抗能力几乎不相关 ( $R^2 = 0.044$ )。一个模型擅长 RI 并不代表它擅长 PI，反驳了统一的“记忆容量”假说。
规模效应差异：
- 模型大小预测 RI：参数量与 RI 抵抗能力呈强正相关 ( $R^2 = 0.49$ )。大模型（>500B）显著优于小模型。
- 模型大小不预测 PI：参数量对 PI 抵抗能力无显著影响 ( $R^2 = 0.06$ , 不显著)。
- 上下文长度：上下文窗口大小对 RI 和 PI 均无预测作用。
推理模型的特异性：
- 推理模型（如 o1, o3）在 RI 任务上表现极佳（比非推理模型高 18%），但在 PI 任务上表现极差（甚至不如普通模型）。
- 这表明推理机制增强了“巩固”（Consolidation），但损害了“近期访问”（Recency Access）。

3.3 错误分析揭示不同的失败模式

RI 失败 (被动)：主要是检索失败 (50.8%)。模型无法访问任何值，仿佛初始编码被覆盖或丢失。
PI 失败 (主动)：主要是同键侵入 (56.1%)。模型返回了正确的类别但错误的（早期的）值。这表明早期编码主动干扰了对近期信息的访问。
幻觉率极低：两者幻觉率均低于 1%。模型并非编造信息，而是混淆了位置。
元认知差异：PI 任务中，模型有时会明确拒绝回答（“无法从文本中确定”），而 RI 任务中模型则自信地给出错误答案。

3.4 衰减模式揭示架构多样性

RI 的准确率衰减模式在不同架构间差异巨大（指数衰减、多项式、对数二次等），暗示不同架构实现“记忆巩固”的方式不同。
相比之下，PI 的衰减模式在所有模型中高度一致（对数线性下降），暗示 PI 受限于共享的注意力机制。

4. 核心贡献 (Key Contributions)

双过程记忆证据：首次通过大规模实验证明，LLM 中的 RI 和 PI 是计算上独立的过程。RI 依赖于容量（参数规模），而 PI 依赖于架构（注意力机制）。
干扰特征反转：揭示了 LLM 普遍存在“先记后忘”（PI > RI）的现象，与人类记忆模式相反。这归因于 Transformer 注意力机制对早期 token 的优先保护 (Primacy Protection)。
认知失败分类学：建立了 LLM 记忆错误的分类体系，区分了“被动检索失败”（RI）和“主动优先权侵入”（PI），并指出两者均极少涉及幻觉。

5. 机制解释与意义 (Significance & Implications)

5.1 机制解释

超位置 (Superposition) 假说：
- RI (容量依赖)：小模型因维度有限，特征向量重叠（超位置），导致新信息覆盖旧信息。大模型能分配更多正交表示，从而保护初始编码不被覆盖。
- PI (架构约束)：所有值可能都已清晰表示，但注意力机制本身存在对早期 token 的固有偏差（Attention Sinks）。无论参数多少，早期 token 在因果注意力中累积了更多关注，导致模型难以忽略早期信息而选择最新信息。
与人类记忆的对比：人类记忆受“近因效应”主导，而 LLM 受“首因效应”主导。这是 Transformer 架构的固有特性，而非训练数据的偏差。

5.2 实际意义

模型选择指南：
- 需要历史记忆（如文档分析、知识检索）：应优先选择推理模型或大参数模型（高 RI 抵抗）。
- 需要状态追踪（如对话、实时更新）：应谨慎使用推理模型，可能需选择Claude 系列（其 PI 与 RI 表现较平衡）或专门优化近期注意力的架构。
参数 vs. 上下文：在抗干扰能力上，参数量比上下文窗口长度更重要。一个 100B 参数 + 32K 上下文的模型可能优于 10B 参数 + 1M 上下文的模型。
未来方向：
- 需要针对特定应用场景（如医疗记录、法律文件）进行验证。
- 可通过近期加权注意力 (Recency-weighted attention) 或 位置去偏 (Positional debiasing) 等技术来缓解 PI 问题。

总结

该论文通过严谨的心理学范式实验，揭示了 LLM 记忆机制的一个根本性特征：Transformer 架构在保护早期信息方面具有天然优势，但在处理近期信息更新时存在系统性弱点。 这一发现不仅挑战了关于 LLM 记忆容量的统一假设，也为理解 Transformer 的注意力机制和未来的模型优化提供了重要的理论依据。