💬 NLP

ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models

本文介绍了 ForgetBench，这是一个旨在系统性评估大语言模型在持续知识编辑下长期遗忘动态与留存稳定性的新颖基准测试，揭示了当前方法难以在有效的知识更新与对先前获取信息的保护之间取得平衡。

原作者： Ruxi Gu, Zhenliang Zhang, Wei Wang

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruxi Gu, Zhenliang Zhang, Wei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：你的大脑每秒钟都能学习一个新事实，但每当你学到新知识时，你都会不小心抹除一段旧记忆。这不仅仅是一个科幻噩梦；对于我们称之为大语言模型（LLM）的人工智能来说，这是一个日益严重的隐忧。这些数字大脑在阅读书籍和进行对话方面表现得极其出色，但在处理人类能自然完成的一件事上却很吃力：即在腾出空间容纳新知识的同时，保护好旧的记忆。科学家们长期以来一直在研究人类记忆的工作原理，将其分为“工作记忆”（你现在正在思考的内容）和“长期记忆”（你多年来存储的事实）。虽然我们知道如何教这些 AI 模型新的技巧，但我们并不完全理解它们如何处理随着时间推移更新其内部知识这一复杂过程，而不至于丢失昨天所知的一切。如果我们希望 AI 能成为一个得力的终身伴侣，而不是一个需要不断提醒的健忘朋友，我们就需要弄清楚如何让它们的记忆变得持久。

于是有了 ForgetBench，这是由研究人员设计的一种全新的“压力测试”，旨在观察 AI 模型在不断更新时究竟是如何以及为何会遗忘事物的。不要把 ForgetBench 仅仅看作一个简单的测验，而要把它看作是 AI 大脑的一个延时摄影机。研究人员并没有只是检查 AI 现在是否知道某个事实，而是设置了一个场景，让 AI 必须连续不断地学习一系列新信息，就像一名学生连续一个月每天都要参加一场新的历史考试一样。他们提出的核心问题是：“如果我们今天教给这个 AI 一个新事实，它还会记得我们一周前教它的那个事实吗？还是说新的课程已经覆盖了旧的知识？”

为了回答这个问题，团队构建了两种不同类型的记忆挑战。第一种被称为基于概念的问答（Concept-based QA），它就像一场关于孤立事实的闪卡游戏。想象一下，你告诉 AI，“唐纳德·罗德里格斯 22 岁”，然后稍后又说，“实际上，唐纳德 79 岁了。”研究人员想看看 AI 是否能在更换年龄的同时，不会产生混乱或忘记其他人的年龄。第二种挑战是基于场景的问答（Scenario-based QA），这更像是一个复杂的角色扮演游戏。在这里，AI 必须追踪角色之间的关系，例如：“谁关注了比尔·盖茨并转发了一条关于太空探索的帖子？”这测试了 AI 是否能保留一个相互关联的故事网络，或者新的更新是否会导致整个故事的崩塌。

研究人员使用各种更新知识的方法，在多个不同的 AI 模型上运行了这些测试。他们的发现对于当前 AI 的现状来说有点令人沮丧：现有的方法很难在两者之间取得平衡。当模型学习新事实时，它们往往会忘记旧的事实，或者变得如此混乱以至于开始胡言乱语。研究通过一种被称为“遗忘曲线”的指标来衡量这一点，该曲线追踪随着新信息的加入，记忆消退的速度。他们发现，对于大多数当前的模型来说，记忆的“半衰期”（即 AI 遗忘一半已学知识所需的时间）非常短。换句话说，AI 现在学得很快，但以后记不住。

论文指出，虽然我们在单次会话中教 AI 新事物方面已经做得非常出色，但我们尚未解决如何在长期的持续更新中保护这些记忆的问题。研究人员不仅发现了问题，还提供了一种新的衡量方式，表明目前的 AI 知识更新工具就像是通过擦除前几页来编写书中的新章节一样。在我们能够构建更好的“记忆机制”，让 AI 在成长过程中不丢失过去之前，这些数字大脑将始终保持聪明但极其健忘的状态。

技术摘要：ForgetBench

问题陈述

大语言模型（LLMs）在知识获取和推理方面展现出了显著的能力，然而其在重复更新下保留已获取知识的能力仍未得到充分理解。现有的评估范式主要关注工作记忆（例如，单次推理中的上下文推理、多跳问答）或静态知识编辑（评估单步编辑的成功率、泛化性和局部性）。这些方法未能捕捉到持续模型修改过程中知识保留与退化的时间动态特性。

目前的知识编辑基准测试（如 zsRE, UnKE）将编辑视为独立的算子，忽略了后续更新造成的累积干扰。因此，它们无法回答一个对于可靠终身适应至关重要的问题：今天获取的知识能否在未来的修改中幸存下来。此外，现有的长期记忆基准测试通常依赖于外部维护的记忆（检索增强生成），而本研究则侧重于内在参数记忆，即遗忘是从模型参数内部的累积干扰中产生的。

方法论：ForgetBench

作者提出了 ForgetBench，这是一个统一的基准测试，旨在系统地表征 LLMs 在持续知识编辑下的遗忘行为。该方法由三个核心部分组成：

1. 数据生成范式

ForgetBench 引入了两种互补的问答（QA）构建范式，以解耦孤立的事实保留与结构化关系知识的保留：

基于概念的问答（Concept-based QA）： 专注于原子事实属性。每个主题关联单个属性，并随时间进行独立扰动。这种设置消除了实例间的依赖关系，提供了一个受控环境来分析局部的参数干扰。
基于场景的问答（Scenario-based QA）： 基于动态交互图构建结构化关系知识的问答对。通过模拟多智能体交互（智能体、项目和边）生成异构知识图谱。问答实例源自采样的子图，需要对相互连接的实体进行推理。这用于评估持续编辑下的结构化知识理解能力。

2. 顺序编辑框架

与静态基准测试不同，ForgetBench 采用了顺序编辑范式。新知识通过按时间顺序排列的知识流不断注入。模型经历重复的编辑阶段，并定期在新增编辑实例和既往编辑实例上进行性能评估。这使得构建遗忘曲线成为可能，从而反映记忆随时间的保留、退化或被覆盖的情况。

3. 统一评估框架

为了定量分析长期保留的动态过程，作者定义了一个时空评估矩阵 $Z[t, i]$ ，其中 $t$ 代表编辑轮次， $i$ 代表知识实例。基于此，他们引入了一套捕捉三个关键维度的指标：

逐点编辑性能：
- 编辑成功率 (ES)： 衡量新编辑的即时有效性。
- 保留率 (Ret)： 评估所有既往知识的平均保存情况。
时间衰减动态：
- 遗忘曲线 ( $F(\Delta)$ )： 模拟记忆年龄（ $\Delta$ ，即后续编辑的次数）与保留率之间的关系。
- 记忆半衰期 ( $\Delta_{1/2}$ )： 保留率下降至初始水平一半所需的编辑步数。
- 遗忘曲线下面积 (AUF)： 衡量知识在其生命周期内的平均保留情况。
- 遗忘速度： 量化曲线的局部变化率。
跨实例稳定性：
- 时间一致性 (TC)： 量化单个记忆轨迹在连续编辑步骤中的稳定性，区分是稳定的退化还是突发的记忆中断。
泛化与流畅度：
- 泛化性 (Gen)： 衡量对改写查询的泛化能力。
- 流畅度 (Flu)： 监测语言生成的稳定性，以检测文本退化或模型崩溃。

关键结果

在多种 LLM 和编辑方法（包括因果干预、零空间约束、超网络和“定位后编辑”方法）上进行的广泛实验得出了以下发现：

性能失衡： 现有方法无法在长期保留与泛化质量之间取得平衡。实现高即时编辑成功率的方法往往面临快速的时间衰减或较差的泛化问题。
结构差异： 评估矩阵揭示了不同的时空结构。基于概念的问答表现出高度分散的正确性（对干扰具有独立的脆弱性），而基于场景的问答则表现出垂直相干性，这表明上下文依赖可以诱导更稳定的预测轨迹。
当前范式的局限性： 当前的知识编辑方法不足以实现可靠的终身适应，因为它们无法有效地保护知识免受后续更新的累积干扰。

意义与主张

本文声称 ForgetBench 提供了对 LLMs 在持续知识编辑下长期参数遗忘动态的首次系统分析。通过超越静态、单步评估，该基准测试实现了对知识获取、保留和遗忘的时间性分析。

作者强调，他们的发现凸显了当前 LLM 开发中的一个关键差距：缺乏能够有效获取、更新并随时间保留知识的鲁棒记忆机制。ForgetBench 作为一个诊断工具，旨在推动未来研究向更强大的记忆机制发展，使其能够在动态且持续更新的环境中维持知识的完整性。这项工作并非提出一种新的编辑算法，而是建立了评估并改进此类机制所必需的评估基础设施。