🤖 machine learning

Memory-Augmented Architecture for Long-Term Context Handling in Large Language Models

本文提出了一种记忆增强架构，通过动态管理过往交互来克服大语言模型上下文记忆有限的问题，从而显著提升长期对话的连贯性与响应质量。

原作者： Haseeb Ullah Khan Shinwari, Muhammad Usama

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Haseeb Ullah Khan Shinwari, Muhammad Usama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明的读者交谈，他的脑海里有一个巨大的图书馆。这位朋友很擅长回答问题，但有一个奇怪的问题：他的“短期记忆”就像一个只能记录几句话的小笔记本。如果你聊得很久，他就会开始忘记你五分钟前说了什么。他可能会问：“你刚才在说谁来着？”或者给出一个与你正在构建的故事不符的答案。这就是像驱动聊天机器人的大语言模型（LLMs）目前面临的问题。

这篇论文介绍了一个解决方案：记忆增强架构（Memory-Augmented Architecture）。你可以把它想象成给那位聪明的读者配备了一个文件柜和一个高效的图书管理员，来帮助他管理长期的对话。

以下是该系统的运作方式，通过简单的概念进行拆解：

1. 问题所在：“笔记本”的限制

标准的 AI 模型就像是在试图把整场对话都记在脑子里的人。随着聊天的进行，“笔记本”会被填满，旧的信息会被挤出去。这会导致回答变得混乱，并导致对话中断。

2. 解决方案：文件柜

作者提议在 AI 旁边添加一个特殊的“记忆库”（文件柜）。

图书管理员（检索）： 每当你提出一个问题时，“图书管理员”（检索网络）会查看你的问题并搜索文件柜。它不仅仅是抓取你刚刚说过的最后一件事情；它会寻找与你问题最相关的事情，即使这件事发生在很久以前。
归档过程： 在 AI 回答之后，对话会被记录下来并存档，以备将来使用。

3. 智能过滤器：“基于相关性的修剪”

文件柜能容纳的文件是有限的。如果你不停地往里加纸张，文件柜会变得太重且难以搜索。论文提出了两种清理方式：

旧方法（LRU 置换）： 这就像扔掉那个你最久没有动过的文件。问题在于，有时候最重要的文件恰恰是那个你有一段时间没碰过、但现在却需要的文件。
新方法（基于相关性的修剪）： 这是该论文的核心创新。与其只看一个文件最后一次被触碰的时间，图书管理员会观察该文件与当前对话的相关程度。如果一个文件与你现在正在谈论的话题高度相关，它就会留在柜子里，即使它很旧。如果一个文件无关紧要，它就会被扔掉以腾出空间。

类比： 想象你正在收拾行李准备旅行。

LRU 就像是扔掉行李箱里那个你最长时间没用过的物品。
基于相关性的修剪 则是看着你的目的地并询问：“我这次旅行需要这个东西吗？”如果是，它就留下；如果不是，它就走人，无论它在包里待了多久。

4. 他们是如何测试的

研究人员在三种不同的场景下测试了这个“智能文件系统”，以观察它是否真的有效：

“二十个问题”游戏： AI 必须通过提问来猜一个秘密词汇，且问题只能是“是”或“否”。这很难，因为 AI 需要记住从开始到结束的每一个线索，从而缩小范围。
角色对话（Persona-Chat）： AI 必须扮演一个具有独特个性的特定角色。它需要在整个聊天过程中记住其“人格”细节，以免突然表现得像另一个人。
日常对话（DailyDialog）： 一个通用的对话测试，旨在观察 AI 是否能在多轮对话中保持自然的流利度。

5. 结果

论文声称，添加这个记忆系统让 AI 变得显著更强：

更高的准确率： 在“二十个问题”游戏中，AI 的成功率从大约 62% 跳升到了 80% 以上。
更好的连贯性： 与标准版本相比，AI 能更好地保持主题并记住自己的角色。
效率更高： 通过使用“基于相关性的修剪”（智能过滤器），该系统不仅变得更聪明，而且比尝试保留所有内容或仅仅使用“扔掉最旧内容”的老方法更节省计算内存，响应也更快。

总结

简而言之，这篇论文说的是：“不要只是让 AI 忘记过去，也不要试图永远记住所有事情。给它一个智能文件系统，让它保留那些重要的旧记忆，并丢弃那些不重要的记忆。”这让 AI 感觉更像人类，更连贯，并且能够进行长期的、有意义的对话，而不会感到困惑。

技术摘要：用于大型语言模型长期上下文处理的记忆增强架构

问题陈述

大型语言模型（LLMs）在面对受限的上下文记忆时，在维持长对话连贯性方面面临关键限制。标准的基于 Transformer 的架构依赖于固定的输入规模，这限制了它们捕获长期依赖关系的能力。因此，随着对话长度的增加，关键的上下文信息会丢失，导致对话破碎、响应相关性降低以及潜在的幻觉问题。虽然现有的记忆增强方法试图存储过去的交互，但它们通常受到内存膨胀和推理延迟增加的问题困扰，特别是在依赖于次优管理策略（如最近最少使用（LRU）驱逐策略）时，这类策略可能会丢弃虽陈旧但高度相关的信息。目前迫切需要一种能够动态管理记忆，在不显著增加计算开销的情况下仅保留最相关上下文的架构。

方法论

作者提出了一种旨在实现上下文驱动响应生成的记忆增强架构。该框架通过以下机制运行：

嵌入与检索： 用户查询（ $Q_t$ ）通过编码器网络（ $f_{enc}$ ）被映射为高维嵌入（ $q_t$ ）。这些嵌入与包含过去交互嵌入（ $m_i$ ）的记忆库（ $M_t$ ）进行对比。
基于相似性的选择： 系统通过计算当前查询嵌入与存储的记忆条目之间的余弦相似度（ $\alpha$ ），检索出最相关的记忆条目（ $m_{retrieved}$ ）。检索到的记忆用于调节 LLM 的解码器，以生成具有上下文一致性的响应（ $R_t$ ）。
记忆更新： 在生成响应后，通过对拼接后的查询与响应（ $[Q_t || R_t]$ ）进行编码来创建一个新的记忆条目，并将其添加到记忆库中。
记忆管理策略： 为了防止记忆无限增长，当记忆规模超过阈值（ $N$ $N$ ）时，系统采用两种不同的策略：
- LRU 驱逐： 删除具有最旧访问时间戳的记忆条目。
- 基于相关性的剪枝： 根据每个记忆条目在滑动窗口（ $T$ ）内与近期查询的最大相似度计算相关性得分（ $\kappa$ ）。具有最低相关性得分的条目将被剪枝。该策略旨在保留关键上下文，即使这些信息并非最近被访问。

该架构具有模块化特征，仅需对基础 LLM 进行极小的修改，并利用检索网络来选择记忆，这使其区别于静态的检索增强生成（RAG）方法。

核心贡献

论文概述了三项主要贡献：

基于相关性的剪枝： 一种新型记忆管理策略，它优先考虑保留高度相关的信息而非单纯的近期性（LRU），从而提高了响应质量和连贯性。
模块化架构： 一种能够与现有 LLM 框架（如 LLAMA 3, Gemma 2）无缝集成且无需对基础模型进行重大架构更改的设计。
有效的长期上下文处理： 证明了在扩展对话中保持连贯性的能力，从而实现了比基准模型更具相关性的响应。

实验结果

所提出的框架在三个任务上进行了评估：二十个问题游戏（20 Questions Game）、Persona-Chat 和 DailyDialog，使用的模型为 LLAMA 3 8B 和 Gemma 2 9B。

准确率提升： 在二十个问题游戏中，记忆增强后的 LLAMA 3 8B 将准确率从 62.3%（基准） 提升至 80.4%，Gemma 2 9B 则从 64.8% 提升至 82.1%。
上下文连贯性： 在对话数据集上，所提方法获得了更高的上下文连贯性得分（CCS）。值得注意的是，Gemma 2 9B 在 Persona-Chat 上的 CCS 达到了 0.83，而基准模型为 0.72。
记忆管理有效性： 基于相关性的剪枝表现始终优于 LRU 驱逐。对于 LLAMA 3 8B，基于相关性的剪枝实现了 80.4% 的准确率，内存开销为 1022.7 MB，而 LRU 驱逐的准确率降至 76.5%。基于相关性的剪枝也比“无剪枝”基准降低了延迟。
嵌入模型的影响： 嵌入模型的设计显著影响了性能。GTE-large 产生了最高的准确率（LLAMA 3 为 80.4%，Gemma 2 为 82.1%），优于 MiniLM-L6-v2 和 Universal Sentence Encoder，这归功于其捕捉语义关系的卓越能力。

重要性与主张

论文声称，所提出的解决方案通过实现持续的、具备上下文感知能力的交互，显著增强了虚拟助手、聊天机器人和客户支持系统等实时应用。通过采用基于相关性的剪枝而非 LRU 驱逐，该方法能高效地保留必要上下文，避免内存膨胀，并确保在资源受限环境下的可扩展性。

作者断言，这一进展弥合了人类水平的对话流畅度与技术可行性之间的鸿沟，提升了对话系统的标准。该工作被呈现为一种模块化、可适配的方法，可以在不进行重大架构修改的情况下集成到各种 LLM 框架中，以解决长期上下文保留这一持久挑战。