想象一下，你正试图与一位非常聪明但略显健忘的朋友交谈。你们已经聊了好几个小时，突然，你提到了聊天刚开始时的一个细节。你的朋友被你们所说的海量内容压得不知所措，可能会感到困惑。他们可能会说：“我不记得那个了”，或者更糟的是，他们可能会给你一个笼统的回答，忽略你的具体问题，因为他们正试图同时处理你所说的“一切”。
这正是大型计算机语言模型在处理长对话或长文档时面临的问题。本文介绍了一种名为ERMAR（增强型排序记忆增强检索）的新系统来解决这一问题。
以下是 ERMAR 的工作原理，通过简单的类比进行解释：
1. 问题：“嘈杂的图书馆”
当前试图记住长对话的模型，就像一位每次你提问时都必须从书架上取下每一本书的图书管理员。
- 旧方法（MemLong）： 想象一个图书馆，其中每本书都被视为同等重要。如果你询问某个特定主题，图书管理员会抓起一大堆书，包括关于烹饪、太空和历史的书，即使你只问了关于太空的问题。这会创建一个“杂乱”的记忆，使模型感到困惑并降低其速度。
- 结果： 模型遭遇“信息过载”。它看到了太多的噪音，而错过了你需要的特定信号（重要细节）。
2. 解决方案：“智能排序系统”
ERMAR 改变了图书管理员的工作方式。它不再抓取所有内容，而是使用智能排序系统。
- 步骤 1：搜索（检索）： 当你提出问题时，系统会快速扫描其记忆，找出一份可能相关的“候选”书籍（或记忆块）列表。
- 步骤 2：重排序（魔法）： 这是本文的重大创新。在模型阅读书籍之前，一位特殊的“法官”会查看列表并对其进行评分。
- 类比： 想象你正在食谱书中寻找特定的食谱。旧方法是阅读每一页。而 ERMAR 的方法是让一位智能助手先阅读标题和摘要，然后重新排列页面，使最相关的食谱位于顶部，不相关的则被推到底部或直接丢弃。
- 步骤 3：聚焦： 模型随后只关注排名靠前的项目。它忽略了噪音。
3. 如何处理“历史”
本文指出，ERMAR 不仅查看你现在说了什么；它还查看某些信息在过去被使用的频率。
- 类比： 想象一家受欢迎的咖啡店。如果某张桌子总是人们坐下来讨论生意的地方，经理（模型）就会知道要优先处理该桌子的历史记录。ERMAR 会记住对话的哪些部分以前是“有用”的，并给予它们更高的评分，确保它们保持在列表的顶部。
4. 结果：更快、更智能、更精简
作者使用标准的“长对话”测试将该系统与其他模型进行了比较。以下是他们的发现：
- 更好的记忆： 在回答长文本末尾的问题时，ERMAR 在记住开头细节方面表现要好得多。它不会被对话中间的内容搞糊涂。
- 更少的杂乱（内存效率）： 因为它会丢弃“垃圾”信息（排名靠后的书籍），所以它使用的计算机内存更少。本文声称，与之前的最佳方法相比，在非常长的对话中，它可以节省高达30% 的内存。
- 速度： 虽然进行“排序”（就像法官给书籍评分）需要多花一点点时间，但整体过程更加稳定。当对话变得非常长时，它不像旧模型那样容易变得不稳定或缓慢。
5. 它做不到什么（局限性）
本文诚实地说明了 ERMAR 目前无法做到的事情：
- 它不是魔法： 与标准模型相比，它进行排序仍然需要更多的计算能力。如果对话极长（例如 32,000 字），“排序”步骤有时会成为一个轻微的负担，尽管模型的表现仍然良好。
- 它需要调整： 它在经过训练的数据类型（如干净的文本）上效果最好。作者指出，要处理充满错误或噪音的混乱现实世界数据，它可能需要额外的工作。
一句话总结
ERMAR 就像是给计算机配备了一个智能文件柜，而不是一大堆散乱的文件。当你提出问题时，它不会把整堆文件倒在你的桌子上；它会整理文件，突出显示最重要的部分，并只递给你所需的内容。这使得计算机更聪明、更快速，并且在长对话中不太容易感到不知所措。
技术摘要：增强型排序记忆增强检索（ERMAR）
1. 问题陈述
大型语言模型（LLM）在处理扩展上下文时面临根本性限制，这源于注意力机制的二次方复杂度以及生成过程中不断攀升的内存需求。尽管现有方法如MemLong（Liu 等人，2024）试图通过将预计算的历史上下文存储在记忆库中，并通过点积相似度检索相关片段来解决这一问题，但它们存在关键的低效问题：
- 统一处理：MemLong 对所有键值（K-V）对赋予同等权重，无论其上下文相关性如何，导致信息过载。
- 精度降低：缺乏细致的排序机制导致检索精度降低，特别是在需要持续对话或文档分析的场景中。
- 静态管理：现有方法通常依赖固定的记忆结构，无法根据内容重要性或使用模式进行自适应调整。
2. 方法论：ERMAR 框架
作者提出了增强型排序记忆增强检索（ERMAR），这是一个旨在根据相关性动态排序记忆条目的框架。该架构建立在 MemLong 基线之上，但引入了新颖的相关性评分机制，并借鉴信息检索中的排序学习技术，引入了逐点重排序模型。
核心架构
ERMAR 系统通过四个连续阶段运行：
- 长记忆检索：输入历史被编码为块级键值（K-V）对，并存储在记忆库中，同时存储捕获语义表示的稠密嵌入。
- 搜索：接收到新查询后，利用其嵌入通过相似度匹配在记忆库中搜索候选 K-V 对。
- 重排序（核心创新）：检索到的候选项通过重排序模块。与 MemLong 不同，ERMAR 采用基于乘法的相关性评分机制来计算查询 - 文档对的分数。该模块根据相关性分数动态重新排列 K-V 嵌入，优先处理最相关的信息。
- 记忆融合生成：仅将排名靠前的 K-V 对通过检索因果注意力注入到可训练的上层 Transformer 块中，使最终输出基于最相关的历史上下文。
关键技术组件
- 相关性评分：相关性分数 α(q,K) 定义为查询嵌入 q 与键嵌入 K 的点积经过 dret 归一化后的 softmax 函数。这模拟了注意力操作，为记忆条目分配相对重要性。
- 带自适应检索的相关性评分（RSAR）：该机制动态排序记忆条目 (Kj,Vj,sj)，其中 sj 为相关性分数。它采用剪枝策略，丢弃低于预设阈值的条目，通过仅保留关键上下文信息来优化内存使用。
- 混合记忆管理：ERMAR 利用动态剪枝策略，保留最新的 10% 记忆，根据检索频率优先处理中间的 80%，并丢弃最旧的 10% 作为可能过时的内容。
- 训练策略：该模型使用冻结的下层 Transformer 块（生成 K-V 对）和带有检索增强注意力的可训练上层块。它在 SlimPajama 数据集上使用 LoRA 进行微调。
3. 主要贡献
该论文确定了 ERMAR 引入的三项主要改进：
- 语义相似度指标：一种新颖的指标，用于测量查询嵌入与 K-V 对之间的上下文对齐，超越了简单的相似度搜索。
- 加权评分函数：一种同时考虑内容相似性和上下文相关性以计算相关性分数的函数。
- 历史使用集成：集成历史使用模式以优化相关性评估和记忆优先级排序。
4. 实验结果
ERMAR 在 WikiText-103、PG-19 和 Proof-Pile 等基准测试上，针对 3B 和 7B 参数规模，与最先进模型（包括 MemLong、LongLoRA、YARN 和 Phi-3）进行了评估。
- 长上下文语言建模：
- ERMAR 在 3B 模型中取得了最先进结果，在 12 种配置中 consistently 有 10 种（83.3%）优于 MemLong。
- 它在扩展到更长上下文时表现出卓越的稳定性。在 PG-19 上，当从 4k 扩展到 16k 令牌时，困惑度仅增加了 0.31%，而基线模型则出现了显著退化。
- 在 32k 令牌时，ERMAR 保持了具有竞争力的性能，在 PG-19 上相比 MemLong 困惑度提高了 0.90%。
- 上下文学习（ICL）：
- 在五个 NLU 任务（SST-2、MR、Subj、SST-5、MPQA）的 4 次射击和 20 次射击设置中，ERMAR 优于基线模型。
- 在 MPQA（20 次射击下比 MemLong 高 21%）和 Subj（高 26%）中观察到了显著的提升。
- 内存效率：
- 在 16k 令牌上下文中，与 MemLong 相比，ERMAR 将保留内存减少了高达 30%（16.61 GB 对比 23.77 GB）。
- 当从 1k 扩展到 16k 令牌时，其每令牌内存效率提高了八倍。
- 延迟和吞吐量：
- 虽然 ERMAR 表现出略高的延迟（在较短上下文中相对增加 9–35%），但它显示出显著更低的延迟方差（±45–59 ms 对比 MemLong 的 ±154–214 ms），表明运行时稳定性更高。
- 在较长上下文中，吞吐量保持在约 2.4k 令牌/秒的竞争力水平。
5. 意义与主张
作者声称，ERMAR 通过解决静态和统一记忆处理的局限性，为长上下文记忆管理提供了一种更原则性的方法。
- 可扩展性：该框架有效缓解了扩展序列中的信息稀释问题，使模型能够在 32k 令牌上下文中保持连贯性。
- 检索精度：通过集成“检索 - 重排序”两阶段范式，ERMAR 确保最语义相关的历史信息得到优先处理，从而在持续对话场景中产生更准确和一致的响应。
- 效率：自适应记忆管理和剪枝策略允许在不牺牲性能的情况下显著减少内存开销，使其成为资源受限的长上下文应用的可行解决方案。
该论文得出结论，尽管 ERMAR 相比标准 LLM 引入了计算开销，但其在检索精度、上下文保留和内存效率方面的巨大收益证明了这种权衡是合理的。未来的工作提议针对专用数据集和复杂推理任务优化该框架。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。