🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

MoNe 是一个轻量级、模块化的神经记忆系统，它通过附加在冻结的 Transformer 上，实现将推理成本与上下文长度解耦，从而在无需重新训练的情况下，实现常数级的查询复杂度并显著降低内存使用量，以实现高效的长上下文推理。

原作者： Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能已经达到了能够一次性阅读整本书籍、分析数年的聊天记录或消化庞大法律合同的水平。为了实现这一点，这些系统依赖于一种机制，使它们能够回顾之前处理过的所有内容，从而理解当前的问题。然而，这种能力伴随着沉重的代价。随着文本量的增加，处理这些信息所需的能量和计算机内存不仅是在增长，而是在爆炸式增长。想象一下，试图通过将你现在正在读的每一个单词，与你从开始阅读以来读过的每一个单词进行对比，来阅读一座图书馆。这种所需的努力程度增长得如此之快，以至于对于标准计算机，尤其是手机或笔记本电脑中常见的较小设备来说，处理超过几千个单词的任务很快就会变得不可能。这种局限性迫使当前的系统要么忘记长篇故事的开头，要么依赖外部工具来寻找特定事实，从而往往会错过连接分散细节的宏观图景。

高通人工智能研究中心（Qualcomm AI Research）的一个研究小组开发了一种名为 MoNe 的新方法，它允许人工智能模型在无需重新训练或不会使硬件过载的情况下处理海量信息。MoNe 并不强迫计算机在每次回答问题时都不断地重读整个对话或文档的历史，而是像一个模型在阅读时会随手记录的专用笔记本。该系统将长文本分成小而易于管理的块进行处理。在阅读每个数据块时，它会更新这个内部笔记本，将精华信息提炼成紧凑的形式。一旦整个文本被读完且笔记本填满后，模型就可以仅根据该笔记本的内容来回答问题。至关重要的是，模型永远不需要再次回头查看原始的长文本。这种设计意味着，无论原始文档是一封简短的电子邮件还是一部十万字的巨著，回答问题的成本都保持不变。

研究人员在标准的一套挑战任务上测试了这种方法，这些任务旨在测试模型是否能在大量文本中找到隐藏的特定事实，这项任务通常被称为“大海捞针”。他们还测试了模型提取频繁出现词汇的能力，以及解决需要连接散布在全文中的多个信息片段的问题的能力。当文本长度保持在模型的原始训练限制范围内时，这种新方法表现近乎完美，超越了试图一次性阅读全部内容的标准方法。更令人印象深刻的是，当研究人员将系统推向处理远超模型原始设计长度的文本（高达 128,000 个 token）时，新方法依然能保持高准确度。相比之下，试图一次性读取全文的标准方法随着文本变长而完全失效，准确率降至接近于零。另一种常见的替代方法是尝试搜索相关的文本片段，但在需要整合许多分散事实时也显得力不从心。

这种新方法带来的效率提升是巨大的。在测试的最长文本长度下，研究人员发现，与标准方法相比，他们的方法减少了约 80% 的计算能力需求。它也将峰值内存需求降低了同样的幅度。这是一个关键的改进，因为这意味着强大的长上下文推理技术最终可以在资源有限的设备上运行，而不是需要庞大且昂贵的服务器。该系统通过保持恒定的内存占用量来实现这一点：内部笔记本的大小不会随着文本变长而增长。研究人员证明，该系统可以附加到现有的预训练模型上，而无需改变其核心结构，只需增加少量的额外数据存储。他们还展示了该系统可以通过分段处理文本并逐步更新其内部状态，从而泛化到比训练长度长 32 倍的文本。

虽然目前的实验侧重于使用特定模型规模进行特定的检索任务，但结果为使人工智能更具处理现实世界长篇信息的能力提供了一条可行的路径。该方法不需要从头开始构建全新类型的“计算机大脑”，也不需要模型在海量新数据集上进行重新训练。相反，它引入了一个轻量级的、模块化的插件，能够实时学习压缩信息。这使得系统能够在保持对过去清晰且恒定记忆的同时，降低思考当下的成本。随着人们对能够对数小时对话或数千页文档进行推理的人工智能的需求不断增长，这种方法提供了一种切实可行的方式，让这些系统在理解它们所处的世界的全貌时，依然保持快速、高效且具备能力。

技术摘要：MoNe – 用于高效长上下文推理的模块化神经记忆

1. 问题陈述

长上下文处理对于个性化助手、文档问答（QA）和智能体系统等应用至关重要。然而，主流的方法——上下文学习（In-Context Learning, ICL）——在计算量（FLOPs）上呈二次方增长（ $O(N^2)$ ），且在 KV 缓存内存占用上随上下文长度 $N$ 呈线性增长（ $O(N)$ ）。这使得长上下文推理在资源受限的硬件（如移动设备）上变得极其昂贵，并导致小模型即使在其原生上下文窗口内也难以进行可靠的信息提取。

替代方案面临着显著的局限性：

检索增强生成 (RAG)： 虽然 RAG 降低了注意力机制的成本，但它依赖于基于嵌入（embedding）的独立分块检索。当任务需要综合多个分散的、相互关联的、且单个特征并不显著的事实时，RAG 会失效。
循环/线性模型（例如 Mamba, TTT, Titans）： 这些模型实现了线性复杂度，但需要从头开始训练全新的架构，这阻碍了它们与现有的冻结预训练 Transformer 进行无缝集成，且无法在不进行全量重训的情况下直接使用。

2. 方法论：MoNe

MoNe（Modular Neural Memory，模块化神经记忆）是一种轻量级的插件模块，旨在附加到任何冻结的预训练 Transformer 上，从而实现高效的长上下文推理，且无需修改骨干网络权重。该架构分为两个截然不同的阶段运行：

2.1 架构

MoNe 在每个解码器层 $l$ 处附加一个快速权重（fast-weight）神经记忆网络。

记忆模块： 每个层级利用带有快速权重参数（ $W_{in}, W_{gate}, W_{out}$ ）的 SwiGLU MLP。与线性映射不同，这种非线性网络增加了表达能力，以编码更丰富的关联结构。
集成方式： 在推理期间，查询标记（query tokens）通过冻结骨干网络的 $W_q$ 进行投影，并从缓存的快速权重状态中读取。生成的记忆标记被投影到键值空间（使用冻结的 $W_k$ 和 $W_v$ ），并与标准的注意力条目拼接。
参数效率： 该模块仅通过对冻结权重使用低秩适配器（LoRA）增加了极少量的参数（6.4% 的开销）。

2.2 两阶段操作

阶段 1：测试时学习（预处理）

将包含 $N$ 个标记的上下文 $C$ 分割为固定大小的段，每段 $T=512$ 个标记。
顺序处理这些段。对于每个段，通过层局部梯度更新来更新每一层的快速权重。
关联记忆损失（Associative Memory Loss）： 优化记忆模块，以最大化记忆输出与目标值（由冻结的 $W_k$ 和 $W_v$ 导出）之间的内积。这种方法将 $k \to v$ 的关联“印刻”进快速权重中，而无需通过整个骨干网络进行预测误差计算或反向传播。
位置编码： 使用段局部 RoPE，分配局部位置 $p_{local} = j \mod T$ 。这使得位置索引始终保持在 $[0, T)$ 范围内，无论总上下文长度如何，从而实现无需插值即可泛化到任意长度。

阶段 2：推理

查询标记仅对由更新后的快速权重状态生成的记忆标记进行注意力计算。
不再重新读取上下文标记，也不直接对上下文标记进行注意力计算。
复杂度： 这使推理成本与上下文长度解耦，实现了 $O(N)$ 的预处理和 $O(1)$ 的查询成本，且峰值 GPU 显存与 $N$ 无关，保持恒定。

3. 核心贡献

模块化架构： 一种可集成到任何冻结预训练 Transformer 的插件，仅增加 6.4% 的参数开销，且无需修改骨干网络。
测试时学习程序： 一种使用层局部梯度更新来适配快速权重神经记忆网络的方法。这实现了 $O(N)$ 的预处理和 $O(1)$ 的查询成本，与 ICL 的 $O(N^2)$ 成本形成对比。它原生支持增量上下文扩展和多查询复用。
泛化能力： 证明了其能够从训练上下文（最高 4K 标记）泛化到评估上下文（128K 标记）的卓越能力（32 倍外推），且无需额外的训练或位置插值。

4. 实验结果

实验在 RULER 基准测试（S-NIAH, MK-NIAH, 频繁词提取）上进行，采用 Qwen2.5-0.5B-Instruct 作为骨干网络。

性能表现：
- 原生窗口内（4K–32K）： MoNe 实现了近乎完美的表现（0.99–1.00 Sub-EM），显著优于 ICL（0.41–0.98）和 RAG（0.58–0.93）。
- 超越原生窗口（48K–128K）： 当 ICL 性能崩溃（例如在 128K 时 S-NIAH 降至 0.28）且 RAG 进入平台期（在处理多跳事实方面表现挣扎）时，MoNe 仍保持了强大的准确度（在 128K 时 S-NIAH 为 0.96，MK-NIAH 为 0.94，频繁词提取为 0.96）。
效率表现：
- 在 128K 标记处，与 ICL 相比，MoNe 减少了约 81% 的总 FLOPs 和 80% 的峰值 GPU 显存。
- 无论上下文长度如何，MoNe 的峰值 GPU 显存始终恒定在 1.41 GB，而 ICL 在 128K 时需要 7.07 GB。
消融实验：
- 层覆盖范围： 将 MoNe 附加到所有 24 个解码器层可获得最佳结果。若限制在最后 8 层，性能在超过 32K 后会发生崩溃。
- 段大小： 段大小 $T=512$ 提供了最佳的权衡，能有效泛化至 128K，而较小的段（ $T=128, 256$ ）在超过 16K 后性能迅速下降。

5. 重要性与主张

论文声称，MoNe 为资源受限的长上下文推理提供了一种切实可行的解决方案，因为它将计算成本与上下文长度解耦。其重要性在于：

高效性： 实现恒定的显存占用和线性预处理，使得长上下文推理在 otherwise 成本极高的边缘设备上变得可行。
兼容性： 无需昂贵的全量微调或架构重设计，即可为现有的冻结模型赋予长上下文能力。
鲁棒性： 在需要跨长上下文综合信息的任务中，优于标准 ICL（随长度增加而退化）和 RAG（在处理分布式推理时表现挣扎）。

作者指出，虽然目前的验证使用的是 0.5B 规模的骨干网络和受控的检索任务，但该插件设计旨在扩展到更大的模型和自然语言工作负载（如多文档问答、对话历史），在这些场景下，其恒定显存推理的效率优势预计会更加显著。