INMS: Memory Sharing for Large Language Model based Agents

本文提出了 INMS 框架，通过建立异步交互范式下的共享对话记忆池，实现了大语言模型智能体间的实时记忆过滤、存储与检索，从而显著提升了多智能体在开放场景下的协作性能与集体自增强能力。

要点

这篇论文介绍了一个名为 INMS（交互式记忆共享）的新框架。为了让你轻松理解，我们可以把大语言模型（LLM）比作一群才华横溢但有点“社恐”的独行侠。

🌟 核心问题：聪明的“独行侠”为何会卡壳？

想象一下，你有一群非常聪明的作家（AI 代理），他们各自关在独立的房间里写故事。

• 现状：每个作家只记得自己以前写过的东西，或者只能查阅一本静止不动的旧百科全书（静态数据库）。
• 痛点：当遇到一个从未见过的、开放式的难题（比如“写一首关于悲伤的打油诗”或“设计一个去火星的旅行计划”）时，他们因为缺乏交流，只能闭门造车。就像人类如果从不聊天、不互相学习，思维就会变得僵化，容易陷入死胡同。

💡 解决方案：INMS —— 一个“流动的公共聊天室”

INMS 框架就像是在这群作家之间建了一个24 小时开放的“公共聊天室”和“共享图书馆”。

1. 异步对话：像发朋友圈一样交流

在这个框架里，Agent（代理）之间不需要面对面实时聊天，而是进行异步交流：

• 作家 A 抛出一个问题，并给出一个答案。
• 这个“问题 + 答案”的组合（我们叫它 PA 对）被扔进公共聊天室。
• 作家 B 看到后，可以借鉴这个思路来回答自己的问题，甚至激发新的灵感。
• 比喻：这就像你在朋友圈发了一条高质量的经验贴，其他人点赞并转发，大家都能从中受益，而不是每个人都重新发明轮子。

2. 严格的“群主”审核（LLM Scorer）

公共聊天室不能什么垃圾信息都发。INMS 有一个专门的AI 群主（Scorer）：

• 每当有人往聊天室发内容，群主会拿着评分表（Rubrics）仔细打分。
• 如果内容模糊、无聊或错误，直接拒收。
• 只有高质量、有创意的内容才能进入“共享图书馆”。
• 比喻：就像编辑审稿，只有好文章才能刊登在报纸上，保证大家读到的都是精华。

3. 越用越聪明的“图书管理员”（Retriever）

这是 INMS 最厉害的地方。传统的图书馆（检索系统）是死的，书摆在那儿不会变。但 INMS 的图书管理员是活的：

• 随着聊天室里的好文章越来越多，图书管理员会自动学习：什么样的问题对应什么样的好答案。
• 当新的问题出现时，管理员能更精准地从海量共享记忆中捞出最相关的“灵感”。
• 比喻：就像一位老练的图书管理员，他不仅记得书在哪，还能根据读者的新需求，把以前读过的精彩故事串联起来推荐给你。

🚀 实验结果：从“单打独斗”到“集体智慧”

研究人员在三个领域做了测试：

1. 文学创作（写诗、打油诗）
2. 逻辑解谜（脑筋急转弯、谜语）
3. 计划制定（旅行、健身、学习计划）

结果令人惊喜：

• 打破“回声室”效应：一开始，如果聊天室里的内容有点偏颇（比如大家都写得很烂），系统会慢慢引入新的高质量内容，把偏见“稀释”掉，让整体水平回升。
• 跨模型互助：即使是用不同大模型（比如 GPT-4 和开源模型）训练的 Agent，也能互相学习。GPT-4 写的诗可以启发开源模型，反之亦然。
• 性能飙升：使用了共享记忆的 Agent，在回答开放性问题时，准确率、创造力和逻辑性都大幅超过了那些“闭门造车”的 Agent。

📝 总结：INMS 是什么？

简单来说，INMS 就是让 AI 们学会“抱团取暖”和“互相抄作业”（当然是高质量的作业）。

它不再让 AI 依赖死板的数据库，而是让它们通过不断的互动、筛选和共享，共同构建一个动态生长的知识库。这就好比人类从“独自思考”进化到了“集体智慧”，让 AI 在面对复杂、未知的世界时，变得更加聪明、灵活和富有创造力。

一句话概括：INMS 让 AI 们不再做孤独的学霸，而是组成了一个互相学习、越聊越聪明的“超级智囊团”。

技术摘要

INMS：基于大语言模型智能体的交互记忆共享框架技术总结

1. 研究背景与问题 (Problem)

尽管基于大语言模型（LLM）的智能体在复杂任务中表现出色，但在开放式场景（open-ended scenarios）下的性能仍受到显著限制。主要问题包括：

• 孤立运行与静态依赖：现有智能体通常独立运作，依赖静态的外部数据库（如传统的 RAG 系统）。这种模式缺乏人类对话中动态的知识交换机制。
• 静态检索的局限性：检索增强生成（RAG）主要作为单向的信息查询，其效果高度依赖外部数据库的质量、可用性和时效性。在快速变化的专业领域，静态数据库容易过时且稀缺。
• 缺乏多智能体协作：现有的记忆增强方法多关注单个智能体利用自身历史信息进行自我完善，忽略了多智能体之间异步对话、知识共享和集体进化的潜力。
• 回声室效应：在缺乏动态过滤和更新机制的情况下，智能体容易陷入基于初始偏见交互的“回声室”，导致性能停滞或退化。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 INMS（Interactive Memory Sharing，交互记忆共享）框架。该框架将智能体间的交互视为一种异步对话机制，通过动态生成、筛选和共享记忆，构建一个集体智能系统。

核心架构与流程

INMS 系统包含三个核心组件：智能体（Agents）、共享记忆池（Shared Memory Pool）和动态检索器（Retriever）。

1. **记忆生成与表示 **(Memory Generation)：

   • 智能体之间的交互被概念化为 **Prompt-Answer **(PA) 对。
   • 这些 PA 对被视为“异步通信行为”或“交互记忆”，以自然语言形式存储。
   • 初始阶段，记忆池包含少量人工归档的高质量样本，随后通过智能体交互不断扩充。

2. **记忆筛选与评分 **(Memory Filtering & Scoring)：

   • 引入一个专用的 LLM Scorer（评分器）作为“对话调解员”。
   • 针对特定领域（如文学创作、逻辑推理、计划生成）制定评分标准（Rubrics）。
   • 评分机制：LLM 根据标准对每个 PA 对的各个维度给出一个分数范围（如 3-6 分），最终得分计算公式为：$S_{final} = \frac{1}{2} \sum (L_i + H_i)$。
   • 只有得分超过预设阈值的高质量 PA 对才会被加入共享记忆池，确保记忆库的高质量和相关性。

3. **记忆检索与增强 **(Memory Retrieval)：

   • 当智能体接收新查询时，密集检索器（Dense Retriever）从共享记忆池中检索最相关的 PA 对（基于余弦相似度）。
   • 检索到的记忆作为上下文（Context）与原始查询拼接，形成新的 Prompt 输入给智能体，利用 **In-Context Learning **(ICL) 提升回答质量。

4. **检索器的动态训练 **(Retriever Training)：

   • 与传统 RAG 不同，INMS 的检索器是持续更新的。
   • 每当新的 PA 对加入记忆池，检索器会利用新数据进行微调。
   • 训练策略：对于新记忆 $(X, Y)$，利用 BM25 从池中检索候选集，通过 LLM 评估候选项与新记忆输出 $Y$ 的矛盾概率（即 $P(\neg Y | (x_i, y_i), X)$）。
   • 将低分候选项标记为负样本，高分候选项标记为正样本，通过对比学习最小化损失函数，使检索器不断适应新的记忆分布。

5. **交互学习 **(Interactive Learning)：

   • 系统采用迭代策略：智能体基于现有记忆生成新 Prompt，回答后形成新 PA 对，经评分后入库。
   • 这种机制解决了初始记忆稀缺问题，并允许智能体从彼此（甚至不同 LLM 骨干）的经验中学习。

3. 关键贡献 (Key Contributions)

1. 提出 INMS 框架：首创了一种异步交互范式，利用动态生成和共享的对话记忆，通过严格的评分标准实现智能体的集体自我增强和检索器精度的提升。
2. 突破静态数据限制：通过建模连续、交互式的记忆生成，将智能体从依赖静态外部数据库转变为构建动态、自我进化的集体智能，显著减少了对过时外部资源的依赖。
3. 构建新颖数据集：针对开放式任务（诗歌生成、非传统逻辑解谜、计划制定）构建了专用数据集，填补了相关基准测试的空白。
4. 验证了跨模型与跨领域的有效性：实验证明，不同 LLM 骨干生成的记忆可以相互共享并提升性能，且领域特定的记忆池比混合池更有效。

4. 实验结果 (Results)

作者在三个领域（文学创作、非传统逻辑解谜、计划生成）进行了广泛实验，涉及 9 个智能体（使用 Open-Mistral-7B, GPT-3.5-Turbo, GPT-4o 作为骨干）。

• 性能提升：
  • 与不使用共享记忆（k=0）相比，使用共享记忆（k=3）显著提升了所有智能体的性能（BertScore 和 F1 分数均有大幅提高）。
  • 在文学创作（如十四行诗、五言律诗）和逻辑推理（如谜题、双关语）任务中，INMS 表现尤为突出。
• 对比基线：
  • INMS 在 F1 和 LLM Judge (LLM-J) 指标上均优于传统稀疏检索（BM25）、随机检索（Random）以及多种密集检索基线（Contriever, SBERT, TAS-B, SimCSE）。
  • 传统方法受限于静态嵌入，无法适应动态变化的记忆上下文，而 INMS 通过动态训练检索器实现了更好的适应性。
• 消融与特性分析：
  • 领域特定 vs. 混合池：实验表明，领域特定的记忆池（Domain Pool）比将所有记忆混合的集成池（Integrated Pool）效果更好，能提供更可靠的回答。
  • 跨模型共享：不同 LLM 骨干生成的记忆可以相互共享并提升性能，证明了记忆的通用性和迁移能力。
  • 回声室效应缓解：在初始记忆池存在严重偏见（75% 为低质/偏见样本）的情况下，随着高质量交互记忆的持续注入和动态检索器的更新，智能体性能逐渐反弹并接近无偏见场景的水平，证明了系统具有打破偏见循环的鲁棒性。

5. 意义与展望 (Significance)

• 集体智能的演进：INMS 展示了智能体如何从孤立的解决问题者演变为通过持续对话和知识交换驱动的集体智能社会。
• 动态知识构建：为开放式生成任务提供了一种不依赖庞大静态知识库的解决方案，通过交互过程实时构建和精炼知识库。
• 未来方向：虽然目前主要关注文本交互，但该框架为未来扩展到多模态（图像、音频）交互以及更复杂的智能体协作场景奠定了基础。

总结：INMS 通过引入异步交互记忆共享机制，成功解决了 LLM 智能体在开放场景中知识更新滞后和交互孤立的问题，实现了检索质量的动态优化和智能体性能的集体提升，为构建更具适应性和协作性的 AI 系统提供了新的范式。