HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation
HyMem 是一个层级化上下文管理框架，它通过将高层规划与执行轨迹分离，并利用结构化摘要来保持专注度与准确性，从而提升了长程 LLM 智能体的性能，并在 GAIA 和 Browsecomp-plus 基准测试中取得了最先进的结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一位能够阅读、推理并搜索互联网以解决极其困难问题的卓越助手。多年来，科学家们一直致力于利用大语言模型构建这些数字助手，希望它们能够应对复杂的、多步骤的挑战，例如规划一次科学考察，或在网站中导航以寻找特定的历史事实。然而，一个持久的问题一直阻碍着它们：随着助手的工作时间变长以及收集的信息增多，它们的“记忆”会变成一片混乱的废墟。助手会淹没在自身行为的细节中——每一次搜索结果的原始文本、每一次失败的尝试以及每一个中间过程的思考——直到它忘记了自己原本想要达成的目标。这就像一位图书管理员，在试图寻找一本书时，却被自己翻阅过的每一页纸张堆成的山峦所掩埋，最终失去了对目标书名的追踪。
中国科学院自动化研究所的研究人员提出了一种新的组织这种数字记忆的方法来解决这个问题。他们将该系统称为 HyMem，这是一种旨在通过严格分离不同类型信息来保持长期任务不偏离轨道的方案。HyMem 并没有让所有数据在长长的列表中混合在一起，而是构建了一个结构：高层规划发生在一个整洁、安静的房间里，而搜索和测试等嘈ksi、杂乱的工作则发生在独立的、隔离的空间中。这种方法使助手能够专注于宏观全局，而不被其日常操作的琐碎细节所分心。
这项工作的核心理念在于并非所有信息都是平等的。当一个智能体执行一项长期任务时，它会产生两种截然不同的数据。一种是战略计划：目标、经过验证的事实以及完成工作所需的步骤。另一种是执行轨迹：使用工具、浏览网页或检查细节时产生的原始、通常具有重复性且有时会失败的尝试。在旧系统中，这两类信息被混合在单一的流中。随着任务的进行，海量的、杂乱的执行轨迹会压倒稀疏且关键的规划信号。助手会迷失方向，无法将重要的目标与自身历史中的噪声区分开来。
为了解决这一问题，研究人员设计了一个充当信息“严厉门卫”的框架。他们创建了一个持有主要策略的“规划器”（Planner）层，以及一个处理实际工具使用工作的独立“执行器”（Executor）层。当规划器需要核实事实或运行搜索时，它会向执行器发送一条特定的指令。执行器负责去执行工作并收集所有原始数据，但它不会将这些原始数据直接倒回规划器的主要记忆中。相反，执行器会对信息进行处理，过滤掉噪声，并仅返回一份干净、结构化的摘要。随后，这个摘要会被添加到规划器的记忆中，而杂乱的细节则会被丢弃。
该系统还包含一个专门用于处理特别棘手的子问题的“隔离推理”（Isolated Reasoning）模块。如果一项任务需要深度思考或核实相互矛盾的证据，规划器会将该特定问题发送到这个隔离模块。该模块会在其内部独立地处理问题，将其自身的内部思考和中间步骤隐藏起来。一旦该模块得出结论，它只会发送答案和关键证据，从而让主规划器的记忆免于陷入漫长且曲折的推导路径。这确保了主决策者永远不会被其委托的子任务的复杂性所拖累。
为了让系统在长时间内顺畅运行，HyMem 还使用了一个结构化记忆系统，其作用类似于一个文件柜。它将过去的事件、当前的目标以及关于如何使用工具的经验教训整理成整齐、紧凑的摘要。当系统需要回忆其所做过的事情时，它会查阅这些有组织的档案，而不是试图回忆过去的每一个细节。这使得助手即使在工作数小时后，也能保持清晰的进度感和连续性，而不会让其记忆变得过于庞大而难以管理。
研究人员在两组具有挑战性的任务上测试了这种新方法：一组涉及通用的推理和工具使用，另一组则侧重于需要跨互联网寻找特定事实的深度研究问题。他们将该系统与几种其他方法进行了对比，其中包括那些仅仅试图将整个对话历史压缩成一段简短摘要的旧方法。结果显示，通过保持规划与执行的分离，HyMem 系统取得了显著的成功。在通用推理任务中，它的正确解题率约为 66.7%；而在深度研究任务中，它的正确率达到了 61.3%。这些数字明显高于表现最好的替代方法，后者在任务变得更长、更复杂时往往难以保持专注。
研究还观察了系统为得出这些答案所需要处理的信息量。研究人员发现，HyMem 系统并不是通过使用更多的计算能力或阅读更多的文本来解决问题的。相反，它通过仅将注意力转向真正重要的信息，从而更高效地解决了问题。主规划记忆的增长非常缓慢，始终聚焦于目标，而隔离空间则处理了大量的探索与分析工作。这表明，解决长期、困难问题的关键不在于拥有更大的记忆，而在于拥有一种更聪明的组织方式。
尽管研究结果令人鼓舞，但研究人员指出，该系统依赖于底层人工智能是否能够遵循严格的指令并生成组织良好的摘要。如果模型无法遵循这些规则，系统的优势可能无法体现。然而，对于需要持续关注并在复杂信息中进行导航的任务，这种层级化方法提供了一条清晰的前行之路。通过将信号与噪声分离，HyMem 使数字智能体即使在处理极其复杂的工作时，也能保持清晰的思考。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。