MemHRL: Aligning Hierarchical Memory and Policy Learning for Long-Horizon LLM Agents
MemHRL 提出了一种用于长程 LLM 智能体的层级化记忆与策略对齐框架，该框架采用层级感知检索和失效感知整合技术，但在受限的 ScienceWorld 和 WebShop 子集上的评估显示，其性能提升有限，并凸显了在受限提议下紧凑型策略-记忆机制所面临的挑战。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，存在着一个被称为“长程（long-horizon）”的持久性挑战。想象一下，要求一台计算机完成一项复杂的、多步骤的任务，例如在虚拟房屋中寻找特定的食材，或者浏览一个庞大的在线商店，以购买一件符合十几个特定标准的礼物。为了成功，系统不仅要决定下一步做什么，还要记住它从之前的尝试中学习到了什么。它需要区分一个转瞬即逝的细节（如门的颜色）和一个至关重要的教训（如某条路径会导致死胡同）。目前的系统往往难以平衡这一点：它们要么在几步之后就忘记了重要的教训，要么被过多的信息所淹没，导致重复错误或迷失方向。研究人员提出的问题是，如果给这些数字智能体一种结构化的方式来组织它们的记忆——将宏观策略与具体动作区分开来——是否能帮助它们解决这些漫长且困难的谜题。
一个研究团队着手测试一个特定的想法：如果智能体能够根据其决策的层级，明确地匹配其记忆，会发生什么？他们构建了一个名为 MemHRL 的系统，全称为“记忆分层强化学习（Memory Hierarchical Reinforcement Learning）”。其核心概念简单而精确。该系统在两个层级上运行：在高层，智能体规划任务的宏观阶段，如“寻找物体”或“准备物品”；在低层，它执行完成该阶段所需的具体动作，如“打开抽屉”或“点击按钮”。研究人员假设，如果智能体能将失败的高层阶段摘要存储在一个地方，并将详细的低层动作记录存储在另一个地方，它就能在正确的时间检索到正确类型的信息。为了测试这一点，他们使用了一个冻结的语言模型——一个在实验过程中不会学习新知识的预训练“大脑”——并附加了两个可训练的小型选择器。这些选择器充当守门员，根据智能体当前是在规划宏观阶段还是在执行微观动作，来决定从共享库中提取哪些过去的经验。
研究人员在两个不同的环境中测试了这个系统：一个是科学模拟环境，智能体必须执行诸如煮沸水或冻结物体之类的实验；另一个是虚拟购物任务，智能体必须从一个拥有近 5 万种产品的目录中找到并购买特定商品。他们在每个环境中运行了 100 个不同的任务，并给予智能体有限的尝试次数。结果令人深思。在科学模拟中，使用这种新记忆系统的智能体未能完成 100 个任务中的任何一个，其表现并不比没有进行记忆对齐的系统好。在购物任务中，智能体完成了 12% 的任务。虽然这听起来像是一种成功，但实际上略逊于一个使用了层级结构但缺乏复杂记忆对齐的更简单系统，后者的成功率为 13%。
研究深入探讨了为什么该记忆系统没有带来预期的提升。研究人员发现，该系统检索到的信息是实用信息与无用信息的混合物。尽管系统旨在获取与当前决策层级相匹配的记忆，但检索到的记录中仍有近 76% 对当前任务没有积极价值。有时，系统会调取关于另一种产品或一次无关失败尝试的记忆，而这些与当前情况无关。这表明，仅仅将记忆组织成不同的层级是不够的；系统还需要一种方法来判断特定的记忆是否确实与当前问题相关。事实上，当研究人员在购物任务中完全移除长期记忆时，智能体的成功率反而上升到了 15.7%。这一反直觉的结果表明，目前的记忆系统设计可能会引入噪声，从而干扰智能体而非帮助它。
研究人员得出结论，虽然将记忆与决策层级对齐的想法很有前景，但目前的实现方式存在局限性。该系统在任务涉及反复执行相同程序时效果最好，因为此时智能体可以从过去的摘要中学习。然而，当任务需要适应新的、独特的细节时（例如寻找具有独特价格或属性的特定物品），僵化的记忆结构就会成为阻碍。这项研究并未找到解决长期规划的通用方案。相反，它提供了一张清晰的地图，标明了该方法在何处成功以及在何处失败，表明增加记忆并不一定会让智能体变得更聪明。数据表明，为了改进这些系统，未来的设计必须专注于过滤掉无关的记忆，并确保智能体仅在过去的经验真正契合当前情况时才使用它们。这项工作是一次细致、受控的实验，阐明了结构化记忆在当今人工智能领域的边界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。