💻 computer science

HyperSkill: Self-Evolving LLM Agents via Hypergraph-Structured Skill Memory

HyperSkill 是一个新颖的框架，它通过将经验记忆表示为子任务和可重用技能的超图，来增强大语言模型智能体在复杂任务上的性能，从而实现更有效的存储、关系检索和自我演进式维护，其表现显著优于现有基准。

原作者： Ruiyao Xu, Tiankai Yang, Wei-Chieh Huang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruiyao Xu, Tiankai Yang, Wei-Chieh Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个旨在模仿人类助手、能够浏览互联网、使用工具并解决复杂多步问题的计算机程序。这些被称为 AI 智能体（AI agents）的程序不仅仅是回答问题；它们会采取行动、观察结果，并在失败时尝试重来。为了让这些智能体随着时间的推移变得更好，它们需要一种记住过去所做之事的方法。正如人类会从过去的错误或成功的策略中学习一样，智能体也需要存储其经验，以便日后重复使用。挑战在于如何组织这种记忆。如果智能体只是简单地保存它所采取过的每一次行动的长列表，信息就会变成一堆杂乱无章的噪声。如果它只保存最终答案，它就会丢失使解决方案奏效的逐步逻辑。构建一个真正具有自我进化能力的智能体的关键，在于找到一种方法，不仅能存储事件的原始数据，还能存储所采取的小步骤与解决这些步骤所使用的技能之间的关系。

研究人员一直试图通过创建不同的智能体记忆系统来解决这个问题。一些系统保存过去交互的完整故事，而另一些系统则试图将这些故事浓缩成简短的摘要或“技能”列表。然而，这些现有方法通常将每件信息视为孤立的项目。它们可能记得某个特定任务被解决了，但却无法捕捉到该任务的小步骤是如何与使其成为可能的、可重用的技能连接起来的。它们还难以高效地更新记忆，往往只是添加新信息，而不去检查旧信息是否已经变得无用，或者两个相似的技能是否实际上是同一种东西。这种局限性阻碍了智能体的真正进化，因为它们无法轻易看到将不同任务联系在一起的模式。

为了解决这些差距，一个研究小组开发了一个名为 HYPERSKILL 的新框架。HYPERSIDELL 不再将记忆存储为扁平的列表或简单的连接链，而是将智能体的经验组织成一个复杂的网络，其中单个记忆单元同时链接多个相关的部分。可以将记忆想象成不是一个单一的文件，而是一张合影，它捕捉了一段特定的旅程、沿途采取的具体步骤，以及用来到达那里的特定工具或策略，所有这些都作为一个整体打包在一起。当智能体面临新问题时，它不仅仅是搜索一个相似的过去故事。相反，它会将新问题分解成更小的部分，并寻找那些与这些相同部分共享相同部分的过去旅程，无论整体故事在表面上看起来是否不同。

该系统通过创建两种类型的记忆节点来运作：一种用于任务的具体步骤，另一种用于可以应用于许多不同任务的可重用技能。这些节点通过代表智能体所经历的一次完整旅程的特殊链接连接在一起。当新任务到来时，智能体使用双路径搜索来寻找最有帮助的过去经验。首先，它寻找与当前任务具有相同小步骤的过去旅程。其次，它寻找与任务整体描述相匹配的旅程。通过结合这两项搜索，该系统可以找到简单搜索会错过的相关经验。一旦找到了这些过去的旅程，它会根据这些技能在成功结果中共同出现的频率对其进行排名。这使得智能体能够优先考虑最可靠的策略，而不是仅仅基于词汇听起来有多相似来进行猜测。

随着智能体不断工作并积累更多经验，该系统会自动优化其记忆以保持其有用性。它会定期检查存储的信息，以移除已被证明无效或不再需要的技能或步骤。它还会寻找本质上相同的技能，并将它们合并为一个单一且更强大的条目。这个过程确保了记忆保持紧凑且高质量，防止智能体被冗余或低价值的信息所淹没。研究人员在涉及复杂网络导航、多步推理和工具使用的三个不同基准测试上测试了这个系统。他们使用两种不同的大型语言模型将 HYPERSKILL 与其他十个记忆系统进行了对比。结果显示，这个新框架始终优于其他系统，在困难任务上实现了更高的成功率。例如，在某项特定测试中，与完全没有记忆相比，它将成功率提高了超过十一个百分点，而且并没有显著增加计算能力或时间成本。

这项研究表明，记忆的结构方式与记忆本身一样重要。通过保留任务、步骤和技能之间的关系，并允许系统进化自身的知识库，HYPERSKILL 使智能体能够更有效地从其历史中学习。研究人员发现，如果只是增加更多记忆而没有聪明的组织和清理方式，实际上可能会损害性能，导致混乱和错误。他们的方法结合了结构化的连接网络与严谨的修剪和合并过程，为能够实现真正随经验增长而变得更加胜任的自主系统提供了一条路径。虽然该系统目前依赖智能体来分解任务并提取教训，这增加了其运行的微小成本，但其在准确性和效率方面的提升表明，这种组织知识的方法是自主系统迈出的重要一步。

技术摘要：HYPERSKILL

问题陈述

随着大语言模型（LLM）智能体处理日益复杂的长程任务（如网页导航、科学推理），它们越来越依赖于经验性记忆（experiential memory），将过去的轨迹转化为可重用的知识。然而，现有的记忆系统存在三个根本性的局限性，阻碍了其自我进化：

存储什么： 当前的系统要么存储原始轨迹（含有噪声），要么存储抽象的工作流（丢失了过程细节），或者提取孤立的技能（丢弃了组合关系）。它们无法保留单个轨迹中子任务、可重用技能与结果之间的n元关联（n-ary associations）。
如何构建与检索： 大多数方法使用扁平的向量库或简单的二元图（pairwise graphs）。这些结构仅依赖语义嵌入相似度，无法捕捉关系信号（relational signals），例如在多个成功的轨迹中，特定技能与一组子任务共同出现的现象。
记忆如何进化： 现有的系统通常无条件地累积知识，或仅应用轻量级的、孤立的操作（如简单的去重）。它们缺乏能够综合考虑节点质量与图拓扑结构来剪枝低效知识或合并冗余技能的机制。

方法论：HYPERSKILL

作者提出了 HYPERSKILL，这是一个将经验性知识建模为超图（hypergraph） $G = (V, E)$ 的记忆框架，旨在共同解决存储、检索和进化问题。

1. 记忆架构

记忆被构建为一个包含两种节点类型并通过超边连接它们的超图：

节点 ( $V = V_u \cup V_s$ )：
- 子任务节点 ( $V_u$ )： 代表任务分解中的离散步骤，编码前置条件和步骤描述。
- 技能节点 ( $V_s$ )： 代表通过基于结果条件的提示词提取出的可重用执行策略（正面或错误模式）。每个节点携带一个根据成功率和步骤效率动态更新的效用得分 ( $\gamma$ )。
超边 ( $E$ )： 每条超边对应于单个轨迹 $\tau$ 。它连接了该轨迹中涉及的特定子任务节点集和技能节点集，并附带提炼出的教训（lesson）和原始任务描述。与二元边不同，超边保留了回合（episode）的完整组合上下文。

2. 双路径检索

为了检索相关上下文，HYPERSKILL 采用了双路径策略，同时查询子任务层级和轨迹层级：

子任务路径： 将当前任务分解为子任务。这些子任务与存储的子任务节点进行匹配，以检索具有相同过程结构的候选超边，无论其表面措辞是否存在差异。
轨迹路径： 将完整的任务描述直接与超边嵌入（任务描述与提炼教训的拼接）进行匹配，以检索具有相似高层语义的轨迹。
融合： 来自这两条路径的候选集会被合并。

3. 基于共现的技能排序

HYPERSKILL 不仅仅根据检索到的技能与查询之间的语义相似度进行排序，而是根据其在检索到的超边中的**共现频率（co-occurrence frequency）**进行排序。出现在许多检索轨迹中的技能被认为更有可能具有相关性，这利用了语义相似度本身无法提供的结构化信号。

4. 结构驱动的维护

记忆会经历周期性的精炼，以防止停滞和噪声：

质量驱动的剪枝： 移除那些被频繁检索但始终无法改善结果（低效用得分 $\gamma$ ）的节点。
结构驱动的合并： 识别并合并冗余的技能节点。该过程使用**质量加权传播（quality-weighted propagation）**在超图上计算结构嵌入。具有高结构相似度和高效用值的节点会被整合为更高阶的技能，从而保持图的完整性。

核心贡献

基于超图的表示法： 引入了一种新型记忆结构，能够原生保留子任务、技能与结果之间的 n 元关联，解决了扁平列表和二元图带来的信息丢失问题。
双路径检索机制： 结合了过程子结构匹配（子任务路径）与语义任务匹配（轨迹路径）的检索系统，增强了对相关轨迹的召回能力。
基于共现的排序： 一种选择执行指导的方法，该方法优先考虑基于其在检索轨迹中的结构频率而非仅仅是语义相似度的技能。
联合进化策略： 一种利用图拓扑和节点效用进行维护的协议，用于剪枝和合并知识，确保记忆保持紧凑且高质量。

实验结果

HYPERSKILL 在三个基准测试（xBench、GAIA、WebWalkerQA）上进行了评估，使用了两个骨干模型（GPT-4o 和 Qwen3-30B-A3B）。

性能提升： HYPERSKILL 在所有基准测试中均优于十个代表性的基线方法（包括轨迹级、工作流级和基于图的方法）。
- 在使用 Qwen3-30B-A3B 的 GAIA 测试中，其成功率比“无记忆（No Memory）”基线提升了 4.85%。
- 在使用 Qwen3-30B-A3B 的 WebWalkerQA 中，其成功率提升了 11.18%。
- 使用 GPT-4o 时，它始终保持最高或接近最高的成功率，显著超过了第二名（例如在 GAIA 上领先 +2.30%）。
效率： 不同于某些虽然增加了 Token 使用量和步骤数但并未获得相应收益的基线，HYPERSKILL 以适中的 Token 成本实现了高成功率。例如，在 xBench 使用 GPT-4o 时，它在保持高准确率的同时，步骤数（5.27）在顶尖方法中是最少的。
消融实验： 移除超图结构（退回到扁平检索）或移除子任务或轨迹检索路径中的任一路径，都会导致性能显著下降，这验证了双路径设计和超图设计的必要性。

重要性与主张

论文声称 HYPERSKILL 代表了迈向自我进化智能体的重要一步。通过将轨迹视为一种 n 元关联而非单一的知识单元，该框架使智能体能够随着每次交互变得更加胜任，而不是从零开始。

作者强调，这些改进源于记忆框架本身，而非特定的骨干模型行为，因为这种增益在不同的模型家族中是一致的。此外，结构驱动的维护机制也被强调为至关重要；如果没有它，无条件的知识累积引入的噪声会主动损害智能体的表现。这项工作证明，在复杂的智能体任务中，保留组合结构并利用关系信号（共现）对于有效的程序性知识迁移至关重要。