💬 NLP

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

该论文提出了SKILLGRAPH，这是一个将技能表示为动态有向图中节点的框架，旨在使大语言模型智能体能够检索有序的技能子图以完成组合式任务，从而同时提升库维护效率与强化学习的最先进性能。

原作者： Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 SKILLGRAPH 论文的通俗解释，辅以日常类比。

核心难题：“扁平列表”与“食谱书”的对比

想象一下，你正在教一个机器人管家如何烹饪一顿复杂的饭菜。

旧方法（扁平库）： 你给机器人一份包含 1,000 条提示的巨型扁平列表。它通过搜索关键词来查找信息。如果你让它“做个三明治”，它可能会找到“拿面包”、“拿奶酪”和“用刀”等提示。但这份列表并没有告诉机器人哪个提示该先执行，或者在拿到面包之前不能把奶酪放在面包上。机器人因此感到困惑，按错误的顺序尝试操作，最终失败。
本文的解决方案（SKILLGRAPH）： 机器人不再依赖扁平列表，而是维护一张结构化地图（即图）。在这张地图中，“拿面包”通过一个箭头连接到“放奶酪”，箭头上的说明是“在此之后执行”。它知道“用刀”有助于“切奶酪”，并且“打开冰箱”是“拿奶酪”的先决条件。

SKILLGRAPH 的工作原理：三步循环

本文提出了一种系统，其中机器人的“大脑”（策略）与其“技能地图”（图）在闭环中共同成长、相互改进。这就像一名学生在玩电子游戏的同时，也在同步撰写该游戏的策略指南。

1. 构建地图（图构建）

机器人尝试解决任务。有时它获胜，有时它失败。

教师： 一位智能的“教师 AI"会观察这些尝试。
提炼技能： 教师将成功的尝试转化为简短、可复用的“技能”（例如“检查微波炉”）。它将失败转化为关于不该做什么的教训。
绘制箭头： 教师不仅仅是写下技能，它还在技能之间绘制箭头。它会注明：“你必须先拿起物体，然后才能加热它。”它创建了一个连接网络，展示了哪些技能依赖于其他技能。

2. 读取地图（感知图的检索）

当机器人面临新任务时，它不再仅仅搜索关键词，而是穿越这张地图。

种子选择： 它找到起点（例如“我需要加热某物”）。
前后遍历： 它向后查看此步骤之前需要哪些步骤（例如“我需要先找到物体”），并向前查看之后会发生什么（例如“然后我需要将其放置好”）。
有序列表： 它提取出一份完美排序的步骤列表，从简单到复杂，确保机器人绝不会在第一步完成之前就尝试第五步。

3. 更新地图（图演化）

这是神奇的部分。地图并非静止不变；它会随着机器人的学习而改变。

修正错误： 如果某项技能持续失败（例如“打开冰箱”，但机器人总是撞到墙上），系统会将其标记为“已弃用”（即废弃）。
添加新技能： 如果机器人因为不知道如何“检查温度”而失败，教师会为此发明一项新技能并将其添加到地图中。
合并与拆分： 如果两项技能基本相同，系统会将它们合并。如果某项技能过于模糊，系统会将其拆分为两个更清晰的技能。
强化路径： 如果地图上的某条特定路径导致了胜利，系统会将该路径变“粗”（增强），以便机器人下次更有可能使用它。

“升级”系统（渐进式解锁）

想象一款电子游戏，在你掌握基本剑术之前，无法挑战最终 Boss。

SKILLGRAPH 将技能组织成等级。
0 级： 基础技能（例如“向前移动”）。
1 级： 中级技能（例如“拿起物体”）。
2 级： 复杂技能（例如“烹饪一顿饭”）。
在机器人证明其擅长 1 级技能之前，它被锁定，无法使用 2 级技能。这防止了机器人在尚未理解基础之前，就被复杂的指令压垮。

结果展示

研究人员在三种类型的挑战上测试了该系统：

ALFWorld： 一个基于文本的房屋环境，机器人需要在此清洁、烹饪和整理。
WebShop： 一个模拟的在线商店，机器人需要搜索并购买特定商品。
Search QA： 回答需要多步查找信息的棘手问题。

结果：

SKILLGRAPH 击败了几乎所有其他方法，包括非常聪明的“闭源”模型（如 GPT-4o）和其他基于记忆的系统。
它在复杂任务上表现尤为出色，这些任务需要将许多步骤串联起来。
它学习得更快，犯错更少，因为它不必每次都“重新发明轮子”；它只需遵循更新后的地图即可。

一句话总结

SKILLGRAPH 是一个系统，它不再将 AI 的经验视为一堆杂乱的笔记，而是将经验组织成一张鲜活、呼吸着的技能地图。随着 AI 变得更强，这张地图也会变得更聪明：它会添加新路径、移除死胡同，并教导 AI 确切地该采取哪些步骤以及按什么顺序执行。这之间的区别，就像是给学生一堆随机闪示卡片， versus 给他们一本随着他们学习而自动更新的组织良好的教科书。

技术摘要：SKILLGRAPH

问题陈述

大语言模型（LLM）智能体已在网页导航和具身操作等复杂交互任务中展现出能力。然而，当前的智能体通常将任务视为孤立的片段，即使遇到结构相似的问题，也无法从过去的成功或失败中学习。虽然现有方法利用技能库来存储可重用的知识单元，但这些库通常作为扁平集合运作，技能作为独立条目存储，仅基于语义相似性进行检索。

这种扁平化组织为组合式任务带来了两个关键局限：

非组合式检索：复杂任务通常需要具有特定依赖关系的有序技能序列（例如，在放置物体之前先加热它）。扁平检索器可以识别相关技能，但无法指示其执行顺序或先决条件关系。
非结构化维护：由于缺乏明确的结构线索，扁平库缺乏确定何时应合并、拆分或移除技能的机制，使得难以管理冗余或随着智能体策略的提升而演进库。

方法论：SKILLGRAPH

作者提出了SKILLGRAPH，这是一个将可重用技能组织为结构化有向依赖图，并通过强化学习（RL）使该图与智能体策略协同演进的框架。该框架在一个包含三个主要阶段的闭环中运行：

1. 图构建

系统利用教师语言模型从智能体轨迹（包括成功和失败的轨迹）中提取技能。

节点：代表被分类为通用（领域无关策略）或特定任务的技能。每个节点跟踪使用次数和实证成功率。
边：类型化的边显式建模技能间的关系：
- 先决条件（ $A \to B$ ）：技能 $A$ 必须在 $B$ 之前应用。
- 增强（ $A \to B$ ）：通用技能提高了特定任务技能的有效性。
- 共现（ $A \leftrightarrow B$ ）：在成功片段中频繁共同出现的技能。
层级：节点根据依赖层级分配拓扑层级（无先决条件的基础技能为 0 级）。

2. 图感知检索

系统检索的不是孤立技能的集合，而是依赖有序的子图，以指导多步决策。

种子选择：从当前“解锁”的活动集中识别与任务相关的入口点（通用技能和匹配任务的技能）。
图扩展：
- 向后扩展：遍历传入的先决条件边以恢复基础技能。
- 向前扩展：使用束搜索探索传出边，优先选择边权重高的路径。
拓扑排序：检索到的节点按拓扑排序，生成反映子任务逻辑流（从简单到复杂）的连贯技能序列。

3. 图演进

技能图在训练过程中根据轨迹级反馈动态更新，确保库能适应智能体日益增长的能力。

节点级适应：
- 插入：生成新技能以解决轨迹中识别的特定失败模式。
- 合并：结合具有高度邻域重叠的冗余技能。
- 拆分：分解那些虽然使用率高但成功率中等的过于宽泛的技能。
- 弃用：移除那些频繁被检索但持续失败的技能。
边级适应：
- 强化：增加在成功轨迹中遍历的边的权重。
- 发现：当技能在成功中共同出现时，添加新的共现边。
- 衰减与剪枝：对边权重应用乘法衰减，并移除弱边以防止过时关系。
渐进解锁：实施一种课程学习，只有当当前基础层级的平均成功率超过阈值时，更高层级的技能才会被激活。

策略优化

智能体策略使用GRPO（组相对策略优化）进行优化。策略以任务描述和检索到的有序技能序列为条件。系统最小化一个带截断的代理目标，并附加一个以通过监督微调（SFT）初始化的参考策略为锚点的 KL 惩罚。

主要贡献

图结构化技能表述：本文提出了一种新颖的表述，其中技能通过显式的先决条件、增强和共现关系连接，超越了扁平的语义检索。
SKILLGRAPH 框架：一个闭环系统，支持在 RL 训练期间进行依赖感知的技能检索和结构化技能更新（插入、合并、拆分）。
实证验证：广泛的实验表明，与扁平的内存增强 RL 方法相比，结构化技能图提高了复杂多步任务的样本效率和性能。

实验结果

该框架在ALFWorld（具身操作）、WebShop（网页导航）以及七个搜索增强型问答基准上进行了评估。

ALFWorld 与 WebShop：SKILLGRAPH 取得了最先进的性能，显著优于闭源大语言模型（如 GPT-4o、Gemini-2.5-Pro）以及基于提示/内存增强的基线方法。值得注意的是，它在 WebShop 上比最强的先前方法 SkillRL 高出 11.7 分。增益在需要严格排序的子任务中最为显著（例如 ALFWorld 中的“清洁”和“加热”）。
搜索增强型问答：在 NQ 和 HotpotQA 上训练后，SKILLGRAPH 零样本泛化到五个未见过的数据集（TriviaQA、PopQA、2Wiki、MuSiQue、Bamboogle），在所有基线中实现了最高的平均性能（48.9）。
消融研究：移除图感知检索导致 ALFWorld 上的性能下降最大（-31.2%），证实了有序技能序列的必要性。移除图演进对 WebShop 的影响最大（-14.1%），突显了动态优化技能集的价值。
效率：与扁平检索相比，图引导的检索保持了更短的提示长度，提高了推理成本和信噪比。

意义与主张

本文声称，SKILLGRAPH 通过依赖感知的检索实现组合式规划，并通过结构化更新实现原则性演进，从而解决了扁平技能库的核心局限。作者断言，显式建模技能间关系使智能体能够：

将组合知识从简单任务迁移到更复杂的任务。
通过提供结构化指导减少冗余探索。
在相互强化的循环中持续优化技能库和智能体策略。

这项工作将自己定位为迈向能够从经验中积累结构化知识的智能体的重要一步，从而提高在家庭辅助和信息检索等领域的样本效率和可靠性。作者承认了依赖强大教师模型进行图操作以及目前局限于单环境训练的局限性，并建议跨环境迁移和轻量级自蒸馏作为未来的方向。