🤖 machine learning

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist 是一个通过构建双向行为图并进行图对齐与差异分析，从而检测智能体声明技能与实现技能之间不一致性的新颖框架，该框架在一个新构建的包含 633 种技能的基准测试上实现了最先进的性能。

原作者： Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你的电脑不再仅仅是听从指令，而是像一个得力的助手，一个数字管家，它能浏览网页、管理文件，甚至为你预订假期。为了实现这一点，它使用了“技能（Agent Skills）”——即预设的工具或配方，告诉计算机如何执行特定任务。你可以把这些技能想象成食谱中的说明：“声明（declaration）”就像菜单上美味可口的“香辣塔可”描述，承诺了这道菜；而“实现（implementation）”则是厨房里实际进行的烹饪过程。

问题在于，如果菜单撒了谎怎么办。也许厨师（代码）不小心加入了一种会让塔可变有毒的秘密成分，或者尽管菜单承诺了有莎拉酱，但他们却忘了加。在数字世界中，这种不匹配是危险的。如果计算机代理根据一个虚假的承诺选择了某项技能，它可能会意外删除你的文件、泄露你的隐私数据，或者被黑客误导。科学家们正试图构建一个“美食评论家”，能够品尝菜肴并将其与菜单进行对比，以便在代理端上菜之前捕捉到这些谎言。这就是验证一项技能“所言”是否与“所做”相符的挑战。

于是有了 SkillConsist，一个旨在解决这一谜团的新型数字侦探。这项工具背后的研究人员意识到，以往的方法就像是在试图将一段只有一句话的菜单描述与一本长达50页的食谱进行对比，却缺乏清晰的匹配方式。菜单可能说“制作塔可”，而厨房的工作则涉及切洋葱、烤肉、热饼皮和调制莎拉酱。简单的逐字检查将会失败，因为“制作塔可”是一个宏大的概念，而厨房的工作则是许多细小步骤组成的链条。

SkillConsist 通过扮演一位超级组织有序的图书管理员来解决这个问题，它构建了两张独立的地图：一张用于菜单承诺，另一张用于厨房动作。首先，它利用智能 AI 梳理杂乱无章的文本和代码，将“我们承诺什么”与“我们实际做什么”区分开来。然后，它将这些内容绘制成图（graphs）——你可以把它们想象成流程图，其中的每一步都是一个节点，每条连接都是一条线。

奇迹发生在下一步：双向图对齐（Bidirectional Graph Alignment）。想象一下，尝试将菜单地图上的一个巨大的“制作塔可”气泡，与厨房地图上的一整簇相连的气泡进行匹配。SkillConsist 不仅仅寻找单一的匹配，它会向外扩展，沿着厨房地图中的线条，观察是否可以将一组步骤（切碎、烧烤、混合）捆绑在一起，从而完美地解释那单个的菜单承诺。它进行双向检查，确认每一个厨房步骤都有对应的菜单承诺，并且每一个菜单承诺都有对应的厨房计划。

一旦地图对齐，侦探就会寻找不一致之处。它会标记三种类型的麻烦：

冲突（Conflicts）： 菜单说“香辣”，但厨房代码却加入了“甜味”。
未实现（Unimplemented）： 菜单承诺有“莎拉酱”，但厨房里完全没有莎拉酱的原料。
未声明（Undeclared）： 厨房正在偷偷往混合物里添加“毒药”，但菜单从未提及。

研究人员在包含 633 个真实世界代理技能（包括一些已知具有误导性或恶意性的技能）的大规模基准测试中测试了 SkillConsist。结果令人印象深刻：该工具正确识别不一致技能的准确率达到了 87.93%（这是一个被称为 F1 的得分），这比之前的最佳方法提高了超过 20 个百分点。它还能在约 62% 的情况下精准定位谎言在代码中的具体位置。

或许最重要的一点是，论文表明这不仅仅是在修复拼写错误，这关乎安全。当研究人员使用 SkillConsist 来筛选恶意技能时，它有助于在无需先在风险环境中运行的情况下，捕捉到更多危险工具。通过捕捉承诺与现实之间的不匹配，SkillConsist 为我们提供了一种让我们更加信任数字助手的方法，确保当计算机说它正在制作塔可时，它提供的不是某种危险的东西。

技术摘要：SkillConsist

问题陈述

智能体技能（Agent Skills）为大语言模型（LLM）智能体提供可重用的工作流，其由声明（声明该技能声称执行的操作）和实现（实际执行的操作）定义。这两者之间的不一致性——例如已声明但未实现的行为、已实现但未声明的行为，或冲突的行为——可能导致错误的技能选择或调用危险且超出范围的操作。

现有的检测方法在这一领域面临两个主要挑战：

混合内容： 声明与实现的行为往往交织在自然语言指令和代码片段中，难以区分哪些是声明（Claim）而哪些是执行步骤（Execution Step）。
粒度不匹配： 一个简洁的声明可能对应多个相互关联的实现步骤，而一个已实现的行为可能分布在多个分散的声明中。

目前的处理方法通常依赖于比较预定义的安全分类学，或使用 LLM 将元数据与代码进行匹配，这些方法难以有效处理上述混合角色和变化的粒度问题。

方法论：SkillConsist

SkillConsist 通过一个三阶段流水线来解决这些挑战：角色分离与行为记录提取、行为图构建，以及双向图对齐与差异分析。

1. 角色分离与行为记录提取

系统首先通过解构混合内容来识别语义角色。

基于 LLM 的分离： 使用 LLM（DeepSeek-V4 Pro）处理程序包片段，将声明和实现的事实分离为结构化的行为记录 $K = \langle C, O, R, E \rangle$ ，其中 $C$ 是条件， $O$ 是受影响对象， $R$ 是影响结果， $E$ 是来源位置。
静态分析： 程序分析作为补充，从源代码、配置和受控执行中提取实现细节（例如：公共入口、输入、输出及副作用）。
输出： 两个合并后的、带有源码链接的集合：声明记录 $D(S)$ 和实现记录 $M(S)$ 。

2. 行为图构建

为了处理粒度差异，记录被组织成两个独立的有向图：声明图 ( $G_D$ ) 和 实现图 ( $G_M$ )。

节点： 包括记录节点、对象节点、公共入口节点和证据节点。
边：六种类型的关系连接节点，包括入口到记录、记录到对象、证据到记录，以及记录间的依赖关系（结果到输入、结果到条件、条件到条件）。
行为组： 在每个图中，共同表达单个行为的连通子图被识别为行为组 ( $B_X(S)$ )。这些组作为比较的基本单元。

3. 双向图对齐与差异分析

此阶段通过在两个图中进行搜索（ $D \to M$ 和 $M \to D$ ）来对齐行为组以检测不一致性，从而处理粒度不匹配问题。

锚点与扩展： 从源行为组中的一个锚点记录开始，系统在目标图中搜索候选子图。它沿着行为关系扩展这些候选对象，直到它们可能覆盖源行为。
子图补全： 候选对象需通过四个完备性谓词进行验证：条件（Condition）、输入（Input）、结果（Result）和路径（Path）。只有当候选对象满足绑定约束（兼容的所有者、入口、作用域）并提供所有必需的字段和路径时，才会被视为对齐。
证明与差异化：
- 支持（Supported）： 证据证实所有条件和影响均匹配。
- 矛盾（Contradicted）： 证据显示存在不兼容的字段（例如不同的默认值）。
- 不适用（Not-Applicable）： 不存在义务。
- 未知（Unknown）： 证据不完整。
覆盖率检查： 如果未找到对齐的候选对象，系统会生成覆盖证书以验证搜索空间是否详尽。这可以防止在“缺失”行为上的误报。
不一致性输出：
- 冲突（Conflict）： 要求的声明对应的实现存在矛盾。
- 未实现（Unimplemented）： 要求的声明没有对应的实现。
- 未声明（Undeclared）： 在作用域内的实现没有对应的声明。

核心贡献

双向图对齐公式化： 本文将程序包级别的一致性公式化为一个双向图对齐问题，允许其中一侧的行为对应另一侧的多个连接记录，从而缓解了固有的粒度差异。
SkillConsist 系统： 一种新型系统，能够从混合内容中提取行为，构建独立的声明图和实现图，并通过基于关系的子图搜索、差异分析和覆盖率检查来定位不一致性。
基准测试构建： 创建了一个经过人工审核的 633 个智能体技能 基准测试（来自 ClawHub 和 Skill-Inject），包含 319 个不一致程序包和 314 个一致程序包，并附带 442 个局部化不一致性标注。

实验结果

系统在 633 个技能的基准测试上针对四种基线模型（LLM, LLM+RAG, 改编版 C4RLLaMA, 改编版 SKILLSCOPE）进行了评估。

程序包级检测： SkillConsist 实现了 86.85% 的精确率、89.03% 的召回率和 87.93% 的 F1 值。相比表现最好的基线模型，其 F1 值提升了 20.43 个百分点。
不一致性定位： SkillConsist 实现了 67.60% 的精确率、58.14% 的召回率和 62.52% 的 F1 值。
消融实验： 去除角色分离或子图扩展功能会导致性能显著下降，证实了它们对于恢复有效对应关系的必要性。去除覆盖率检查虽然提高了召回率，但由于误报增加导致精确率大幅下降。
恶意技能筛选： 当应用于 133 个 Skill-Inject 程序包时，不一致性风险信号使恶意技能检测的召结合（高风险门槛）提升了 11.90%（中/高风险门槛）提升了 26.19%，且仅需极少的冗余动态验证。

重要性与主张

论文声称 SkillConsist 通过超越简单的文本-代码比较，转向一种结构化的、基于图的方法，从而实现了对 Agent Skill 内容中混合性质和粒度差距的显式处理，推动了该领域的进步。

通过分离角色并使用双向对齐，SkillConsist 提供了具有源码定位能力的发现结果，而非仅仅是程序包级别的标记。作者断言，这种能力对于安全性至关重要，因为它允许检测未声明的危险行为（例如：一个声称同步电子邮件的 Skill 实际上正在将文件转发到外部端点），并提高了智能体工作流的可靠性。结果表明，双向图对齐是一种鲁棒的方法，能够建立复杂、混合媒体软件制品中的对应关系，在检测和定位任务中均优于检索增强生成（RAG）和静态安全属性匹配。