💬 NLP

CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval

CaSKG 是一个反事实因果框架，它通过离线证据聚合和文本反事实探测来构建并校准有向技能图谱，从而增强可扩展的大语言模型智能体技能检索，与现有方法相比，该框架显著提高了多种基准测试下的任务成功率和效率。

原作者： Zhiyuan Li, Linyuan Gao, Xuechun Ding, Hongwei Chen, Yuan Wu, Yi Chang

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyuan Li, Linyuan Gao, Xuechun Ding, Hongwei Chen, Yuan Wu, Yi Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个能够交谈、推理并在现实世界中行动，就像人类助手一样的计算机程序。这些被称为大语言模型智能体（LLM agents）的程序，正通过将生成文本的能力与访问外部工具和环境的能力相结合，变得越来越擅长解决复杂问题。它们可以学习使用 API、在模拟房间中交互，或遵循科学实验步骤。然而，随着这些智能体积累起庞大的可重用技能库——从烹饪一顿饭到进行化学测试的各种程序——挑战便从仅仅拥有工具转向了如何知道该使用哪些工具。如果智能体试图一次性记住所有可能的动作，它会被噪声淹没；如果它只寻找与当前任务匹配的词汇，它可能会错过一个虽然听起来不相似但逻辑上必不可少的关键步骤。核心问题在于，如何在海量的技能库中检索出正确的动作序列，而不至于迷失在无关细节中，或遗漏隐藏的依赖关系。

吉林大学和蚂蚁集团的研究人员开发了一种名为 CaSKG 的新方法来解决这一检索问题。该团队并没有将技能视为孤立的文本片段，也没有简单地基于它们听起来有多相似来建立连接，而是构建了一个系统，在智能体使用技能之前，先测试这些技能之间连接的可靠性。他们构建了一个有向图，即一个以技能为节点、以箭头表示动作先后顺序的网络。其创新之处在于他们如何决定保留哪些箭头。在发布最终的地图之前，该系统会对潜在的连接进行一系列严格的测试。它要求人工智能想象一些场景：如果某个技能被移除、被替换为另一个技能，或者执行顺序发生错误，会发生什么。通过观察在这些假设情况下任务是如何失败或变得混乱的，系统可以判断一个连接是真实的依赖关系，还是仅仅是巧合。

研究人员在两个不同的基准测试上测试了这种方法：一组涉及寻找和移动物体的家务任务，以及一组需要特定观察和操作序列的科学实验。他们使用六种不同的语言模型进行了这些测试，涵盖了从小型高效模型到大规模强大模型的范围。结果显示，这种新方法始终优于现有方法。在每种模型和任务类型的组合中，CaSKG 都实现了最高的成功率。对于科学任务，所有模型的平均得分从大约 72.6 提升到了 80.5；对于家务任务，成功率从 80.01% 上升到了 86.79%。或许更重要的一点是，使用这种方法的智能体能以更少的步骤达成目标，这表明它们不会因为尝试随机动作或纠正由错误建议导致的错误而浪费时间。

成功的关键在于系统过滤掉弱连接的能力。以往的方法通常依赖于基于技能共同出现频率或描述相似性的图谱。这项研究发现，这些方法往往会误导智能体，导致其遵循无关路径或错过关键的前置条件。通过使用反事实推理——本质上是询问“如果这个步骤没有发生会怎样？”——系统可以校准每个连接的置信度。它保留了那些构成连贯工作流的强有力且必要的链接（例如，在测试电路之前需要接通电源），同时丢弃了那些仅仅看起来相关但关联微弱的联系。这使得智能体能够检索出一个紧凑且可执行的技能包，从而保持操作的逻辑顺序，确保准备、行动、验证和完成等步骤都完整且按正确顺序呈现。

该研究还探讨了这种方法在技能库规模增长时表现如何。当可用技能的数量从几百个增加到两千个时，新方法的优势依然稳定，在某些情况下甚至变得更加显著。这表明，随着智能体积累更多知识，寻找可靠的导航方式变得愈发关键。研究人员发现，当系统能够利用多种证据（如技能的输入和输出要求，或它在工作流中的位置）而非仅仅依靠文本描述时，效果最好。他们还发现，虽然该方法对大多数任务都有显著帮助，但对于答案显而易见的简单直接搜索，其重要性较低，这证实了该系统的价值在于处理复杂的多步程序。

最终，这项工作证明了知识点之间连接的质量与知识本身同样重要。通过将检索过程视为验证因果关系而非仅仅是匹配单词的问题，研究人员创建了一个让智能体能够更有效地访问其记忆的框架。该方法并不改变智能体的行为方式或其可使用的工具；它只是确保在正确的时间提供正确的指令。这种方法为构建能够处理日益复杂任务的智能体提供了一条可扩展的路径，证明了经过良好校准的技能地图比一个庞大且无序的库更有价值。

技术摘要：CaSKG —— 用于可扩展智能体技能检索的反事实-因果技能图

1. 问题陈述

大型语言模型（LLM）智能体越来越多地依赖可重用的技能库，通过将生成能力与外部工具及 API 相结合来执行复杂任务。然而，随着这些程序性记忆的增长，挑战从“智能体是否能使用某个工具”转向了“如何检索正确的技能子集，而不至于使上下文窗口过载”。

现有的检索策略面临着明显的局限性：

全库提示（Full-library prompting）： 虽然保留了召回率，但将选择负担转移给了智能体，引入了无关的备选项并增加了高昂的上下文成本。
向量检索（RAG）： 通过语义相似度减少了上下文大小，但将技能视为独立的文本单元。这无法捕捉程序性依赖关系，即一个技能的效用取决于由另一个技能执行的前置条件、状态变化或验证步骤。
基于图的检索（例如 Graph-of-Skills/GoS）： 试图通过在边上传播相关性来恢复工作流上下文。然而，这些方法通常依赖于由主题相似性、共现性或松散的接口兼容性诱导出的边。如果这些边不可靠（连接了替代项或无序的邻居），相关性传播可能会污染检索到的上下文，引入在操作上不适用的技能。

识别出的核心瓶颈不仅在于构建更大的图，而是在于校准边置信度（calibrating edge confidence）：即决定哪些候选关系值得影响检索，以及它们应该承载多少权重。

2. 方法论：CaSKG 框架

CaSKG（Counterfactual-Causal Skill Graph，反事实-因果技能图）是一个离线框架，它将关联发现与边可靠性评估分离。它在运行时之前构建一个经过状态过滤的加权图，不对下游智能体策略和任务接口做任何改动。该过程包含四个阶段：

2.1 候选技能图归纳

CaSKG 首先从异构证据通道中归纳出一个高召回、稀疏的有向候选图 ( $C$ )：

信号（Signals）： 词汇相似性、语义嵌入、输入/输出（I/O）兼容性、结构化工作流角色以及修复证据。
评分： 计算初始关联得分 ( $A_{ij}$ ) 为活跃信号的加权平均值。一个“结构性底线（structural floor）”确保即使在其他信号较弱的情况下，强有力的工作流证据（例如显式的 I/O 依赖）也能得到保留。
前沿选择（Frontier Selection）： 从中选择一个预算ed的边子集 ( $F \subseteq C$ ) 进行验证，其余部分则作为未经验证的候选。

2.2 反事实边探测

为了区分操作性依赖与单纯的主题关联，CaSKG 对选定的前沿集合 ( $F$ ) 应用方向调节的文本反事实探测（direction-conditioned textual counterfactual probes）。对于假设的边 $s_i \to s_j$ ，LLM 会评估三种场景：

移除（Removal）： 如果移除源技能 $s_i$ ，会发生什么？（衡量必要性）。
替换（Substitution）： 如果将 $s_i$ 替换为一个不相似的技能，会发生什么？（衡量特异性）。
重排序（Reordering）： 如果顺序反转（ $s_j \to s_i$ ），会发生什么？（测量方向性）。

LLM 返回每个探测的支撑得分，指示假设的依赖关系在这些干预下是否成立。

2.3 贝叶斯边校准与发布

探测得分通过 Beta 分布后验 聚合为平滑的可靠性估计。

可靠性得分 ( $c_{ij}$ )： 由 Beta 分布均值导出，总结了有向关系的证据。
状态门控发布（State-Gated Publication）： 边根据可靠性得分和确认阈值 ( $\tau_c$ $τ_{c}$ ) 被分配一个状态：
- 已确认（Confirmed）： 高可靠性；保留全额权重。
- 不确定（Uncertain）： 中等可靠性；权重降低。
- 已拒绝（Rejected）： 低可靠性；移除。
- 未验证（Unvalidated）： 未在验证前沿中的候选；仅作为低权重的“脚手架”保留，以实现覆盖范围的边界检查。
最终图 ( $G_{pub}$ )： 一个边权重反映了发现支持度和反事实可靠性的加权图。

2.4 任务驱动的技能检索

在推理时，CaSKG 使用 $G_{pub}$ 进行检索：

种子识别（Seeding）： 通过词汇和语义匹配识别初始任务相关的技能。
传播（Propagation）： 使用 个性化 PageRank（Personalized PageRank） 算法在校准后的图上从这些种子点传播相关性。
输出： 智能体接收到一个由校准后的程序结构塑造的紧凑技能包，而非仅仅是原始的关联强度。

3. 主要贡献

形式化定义： 本文将可扩展技能图构建形式化为一个预算化的边置信度校准问题，在关系覆盖范围与弱关联破坏图传播的风险之间取得平衡。
方法论： 引入了 CaSKG，这是一种结合了多信号候选归纳、LLM 模拟反事实探测以及贝叶斯状态门控发布的离线构建方法。
评估： 在两个交互式基准测试（ALFWorld ID-140 和 ScienceWorld U211）上，针对 六种 LLM 后端 进行了全面评估，证明了其相对于全库提示、向量检索及现有图基准方法的持续改进。

4. 实验结果

评估是在固定的 Skill1000 库上进行的，涵盖了 12 种模型与基准测试的组合。

性能提升： CaSKG 在所有 12 种组合中均取得了最高的任务得分。
- ScienceWorld： 六个模型的宏平均得分从 72.62 (GoS) 提升至 80.50。
- ALFWorld： 成功率从 80.01% (GoS) 提升至 86.79%。
效率： 与 GoS 及其他基准相比，CaSKG 减少了环境交互步骤的平均数量，这表明更好的检索带来了更直接的执行路径。
任务类型分析： 在需要依赖操作链的任务（如颜色混合、植物生长、导电性测试）中，收益最为显著。在需要直接搜索或测量的任务中，收益较小或可以忽略不计，这表明当程序结构至关重要时，图扩展的益处最大。
定性洞察： 个案研究（如导电性测试、冷却与放置）显示，CaSK个成功检索了保留了前置条件、状态改变动作和验证程序的技能包，而基准方法往往会遗漏非词汇依赖或包含无关的替代项。
消融实验：
- 规模： 随着库规模从 200 增加到 2,000 个技能，CaSKG 始终保持其优势。
- 组件： 去除多信号归纳（仅保留语义）或 LLM 判断器会导致性能下降，证实了多样化证据和精细化评分的价值。在不进行校准的情况下发布所有候选会导致较低的成功率，验证了状态门控发布机制的必要性。

5. 重要性与主张

本文将边置信度校准定位为实现大规模、紧凑且可执行技能检索的有效途径。作者主张：

可靠性优于覆盖率： 仅仅扩大图的规模是不够的；承载相关性的边的质量才是关键因素。
程序结构： 校准后的边有助于检索保留复杂任务所需的运行结构（前置条件、状态变化、验证程序），而向量检索和未校准的图往往无法做到这一点。
泛化性： 改进在不同能力的模型中是一致的，这表明其收益源于检索机制本身，而非补偿特定模型的弱点。
离线效率： 该框架在离线构建图，无需对下游智能体的策略或任务接口进行任何更改，使其成为现有智能体系统的即插即用型改进。

研究结论认为，通过将关联发现与可靠性评估分离，CaSKG 使智能体能够访问一个“由经过验证的程序关系所塑造的紧凑包”，从而有效地解决了大规模技能库中召回率与噪声之间的权衡问题。