🤖 AI

SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse

本文介绍了 SkillTrace，这是一个多追踪溯源审计框架，通过提取并比较表达、实现和操作追踪（以技能操作图的形式表示），来检测 LLM 智能体的技能复用，在基准测试中实现了高准确率，并能在大规模野外审计中实现可操作的审查。

原作者： Jialuo Chen, Minghe Wang, Lingqi Jiang, Jianan Ma, Xinhao Deng, Xiaohu Du, Ruixiao Lin, Yunhao Feng, Linkang Du, Jingyi Wang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jialuo Chen, Minghe Wang, Lingqi Jiang, Jianan Ma, Xinhao Deng, Xiaohu Du, Ruixiao Lin, Yunhao Feng, Linkang Du, Jingyi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个软件不再仅仅是代码行，而是一个由“技能”构成的、活生生的、呼吸着的生态系统的世界。把这些技能想象成数字版的瑞士军刀，或者是神奇的食谱卡片，它们告诉一个超级聪明的机器人（AI 智能体）具体该如何完成一项工作。这些不仅仅是简单的指令；它们是包含书面指南、实际计算机代码、工具清单和逐步工作流的多媒体包。随着这些技能变得流行，人们开始在在线市场中分享它们，就像手机应用商店里的 App 一样。但棘手的部分在于，由于这些技能非常复杂，很难判断某人只是复制了配方并更改了字体，还是真的偷走了“秘方”——即特定的代码、独特的步骤顺序或让其生效的巧妙技巧。这是一个大问题，因为如果糟糕或有缺陷的技能被到处复制传播，整个生态系统可能会变得混乱甚至危险。科学家们长期以来一直试图识别被复制的计算机代码，但那些旧工具就像是在书中寻找特定的单词一样；如果作者重写了句子或改变了章节顺序，这些工具就会错过整个故事。

于是，诞生了 SkillTrace，一个旨在破解这一谜团的新型侦探工具。SkillTrace 不仅仅是通过比较整个“包裹”来查看它们是否相似，它更像是一名法医调查员，通过观察三个不同层面的证据：文字（书面指令）、代码（实际脚本）以及操作（技能运行的隐形流程）。研究人员发现，即使窃贼重写了指令并更改了代码，他们也往往无法改变相同的“舞步”或操作流程，因为那是让技能发挥作用的核心。通过构建一个名为“技能操作图”（Skill Operational Graph）的特殊地图来追踪这些舞步，SkillTrace 能够捕捉到其他工具无法发现的重复使用情况。在对数百个技能进行的测试中，这种新方法表现出色，捕捉到了约 90% 的真实重复使用案例，同时保持了极低的误报率。这就像是一位侦探，他不仅检查两座房子外观是否相似，还能判断出它们是否拥有相同的独特管道布局，即使油漆颜色和正门设计完全不同。

数字食谱窃贼的故事

想象你是一位发明了一种绝妙蛋糕烘焙方法的厨师。你写下了一份详细的食谱（表达层/Expression），列出了你使用的特定工具和原料（实现层/Implementation），并描述了精确的操作顺序：“预热、混合、折叠、烘焙、冷却”（操作层/Operation）。现在，想象一位竞争对手想要窃取你的成功。他们可能会逐字逐句地抄袭你的食谱；他们也可能用另一种语言重写整个食谱，但保留你完全相同的工具清单。或者，他们可能会做得更隐蔽：他们更改了食谱的标题，用自己的口吻重写了指令，甚至把你用的搅拌碗换成了另一个品牌的。但问题在于：为了让蛋糕膨胀并口感正确，他们必须保留你特定的步骤序列。如果你的配方要求“先折叠再冷却”，他们不能仅仅“先混合再烘焙”。

这正是 SkillTrace 论文所解决的问题，只不过主角是 AI 智能体而非面包师。在 AI 世界中，“技能”就是这些复杂的包裹，它们告诉 AI 如何做事。作者意识到，寻找被复制软件的旧工具就像是在看食谱的封面。如果竞争对手更换了封面艺术和标题，旧工具会说：“不匹配！”即便那位厨师偷走了里面的整份配方。

三层侦探工作

SkillTrace 与众不同之处在于，它不只是看整本书，而是将技能分解为三个截然不同的“痕迹”或证据层，就像侦探通过指纹、DNA 和脚印来检查犯罪现场一样。

表达痕迹（文字）： 这是技能的书面部分——指令、描述和示例。如果窃贼复制了你的文本，这一层就会亮起。但如果他们重写了文本使其听起来不同，这一层就会熄灭。
实现痕迹（代码）： 这是实际的计算机代码、脚本和命令。如果窃贼复制了你的代码片段，这一层会抓住他们。但如果他们用不同的语言重写了代码，或者完全删除了代码，这一层就会沉默。
操作痕迹（舞步）： 这是本文的核心创新。它观察技能是如何运作的。它构建了一个名为技能操作图（SOG）的地图。这个地图不在乎文字或具体的代码名称，它在乎的是流程。它追踪：
- 激活： 技能如何开始？
- 程序： 步骤的顺序是什么？
- 资源流： 工具和数据如何在过程中流动？

作者发现，即使窃贼重写了文字并更改了代码，他们往往无法改变“舞步”。如果一个技能的设计逻辑是读取 PDF、提取数据，然后发送电子邮件，那么窃贼可能会更改文件名和编程语言，但他们仍然必须遵循那套相同的三步流程。操作痕迹捕捉到了这种隐形的结构。

神奇的图谱与“单次 LLM”技巧

为了构建这张地图，研究人员使用了一个聪明的技巧。当一个新的技能进入系统时，他们利用一个强大的 AI（大语言模型/LLM）仅使用一次来阅读那个混乱、杂乱的技能包，并将其转化为一个清晰、结构化的图谱。这就像雇佣一名翻译，将一本混乱的日记转化为清晰的流程图。一旦该图谱被保存下来，系统就不再需要昂贵的 AI 了。

当需要检查一个新技能是否为复制品时，系统只需对比保存好的图谱即可。这既快速又廉价，且不需要再次调用 AI。它会将原始技能的“舞步”与新技能的“舞步”进行对比。如果舞步一致，即使音乐和服装不同，系统也会发出警报。

研究发现：捕捉狡猾的模仿者

研究人员在海量数据集上测试了他们的工具 SkillTrace。他们创建了一个名为 SkillTrace-Bench 的基准测试，其中包含 820 个确定属于重复使用的技能示例（正例）和 751 个仅是偶然相似的技能示例（负例）。

结果令人印象深刻。SkillTrace 实现了 0.938 的得分（AUROC）和 0.898 的 F1 分数。用通俗的话说，这意味着该工具在识别真实重复使用方面极其出色，同时很少会对无辜的相似性“虚惊一场”。

但真正的魔力在于它是如何发现这些行为的：

“重新包装者”： 仅仅更改标题和文件夹名称的人。旧工具很容易捕捉到这类人，SkillTrace 也是如此。
“重写者”： 使用 AI 完全重写代码和文本的人。旧工具经常会漏掉这些人，因为文字和代码看起来完全不同。但 SkillTrace 的操作痕迹捕捉到了他们，因为“舞步”（程序）保持不变。
“局部窃贼”： 只偷代码但写了新指令，或者偷了指令但写了新代码的人。SkillTrace 非常聪明，它能说：“嘿，文字不同，但代码匹配！”或者“代码是新的，但流程是一致的！”

在针对 36,446 个技能的真实世界测试中，SkillTrace 发现了数千个潜在的重复使用案例，而那些基于“整个包裹”的旧工具却漏掉了它们。它发现，虽然大规模、显眼的复制很常见，但存在大量的“局部”重复使用，即人们只窃取技能的特定部分，而不是复制整个技能。

为什么这很重要

论文指出，我们需要这种详细的审计，因为 AI 技能生态系统正在飞速发展。如果我们无法分辨谁复制了谁，我们就无法修复通过复制传播的 Bug，无法保护创作者的作品，也无法保持市场的公平。

SkillTrace 并不做法律判决——它不会说“你犯了窃取罪”。相反，它扮演着一个高科技分诊系统的角色。它会说：“看这里，尽管衣服不同，但这个技能拥有完全相同的‘舞步’。人类应该仔细查看一下。”通过将证据分为文字、代码和操作，它为人类做出最终判断提供了具体的线索。

最后，作者表明，通过观察一个技能运作的结构，而非仅仅观察其表面外观，我们终于能够看到连接 AI 世界的那些隐形重复使用之线。这提醒我们，虽然你可以改变汽车的喷漆，但如果不重新构建整个引擎，你就无法轻易改变引擎的蓝图。SkillTrace 正是那个终于让我们看清那份蓝图的工具。

技术摘要：SkillTrace：面向 LLM 智能体技能复用的多轨迹溯源审计

1. 问题定义

LLM 智能体生态系统的快速增长引入了“技能”（skills）作为可复用的、混合模态的制品。与传统的代码仓库不同，一个技能包包含自然语言指令、可执行代码、工具接口、参考文件和操作工作流。随着这些技能成为市场商品，审计其复用情况已成为一项关键挑战。

现有的软件复用检测方法（如 MOSS、JPlag、ssdeep）不足以应对这一领域，因为它们通常依赖于：

单模态分析： 仅侧重于源代码或纯文本。
全包相似性： 对整个仓库或标记流进行比较。

这些方法无法检测出如下情况的复用：衍生技能仅保留了特定的高价值组件（例如，一个经过调试的脚本或特定的工作流），同时重写了文档、重命名了标识符，或将包移植到了不同的宿主环境。相反，解决相同任务的独立技能可能会共享高层级的模板或 API，从而导致全局相似度指标出现误报。核心挑战在于如何区分继承的溯源性（实际的制品复用）与同功能独立相似性（由于共享任务需求而导致的巧合相似）。

2. 方法论：SkillTrace 框架

作者提出了 SkillTrace，一个多轨迹溯源审计框架，旨在通过分析在不同类型的转换中得以留存的互补轨迹来检测复用。该框架分为两个阶段运行：

A. 多轨迹提取

SkillTrace 从每个技能包中提取三种不同的溯源轨迹。这些轨迹对应于技能构建的不同层级：

表达轨迹 (Expression Trace)： 捕获作者编写的自然语言内容，包括指令、描述、示例和触发性文本。它通过对文本基质进行确定性的分词和归一化来提取。
实现轨迹 (Implementation Trace)： 捕获可执行的实现，如内联代码、支持脚本、Shell 命令和 API 调用模式。它使用语言无关的标记表示法来处理异构代码库（Python、JavaScript、Shell 等）。
操作轨迹 (Operational Trace)： 捕获宿主感知的执行设计。这是该研究的创新贡献，将技能表示为 技能操作图 (Skill Operational Graph, SOG)。SOG 是一个类型化图，由以下部分组成：
- 操作块 (Operational Blocks)： 归一化的动作单元（例如，“验证输入”、“调用工具”），由动作、对象角色、工具角色、输入和输出定义。
- 三个视图：
  - 激活 (Activation)： 技能如何进入（触发器、上下文）。
  - 过程 (Procedure)： 块的排序、分支和回退逻辑。
  - 资源流 (Resource-Flow)： 对工具、外部资源和制品的依赖。

提取机制： 表达轨迹和实现轨迹是通过确定性方式提取的。操作轨迹（SOG）则是在摄取阶段仅使用一次 LLM 进行提取。LLM 被约束为输出归一化的图模式，而不复制具有辨识性的短语。一旦提取完成，SOG 会被缓存，随后的所有审计都将在这些缓存的轨迹上进行确定性计算，不再调用 LLM。

B. 复用检测与校准

在审计阶段，SkillTrace 比较参考技能 ( $R$ ) 和候选技能 ( $C$ ) 的轨迹：

相似度评分：
- 表达与实现： 使用标记 Jaccard 相似度计算。
- 操作： 通过使用归一化匹配得分的加权和来比较 SOG 组件（块、激活、过程、资源流）。
校准： 为了控制误报，每种轨迹类型都会针对“严格负例”（解决相同任务的独立技能）进行校准。每个轨迹的阈值 ( $\tau$ ) 设置在负例分布的第 95 百分位数处。
决策规则 (MaxFusion)： 如果最大校准轨迹得分 ( $s_i / \tau_i$ ) 超过决策界限 ( $\beta$ ，通常为 1.0)，则该对组合会被标记以供审查。这种“MaxFusion”方法确保了任何单一轨迹中的强证据都足以触发审查，从而防止局部复用被重写的章节所稀释。
可解释性： 系统会生成审计报告，指明触发了哪些轨迹，并提供证据指针（匹配的文本、代码标记或图边），使人类审查员能够理解复用的性质。

3. 核心贡献

问题建模： 本文将事后技能复用审计建模为一个针对异构、混合模态包的软件工程问题，明确区分了继承的溯源性与同功能相似性。
SkillTrace 框架： 一个属性化的轨迹系统，提取表达、实现和操作轨迹。操作轨迹（以 SOG 表示）作为技能级的“操作指纹”，比文本或代码更能抵抗转换。
基准测试 (SkillTrace-Bench)： 一个新的基准测试，包含 820 个经过转换的复用正例（涵盖重新打包、移植和部分提升）以及 751 个负控制组（严格的同功能独立技能），基于 100 个真实的真实市场锚点构建。
实证验证： 在 SkillTrace-Bench 以及一个包含 36,446 个技能的大规模野外语料库上验证了其有效性。

4. 实验结果

评估是在 SkillTrace-Bench 和一个 36,446 规模的技能公共语料库上进行的。

检测性能： 在基准测试中，SkillTrace 实现了 0.938 的 AUROC 和 0.898 的 F1 分数。这显著优于仓库级基线（RepoClone-Jaccard/ssdeep），后者的 AUROC 为 0.841，F1 为 0.783。
轨迹互补性： 研究证实了三种轨迹是互补的。
- 重新打包 (Repackaging)： 所有轨迹均保持高水平。
- 全量 LLM 重写 (P3)： 表达和实现轨迹显著下降，但操作轨迹依然保持强劲（平均相似度 0.681），使得在基线失效的情况下仍能实现检测。
- 部分提升 (L1/L3)： 根据保留的内容（例如，代码提升保留了实现/操作轨迹；文档复用保留了表达轨迹）触发不同的轨迹。
野外语料库审计： 在对 36,446 个技能进行的审计中，SkillTrace 识别出了 3,030 个“仅静态”候选对象，这些对象因其 RepoClone 得分低于保守阈值而未被仓库级基线标记。这些候选对象是基于强烈的表达或实现轨迹证据被标记的。值得注意的是，操作轨迹被刻意排除在全局路由规则之外，以避免来自通用功能模式的误报，尽管它仍被保留作为佐证证据。对 200 对样本进行的专家人工验证确认，SkillTrace 标记的候选对象包含可检查的复用证据，而低优先级控制组则大多是独立的。
可扩展性与成本： 该框架将 LLM 成本摊销到摄取阶段（每个技能约 $0.01 且耗时 26 秒）。随后的审计是确定性的且速度极快（每对约 105 毫秒），从而实现了无需在审计阶段支付 Token 成本的规模化市场审计。

5. 意义与主张

本文声称 SkillTrace 为新兴的 LLM 智能体生态系统提供了必要的溯源审计演进。其意义在于：

超越全局相似性： 它解决了“全包式”检测器的局限性，认识到技能的价值是不均匀分布的；衍生品可以在丢弃表面文本或代码的同时，保留高价值的操作逻辑。
可操作的证据： 通过将复用归因于特定轨迹（表达、实现、操作），系统为人类审查员提供了可操作的线索。它解释了什么被复用了（例如，特定的工作流或脚本），而不仅仅是声明两个技能是相似的。
取证甄别： 作者明确指出 SkillTrace 是一个取证甄别工具，而非法律侵权检测器。它根据留存的溯源轨迹提取审查候选对象，同时也承认共享模板或常见 API 可能会导致没有恶意意图的相似性。
操作指纹： 引入将 SOG 作为技能级的“操作指纹”，提供了一种捕捉智能体技能“行为身份”的新方法，这种方法比单纯的文本或代码更能抵抗转换。

论文总结道，对于维护质量感知型注册表、构建去重基准以及修复日益增长的 LLM 智能体生态系统中传播的缺陷，进行基于轨迹的归因审计至关重要。