🤖 AI

TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation

TRUSS 是一个循证框架，它通过在受控环境中将静态安全性检查与动态执行轨迹相结合，以迭代优化技能的功能有效性与安全性，从而生成任务可靠且用户安全的自动化智能体技能。

原作者： Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能快速发展的世界中，软件智能体正从简单的规划转向直接在现实世界中执行任务。为了处理复杂或专门的工作，开发者通常会赋予这些智能体“技能”——即一种将可重用步骤、特定知识和数字工具访问权限相结合的封装指令。这些技能使智能体无需从头开始重新训练即可学习新的能力。然而，创建这些技能传统上是一个手动过程，需要深厚的专业知识以确保指令既有用又安全。随着对自动化智能体需求的增长，研究人员正转向利用人工智能来自动编写这些技能。其中的核心挑战在于一种微妙的平衡：一项技能必须足够有效以完成工作，但同时也必须足够安全，以防止智能体意外删除文件、窃取数据或执行危险命令。如果一项技能编写得不好，它可能会将一个得力的助手变成安全风险，使用户的计算机面临危害。

一个研究小组开发了一个名为 TRUSS 的新框架来解决这个问题。TRUSS 不仅仅是检查生成的技能所编写的指令是否看起来正确，而是会在技能投入使用之前对其进行严格的试运行。该系统运作起来就像一条严格的质量控制线，结合了仔细的文档审查和实时的受监督试驾。首先，系统读取技能的指令，并根据已知事实和安全规则对其进行检查。如果指令通过了这一初步的静态检查，该技能并不会立即发布。相反，它会被加载到一个安全的隔离环境中，由一个“影子智能体”尝试使用它。这个影子智能体会尝试执行任务，同时一组自动化监控器会监视该技能试图采取的每一个动作。这些监控器会记录发生的每一件事，生成一份关于技能行为的详细日志，包括任何尝试访问受限区域或执行危险命令的行为。

这种方法的强大之处在于它能够捕捉到在纸面上不可见的错误。一项技能在文本描述中可能看起来无害，但在实际执行时可能会触发导致安全漏洞的连锁反应。TRUSS 利用从这些实时测试中收集到的证据来识别失败。如果技能尝试做一些不安全的事情或未能完成任务，系统会将该特定失败与导致该问题的技能部分联系起来。这些信息随后被反馈给生成器，由生成器重写技能以修复问题。这种测试、识别和改进的循环会一直持续，直到技能被证明既功能有效又完全安全。研究人员在数百个不同的场景中测试了这种方法，其中包括专门设计包含隐藏攻击的技能案例。

这项研究的结果令人瞩目。当研究人员要求 TRUSS 识别脆弱的技能时，它实现了完美的准确率，在用于评估的 168 个匹配的 SkillInject 工件中，它抓住了每一个恶意案例且没有出现任何误报。相比之下，仅查看指令文本的系统漏掉了大部分此类威胁。当系统被要求修复已经具有危险性的技能时，它成功地将攻击成功率降低了近一半，同时确保技能仍能完成其预期任务。在涉及为 187 个不同任务自动创建新技能的更广泛测试中，该框架将智能体的成功率从较低的基准提升到了超过一半的尝试次数，同时在基准评估中将安全性通过率提高到了 100%。这意味着，该系统首次能够生成不仅更擅长完成工作，而且符合测试场景中安全评估标准的技能。

研究人员发现，仅仅依赖静态分析（即在不运行代码或文本的情况下对其进行检查的做法）是不够的。许多危险行为只有在技能与真实环境交互时才会显现，这是基于文本的检查往往会忽略的细微差别。通过坚持要求提供实际执行的证据，TRUSS 能够引导创建在实践中可靠而非仅仅在理论上可靠的技能。这项研究表明，只要系统在允许接触用户数据之前，在受控设置中验证技能的行为，自动化技能生成就可以变得既安全又有效。这项工作指明了一条前进的路径，即人工智能可以安全地扩展其能力，赋予智能体解决问题的新工具，而不会损害其运行系统的安全性。

技术摘要：TRUSS —— 面向任务可靠且用户安全的自动化智能体技能生成

1. 问题陈述

基于大语言模型（LLM）的智能体正日益从虚拟规划转向现实世界任务的直接执行。为了处理专业化或流程导向的场景，开发者利用“智能体技能”（Agent Skills）——即包含自然语言指令、领域知识和可执行资源的复用数据包。虽然自动化技能生成有望在无需模型适配的情况下提升智能体性能，但当前的方法面临一个关键差距：它们通常仅基于静态制品检查或最终任务结果来评估候选方案。

这种静态评估无法解决两个根本性问题：

功能歧义性： 它无法确定配备该技能的智能体将执行哪些具体动作，也无法判断该技能是否比基础智能体更有效地提升了任务性能。
安全盲点： 它无法检测仅在动态执行过程中才会显现的副作用或安全漏洞。不安全的技能可能会引入严重的风险，例如未经授权的系统命令执行、权限提升或数据外泄，因为当前系统通常在极少审查的情况下，赋予安装的技能完整的本地用户权限。

现有的生成流水线难以在功能有效性和安全性可靠性之间找到最优平衡，因为它们依赖于对指令文本的静态分析，从而遗漏了仅在动态执行场景中才会显现的状态相关行为和动作组合。

2. 方法论

作者提出了 TRUSS（任务可靠且用户安全的技能生成），这是一个证据引导的框架，它集成了静态检查与动态执行验证，以生成功能有效且安全性可靠的技能。

2.1 框架概述

TRUSS 作为三个组件之间的迭代协作运行：生成器（Generator）、检查器（Checker）和优化器（Refiner）。

生成器： 从源语料库构建候选技能包（指令 + 可执行资源）。它支持两种模式：任务条件型（带有特定目标任务）和任务无关型（从源材料中衍生，无预设下游任务）。
检查器： 通过两个阶段评估候选方案：
- 静态检查： 在执行前检查技能制品。它进行基于证据的功能检查（根据源/领域证据验证声明）和预定义安全属性检查（针对九项特定安全属性进行检查）。
- 运行时执行： 被准入的候选方案由“影子智能体”加载到**可控执行环境（CEE）**中。CEE 使用代理工具将动作暴露给策略执行，并记录保留溯源信息的执行轨迹。
优化器： 利用来自检查器的未解决义务和违规证据来修订候选方案。优化循环持续进行，直到技能通过所有功能和安全检查，或达到修订预算上限。

2.2 关键技术组件

九项安全属性： 框架根据九项属性（如控制完整性、访问边界、执行完整性、生命周期隔离、资源限制、证据完整性、权限完整性、组合完整性、事务安全性）对技能进行评估。这些属性按其可以通过静态验证、动态验证还是两者皆可进行分类。
可控执行环境 (CEE)： 一个沙盒环境，智能体仅与代理函数进行交互。它包含一个中间破坏者（Intermediate Breaker），在允许在可丢弃的沙盒中执行之前，会对每一个请求的动作进行适用安全属性的评估。
证据引导的优化： 系统将功能失败和属性违规直接与负责的技能内容相联系。这种证据引导迭代优化过程，确保修复工作针对的是具体的行为失效，而非仅仅修改文本。

2.3 形式化目标

技能生成的优化目标定义为在 $J$ 个属性中，最大化功能有效性 ( $F$ ) 并最小化平均安全风险 ( $R$ )：
$S_k^* = \arg \max_{S_k \in S_G} \left[ F(S_k; p) - \lambda \sum_{j=1}^{J} R_j(S_k; p) \right]$
其中 $\lambda$ 控制安全风险的影响程度， $F$ 代表相对于空技能条件的效用增益。

3. 主要贡献

本文做出了三个主要贡献：

实证洞察： 一项实证研究表明，静态技能筛选无法检测到大量的运行时漏洞，凸显了通过执行感知验证来补充制品级检查的必要性。
TRUSS 框架： 开发了一个自动化的生成与优化框架，该框架超越了静态检查，转而分析加载并执行技能时诱发的行为。它将静态验证与动态验证统一在一个闭环之中。
全面评估： 在 3 个智能体和 2 个模型（GPT-5.5 和 GPT-5.4）上进行了严格评估，结果显示运行时证据弥补了静态检查留下的检测错误，并能引导修复过程，在大幅降低攻击成功率的同时，保留了原有的成功任务行为。

4. 实验结果

作者使用三个基准测试对 TRUSS 进行了评估：SkillInject（168 个制品）、SkillSafetyBench（155 个案例）和 SkillGenBench（187 个任务）。

漏洞检测 (RQ1)： 在 84 对匹配的 SkillInject 样本（168 个制品）上，TRUSS 在检测漏洞方面达到了 100.00% 的精确率和召回率。这显著优于中间 LLM 检查器（F1 分数为 26.69%）和单独的静态检查器（F1 分数为 87.36%），证明了执行证据能够解决静态分析遗漏的情况。
技能优化 (RQ2)： 在 SkillSafetyBench 上，修复受损技能使攻击成功率（ASR）从 38.71% 降至 19.35%（使用 GPT-5.5）以及从 46.45% 降至 29.68%（使用 GPT-5.4）。至关重要的是，未出现攻击回归（即先前安全的技能并未变得不安全），且框架保持了任务完成能力。
自动化技能生成 (RQ3)： 在 SkillGenBench 上，TRUSS 将任务有效性从 17.11%（无技能）提升至 52.94%，比基线提高了 35.83 个百分点。同时，它将基准安全性从 50.80% 提升到了 100.00%。这表明该框架可以生成既高效又完全安全的技能。

5. 重要性与主张

本文主张 TRUSS 证明了执行证据对于揭示制品检查所遗漏的行为失效至关重要。通过将功能和安全结果通过混合静态-动态验证过程联系起来，TRUSS 引导技能生成朝着共同验证的结果迈进。

作者强调，他们的方法解决了智能体生态系统中第三方技能可能引入严重风险的关键安全缺口。结果表明，构建不仅能提升任务性能而且能严格遵守安全边界的技能是可能的，这在不损害智能体效用的前提下降低了攻击成功率。该框架提供了一个可追溯的准入过程，其中的每一次修订都由具体证据驱动，确保最终的技能库仅包含通过严格功能与安全验证的候选方案。