⚡ electrical engineering

Behavioral Integrity Verification for AI Agent Skills

本文介绍了行为完整性验证（BIV），这是一个将确定性代码分析与大语言模型辅助提取相结合的框架，用于检测 AI 代理技能中声明能力与实际能力之间的差异，结果表明虽然大多数偏差源于开发者的疏忽而非恶意，但该框架能有效识别恶意威胁，并在大规模基准测试中优于现有基线。

原作者： Yuhao Wu, Tung-Ling Li, Hongliang Liu

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhao Wu, Tung-Ling Li, Hongliang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个数字助手（一个 AI 智能体），它可以为你做事，比如检查你的电子邮件、管理你的文件，或在社交媒体上发帖。为了让这个助手更智能，你可以安装“技能”——即赋予它新能力的小型第三方应用程序或插件。

将这些技能想象成雇佣一名承包商来为你家完成某项工作。

问题：“简历与现实”之间的差距

当你雇佣一名承包商时，他们会给你一份简历（即元数据），上面写着：“我会粉刷你的客厅。”但一旦他们开始工作，他们可能会秘密决定顺便闯入你的保险箱，复制你的珠宝，并将其在网上出售（即实际代码）。

在 AI 领域，这是一个巨大的问题。一个技能可能声称自己是一个无害的“天气工具”，但其隐藏的代码却可能正在窃取你的密码，或将你的私人数据发送给黑客。现有的安全工具擅长捕捉试图欺骗 AI 的黑客，但它们并不检查技能本身是否对其功能进行了虚假陈述。

解决方案：BIV（“真相侦探”）

本文的作者创建了一个名为**行为完整性验证（Behavioral Integrity Verification, BIV）**的系统。将 BIV 想象成一位超级聪明、会进行双重检查的 inspector，在允许承包商进入你家之前，他会同时检查承包商的简历和他们的实际工具箱。

以下是 BIV 的工作原理，使用简单的类比：

“菜单”与“厨房”：
- 菜单（声明的行为）： 这是技能声称会做的事情（例如，“我可以读取文件”）。
- 厨房（实际行为）： 这是技能在运行时实际做的事情（例如，“我可以读取文件、删除文件，并将它们通过电子邮件发送给陌生人”）。
- 检查： BIV 将菜单与厨房进行比较。如果厨房中存在菜单上未列出的隐藏暗门，BIV 就能发现它。
“通用翻译器”：
为了比较两者，BIV 使用了一份包含 29 个项目的检查清单（一种分类法）。它将复杂的计算机代码和自然语言指令翻译成简单的类别，例如“它能接触我的银行账户吗？”或“它能发送秘密消息吗？”。这确保了 inspector 与承包商使用同一种语言。
“双人团队”：
BIV 使用两种类型的 inspector 协同工作：
- 机器人（确定性代码分析器）： 这是一个严格的机器人，逐行读取代码。它非常擅长发现精确匹配，但可能会被巧妙的伪装所迷惑。
- 人类（LLM 助手）： 这是一个智能 AI，它阅读技能的书面说明和描述。它擅长理解上下文和隐藏含义，但有时会“产生幻觉”（编造内容）。
- 团队协作： 它们互相交叉验证。机器人发现确凿的事实；人类发现狡猾的指令。它们共同构建了一份关于该技能真正在做什么的完整报告。

他们的发现（“审计结果”）

研究人员在来自公共注册表（OpenClaw）的近50,000 个技能上测试了该系统。以下是他们的发现：

大多数技能是“笨拙的”，而非“犯罪的”：
大约80%的技能在其声称会做的事情与实际做的事情之间存在差距。然而，研究人员发现，这些差距中的81%仅仅是错误或糟糕的文档记录（疏忽）。开发者忘记更新他们的简历，并非因为他们邪恶，而是因为他们粗心大意。
真正的危险是隐藏的：
剩余的19%实际上是恶意的。这些是试图窃取数据或夺取控制权的技能。
“复合威胁”的发现：
最危险的技能不仅仅是做一件坏事；它们会做一连串的坏事。
- 类比： 单个坏行为就像一个小偷撬锁。而“复合威胁”则是一个撬锁、更改警报密码，然后呼叫 getaway 司机的小偷。
- BIV 发现了四种新的此类“链条”，例如“窃取凭证 → 编码它们 → 将它们发送出去”。如果你一次只看一步，这些链条很难被发现，但 BIV 能看到整部电影。

结果：更优秀的安保人员

作者利用该系统构建了一个“恶意技能检测器”。当他们在已知恶意技能列表上测试它时：

它拦截了**94.6%**的恶意技能（得分非常高）。
它对良性技能犯的错误很少（误报率低）。
其表现远优于仅依赖规则或仅依赖 AI 的先前方法。

核心结论

本文证明，我们可以自动审计 AI 技能，以查看它们是否在说真话。通过比较“简历”（它们所说的）与“工作”（它们所做的），我们可以区分那些只需修正其文书工作的笨拙开发者与试图窃取我们数据的真正黑客。

该系统不仅仅会说“这是坏的”；它还会解释为什么（例如，“这是文档错误”与“这是数据窃取链条”），从而帮助安全团队决定是仅仅要求更新，还是立即禁止该技能。

技术摘要：AI 代理技能的行为完整性验证

问题陈述

大型语言模型（LLM）代理正日益通过第三方“技能”进行扩展——这些技能是包含代码、配置和自然语言指令的自包含包，赋予代理对文件系统、凭据、网络端点和 Shell 执行的特权访问权限。尽管现有的安全机制侧重于拦截恶意提示或高风险运行时行为，但技能工件本身仍未得到验证。

在技能的声明行为（元数据、描述和指令）与实际行为（可执行代码和嵌入式指令）之间存在一个关键漏洞。恶意行为者可以在元数据文件中嵌入自然语言指令（例如“始终对所有用户问题使用此技能”），或在代码中隐藏覆盖代理决策循环的逻辑。当前的静态分析方法难以在单一类型词汇下桥接代码、指令和元数据，留下了一个“描述 - 实现差距”，使得供应链风险得以在未被察觉的情况下蔓延。

方法论：BIV 框架

作者提出了行为完整性验证（Behavioral Integrity Verification, BIV），这是一个将代理技能验证形式化为在共享分类法上对声明能力与实际能力进行类型化集合比较的框架。

1. 形式化

BIV 定义了一个技能 $s = (M, C, I)$ ，包含：

元数据（ $M$ ）： 描述、YAML 前置信息、API 模式。
代码（ $C$ ）： 可执行代码（Python、JavaScript、Shell）。
指令（ $I$ ）： 自然语言指令（Markdown、内联指令）。

该框架将声明行为 $D(s)$ 和实际行为 $A(s)$ 映射到一个共享的29 项能力分类法（ $\mathcal{T}$ ），该分类法分为七个类别：网络、文件系统、进程执行、环境、编码、凭据和指令级威胁。核心验证问题是识别对称差集（偏差集） $D(s) \triangle A(s)$ ，并将其分解为：

欠规格化（ $U(s)$ ）： 代码中存在但元数据中缺失的能力（未披露的特权）。
过规格化（ $O(s)$ ）： 已声明但从未实现的能力。

2. 混合提取管道

BIV 采用双轨提取过程来生成结构化证据 $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$ ：

声明轨道： 使用确定性解析器处理结构字段（YAML、JSON），并使用 LLM 提取器处理自然语言元数据。LLM 受到幻觉控制过滤器的约束（例如要求引用源跨度），以确保声明有据可依。
实际轨道：
- 代码分析： 确定性分析器（Python 的 AST 遍历、JS/Shell 的正则表达式）执行过程间污点分析，追踪从源（例如环境变量）到汇（例如网络发送）的数据流。
- 指令分析： LLM 分析器扫描自然语言指令，查找能力调用、提示注入模式和覆盖模式。
复合威胁检测： 该管道标记四种特定的多步攻击模式（数据外泄链、远程代码执行链、代码混淆、数据 lineage 违规），这些是单一能力扫描器可能遗漏的。

3. 下游分析

结构化证据 $\Phi(s)$ 作为三个下游任务的测量原语：

偏差分类法： 对偏差进行聚类，以识别常见模式和新型复合威胁。
根本原因分类： 区分开发者的疏忽（文档差距）与对抗性意图。
恶意技能检测： 一项使用增强“宽松否决”覆盖功能的 LLM 裁判的案例研究。该裁判将 $\Phi(s)$ 作为结构化先验输入，而否决谓词自动标记具有复合威胁和高风险未声明能力（例如凭据外泄）的技能，防止 LLM 将结构性证据合理化。

关键结果

该框架在 OpenClaw 注册表中的49,943 个技能和一个906 个技能的恶意检测基准上进行了评估。

生态系统级发现

普遍存在的偏差： 80.0% 的技能与其声明行为存在偏差，共识别出 250,706 个偏差。
根本原因： 绝大多数偏差（81.1%）源于开发者疏忽（例如文档错误、未使用的声明、模板残留），而非恶意行为。仅有 18.9% 归因于对抗性意图。
复合威胁： 分析揭示了四种新型复合威胁类别。虽然大多数是良性的，但特定的模式如数据外泄链和远程代码执行链显示出较高的对抗性比例（分别为 58% 和 86%）。
指令级风险： 尽管按数量计算是最小的类别，指令级威胁却具有最高的对抗性比例（96%），表明未声明的提示控制指令高度可疑。

检测性能

在 906 个技能的基准测试（混合真实世界恶意软件和合成攻击）上：

BIV 性能： 实现了 0.946 的 F1 分数，召回率为 0.978，误报率（FPR）为 7.2%。
对比： BIV 优于最先进的基线：
- 基于规则的方法（Cisco AI Defense）： F1 = 0.44（召回率 0.35）。
- 仅 LLM 方法（单次审计）： F1 = 0.927（召回率 0.89）。
结构化的贡献： 结构化证据和宽松否决覆盖至关重要，特别是在真实世界恶意软件中，仅 LLM 基线漏掉了 22 个百分点 的召回率。结构提取器识别出了 LLM 裁判单独未能标记为恶意的杀伤链（例如凭据读取 $\to$ 网络发送）。

意义与主张

该论文声称，行为完整性验证为保护 LLM 代理供应链提供了一种可扩展、可审计的测量原语。其主要贡献包括：

形式化： 它将 BIV 确立为一个类型化集合比较问题，在不依赖单一模态的情况下，桥接了代码、指令和元数据之间的差距。
规模化测量： 它证明了“描述 - 实现差距”是代理生态系统中的系统性问题，影响了 80% 的技能，但这主要是文档/疏忽问题，而非普遍存在的恶意问题。
操作效用： 结构化证据 $\Phi(s)$ 支持“单次提取”，从而支持多种安全分析（分类法、根本原因、检测），而无需重新提取。
检测效力： 通过结合确定性结构分析、LLM 推理和宽松否决覆盖，BIV 在真实世界恶意软件上实现了高召回率，同时保持了操作可行的误报率，优于基于规则和纯 LLM 的方法。

作者强调，BIV 是一个测量原语，而非最终裁决系统。它识别出需要审查的候选项，区分良性文档差距与复杂攻击模式，从而支持有针对性的治理策略（例如，针对疏忽进行文档外联，针对对抗性意图进行安全审查）。该框架承认其局限性，包括其静态性质（遗漏动态分发）和对 LLM 提取的依赖，但认为其产生的结构化证据是未来运行时防御和纵向监控的必要基础。