💻 computer science

Agentproof: Static Verification of Agent Workflow Graphs

本文提出了 Agentproof 系统，该系统通过从主流智能体框架自动提取统一抽象图模型，结合结构检查与时态安全策略的静态验证，在无需人工建模的情况下有效识别了工作流中的拓扑缺陷并补足了现有运行时防护的不足。

原作者： Melwin Xavier, Vaisakh M A, Melveena Jolly, Midhun Xavier

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Melwin Xavier, Vaisakh M A, Melveena Jolly, Midhun Xavier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Agentproof 的新系统，它的核心任务是在人工智能（AI）代理真正开始工作之前，先帮它们“体检”和“排雷”。

为了让你更容易理解，我们可以把 AI 代理的工作流程想象成建造一座复杂的自动化工厂，而 Agentproof 就是那个拥有超级透视眼的建筑安全监理。

以下是用通俗语言和比喻对这篇论文的解读：

1. 背景：AI 工厂的“蓝图”问题

现在的 AI 代理（比如能帮你发邮件、查数据、写代码的机器人）不再只是简单地回答问题。它们被设计成一系列步骤的集合，就像一张流程图或交通路线图。

现状：开发者画好了这张图（比如：先分类邮件 -> 再决定是紧急还是普通 -> 然后起草 -> 最后发送）。
问题：以前，我们只能等机器人真正跑起来，看看它会不会犯错（比如把邮件发错人，或者卡在某个步骤不动）。这就像等工厂开工了，才发现某条传送带是断的，或者某个阀门没装，这时候再修就晚了，而且已经造成了损失。
痛点：现有的安全工具（像“runtime guardrails"）就像工厂门口的安检员。它们只能检查每一个经过的包裹（每一次 AI 的回复）是否安全，但如果传送带本身是断的（流程设计错误），安检员是看不出来的，除非恰好有货物走到那里。

2. Agentproof 是什么？

Agentproof 是一个静态验证工具。它不需要等机器人跑起来，而是直接检查那张“蓝图”（流程图）本身。

核心比喻：自动化的“蓝图审查员”
想象一下，你有一张画在纸上的地铁线路图。

以前的做法：等地铁真的开起来，如果某站没通，乘客才会发现。
Agentproof 的做法：它直接拿着放大镜看图纸。它不需要等车跑，就能告诉你：“嘿，这张图上，从 A 站到 B 站的路是断的！”或者“这张图上，有一条路会无限循环，永远到不了终点站！”

3. 它是怎么工作的？（三大步骤）

第一步：自动翻译（提取器）

现在的 AI 框架很多（像 LangGraph, CrewAI 等），它们画“蓝图”的方式不一样，有的用积木，有的用代码块。

Agentproof 的绝活：它像是一个万能翻译官。不管开发者是用哪种语言画的图，Agentproof 都能自动把它们“翻译”成一种统一的、标准的“通用地图”。
好处：以前如果要检查，你得把图重新画一遍（手动建模），非常麻烦。现在它自动搞定，省去了人工翻译的麻烦。

第二步：结构体检（找漏洞）

拿到统一地图后，Agentproof 会进行六项“体检”：

死胡同检查：有没有哪条路走到一半就断了，机器人会卡死在那里？（比如：起草了邮件但没连上发送按钮）。
终点可达性：有没有哪条路是永远走不到终点的？（比如：机器人陷入无限循环，永远停不下来）。
关键关卡检查：如果流程涉及敏感操作（比如转账、删除数据），地图上有没有画“人工审核”的关卡？如果没有，Agentproof 会报警。
其他检查：比如路由器的方向对不对，工具有没有声明清楚等。

亮点：如果发现问题，它不仅能告诉你“错了”，还能给你画出一条具体的错误路径（比如：从起点 -> 分类 -> 普通处理 -> 起草 -> 卡死），让你一眼看出问题在哪。

第三步：时间规则检查（防未来）

除了看地图结构，它还能检查时间逻辑。

比喻：就像检查交通规则。
- “如果发生了 A 事件（比如起草邮件），必须在 3 步之内发生 B 事件（比如人工审核）。”
- “绝对不能发生 C 事件（比如直接删除数据库）。”
Agentproof 把这些规则变成一个个小机器人（自动机），在地图上跑一遍，看看有没有可能违反这些规则。

4. 实验结果：真的有用吗？

作者找来了 18 个由不同框架编写的 AI 工作流进行测试：

发现了很多 Bug：27% 的工作流有结构缺陷（比如死胡同），55% 的工作流在开启“人工审核”策略时，竟然没有设置人工审核节点。
速度极快：即使地图很大（5000 个节点），检查也只需要不到 1 秒钟。
结论：这些错误在开发阶段很容易被忽略，但 Agentproof 能瞬间抓出来。

5. 它和现有工具的关系

不是替代，是互补：
- Agentproof（静态）：像建筑监理。在房子盖好之前，检查图纸有没有错，确保路是通的，门是锁好的。它管的是结构。
- 现有安全工具（运行时）：像保安。在房子盖好后，检查进出的人有没有带危险品。它管的是内容。
最佳实践：先用 Agentproof 把图纸修好，确保路通、门在；再让保安在门口把守。这样双重保险，最安全。

总结

Agentproof 就像是为 AI 代理开发流程装上了一个自动化的“逻辑纠错器”。它不需要 AI 真的去执行任务，就能在代码部署前，把那些“路不通”、“死循环”、“缺关卡”等设计缺陷全部揪出来。

这就好比在发射火箭前，工程师不再只是等火箭飞起来再看会不会爆炸，而是用超级计算机在发射台上就把所有电路和轨道的逻辑漏洞全部算出来并修好。这让 AI 系统变得更安全、更可靠。

Agentproof：智能体工作流图的静态验证技术总结

1. 研究背景与问题定义

随着大语言模型（LLM）被越来越多地部署为能够调用外部工具和 API 的自主智能体（Agents），智能体框架（如 LangGraph, CrewAI, AutoGen, Google ADK）倾向于将智能体的行为编码为显式的工作流图（Workflow Graphs）。然而，当前的安全机制主要依赖于**运行时（Runtime）**的防护栏（Guardrails），如 NeMo Guardrails 或 LlamaGuard，这些工具仅在代码执行时拦截单个 LLM 调用或工具调用来过滤内容。

现有方法的局限性：

延迟开销：每次调用都增加延迟。
覆盖率不足：仅能检测实际执行路径上的违规，无法覆盖测试中未触发的路径。
无法检测拓扑缺陷：运行时工具无法发现工作流图结构本身的错误（如死胡同节点、不可达的出口、绕过人工审核的路径）。

核心问题：
智能体工作流图中存在一类拓扑错误（Topological Errors），例如开发者在迭代过程中意外创建的死循环、未连接的节点或绕过安全门禁的路径。这类错误在内容层面是“干净”的，因此运行时内容过滤器无法发现，必须通过部署前的静态分析来检测。

2. 方法论：Agentproof 系统

Agentproof 是一个自动化的静态验证系统，旨在从智能体框架源代码中提取抽象图模型，并执行结构检查和时序策略验证。

2.1 系统架构流程

获取工作流对象：从 LangGraph, CrewAI, AutoGen, Google ADK 四个主流框架中提取工作流定义。
提取抽象图模型 (AgentGraph)：
- 将不同框架异构的 API 对象（如状态图、任务列表、团队拓扑）统一映射为一个通用的抽象工作流图。
- 该图包含类型化节点（入口、出口、工具、LLM、路由器、人工审核、子图、透传）和类型化边（直接、条件、并行、循环）。
- 关键创新：无需人工建模，自动完成从框架特定表示到统一模型的转换。
结构检查 (Structural Checks)：
- 基于图论算法（BFS/DFS）执行六项检查：
  1. 出口可达性：所有出口节点是否可从入口到达。
  2. 反向可达性 (ExitReachAll)：所有可达节点是否最终都能到达某个出口（检测死循环/活锁）。
  3. 死端检测：检测无出边的非出口节点。
  4. 路由器形状检查：确保路由器节点的出边均为条件边。
  5. 人工介入检查：检测敏感工具路径是否必须经过人工审核节点。
  6. 工具声明检查：确保工具节点已正确声明工具名称。
- 见证轨迹生成：当检查失败时，自动生成具体的路径（Witness Trace）以辅助调试。
时序策略验证 (Temporal Verification)：
- DSL 设计：定义了一种覆盖 LTL（线性时序逻辑）安全片段的领域特定语言（DSL），包含 7 种表达式形式（如禁止、蕴含、直到、有界响应等）。
- 编译与验证：将 DSL 编译为确定性有限自动机 (DFA)。
- 双重验证模式：
  - 静态验证：通过图与 DFA 的乘积构造（Graph × DFA Product Construction），在不执行智能体的情况下遍历所有路径，检测是否存在违反时序属性的路径。
  - 运行时监控：将编译好的 DFA 应用于实时事件流进行监控。

2.2 威胁模型

T1 (开发者错误)：无意创建的拓扑缺陷（如死胡同）。Agentproof 可静态检测。
T2 (恶意注入)：攻击者修改工作流定义以绕过安全门禁。Agentproof 作为 CI/CD 流水线中的强制验证网关，可检测此类恶意拓扑。
T3 (运行时变异)：框架允许运行时动态修改图。Agentproof 假设部署时图是静态的，若发生变异需重新验证。
范围限制：Agentproof 不验证 LLM 输出的语义内容（如事实性、毒性），这部分仍由运行时防护栏负责。

3. 主要贡献

跨框架提取流水线：
- 开发了针对 LangGraph, CrewAI, AutoGen, Google ADK 的自动提取器，将异构的框架表示统一为具有类型化节点和边的抽象模型，消除了通用模型检查器所需的人工建模步骤。
部署前验证流水线：
- 实现了包含 6 项结构检查和见证轨迹生成的验证流程。
- 提出了覆盖 LTL 安全片段的时序策略 DSL，并通过编译为 DFA 支持静态（图乘积）和运行时两种验证模式。
实证评估与基准：
- 构建了一个包含 18 个精心策划的工作流的基准测试集，涵盖了多种模式和已知的反模式。
- 证明了静态验证能在亚秒级时间内处理高达 5,000 个节点的图，并有效识别出结构缺陷和策略违规。

4. 实验结果

4.1 缺陷检测能力

在 18 个基准工作流中：

结构缺陷：27% 的工作流包含结构缺陷（如死端节点、不可达出口、路由器形状错误）。
策略违规：55% 的工作流在强制执行人工审核策略时被发现缺少“人工门禁”（Human Gate）。
对比发现：结构缺陷（拓扑错误）和策略违规（配置错误）是两类不同的问题，以往工作常将二者混淆。

4.2 性能与可扩展性

速度：对于包含 5,000 个节点的图，结构检查耗时约 105 毫秒（亚秒级）。
复杂度：结构检查的时间复杂度约为 $O(|V| + |E|)$ ，线性增长。
时序验证：15 个定义的时序策略均能成功编译为 DFA，且所有策略均落在 DSL 的七种形式片段内，无需完整的 LTL 表达能力。

4.3 提取器准确性

在 27 个测试用例中，节点和边的检测精度与召回率均为 100%。
局限性：主要错误来源是“人工审核节点”的识别，目前依赖命名启发式（如名称中包含"human"），未来计划通过 AST 分析或显式注解改进。

5. 意义与价值

填补了安全验证的空白：
- 现有的运行时工具无法发现“未执行路径”上的拓扑错误。Agentproof 通过静态分析，在部署前即可发现死循环、死端和绕过安全门禁的路径，这是运行时工具无法做到的。
降低开发门槛：
- 传统的模型检查器（如 SPIN, NuSMV）需要人工将系统转换为特定建模语言（如 Promela），成本高昂。Agentproof 通过自动提取消除了这一障碍，使智能体开发者能直接验证其工作流。
互补的安全层：
- Agentproof 与运行时防护栏（Guardrails）形成互补。静态验证负责“拓扑安全”（确保路是通的、门禁在的），运行时验证负责“内容安全”（确保输出无毒、准确）。两者结合构建了更完整的智能体安全防线。
可复现的基准：
- 提供的 18 个工作流基准和提取工具为社区评估静态验证工具提供了标准化的测试集。

总结：Agentproof 证明了利用智能体框架暴露的 API 结构进行自动化的静态验证是可行且高效的。它不仅能捕捉开发者在迭代中引入的拓扑错误，还能作为 CI/CD 流程中的强制关卡，防止恶意或错误的工作流配置被部署，从而在智能体系统规模扩大的背景下，显著提升其安全性与可靠性。