🤖 AI

MulVul: Retrieval-augmented Multi-Agent Code Vulnerability Detection via Cross-Model Prompt Evolution

MulVul 是一个检索增强的多智能体框架，它通过采用由粗到精的路由策略和一种新颖的跨模型提示词演化机制，在多种漏洞类型中实现了显著更高的准确率，从而解决了单模型漏洞检测和人工提示词工程的局限性。

原作者： Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一座庞大的计算机代码库中寻找特定类型的漏洞（bugs）。这有点像是在草堆里找针，但问题在于，这些“针”有着成千上上种不同的形状、大小和颜色。

这篇论文介绍了一个名为 MulVul 的新系统来解决这个问题。以下是通过简单的类比对该系统工作原理的解释：

问题所在：一招鲜，吃遍天行不通

想象一下，你雇佣了一名非常聪明的侦探，让他去城市里调查每一种犯罪类型。

问题在于： 有些犯罪像是银行抢劫案（需要了解锁具和警报系统），而另一些则像是身份窃取（需要了解社会工程学）。一个侦探可能在其中一项很擅长，但在另一项上表现糟糕。
旧的方法： 之前的 AI 工具试图使用一个“超级侦探”来同时抓捕所有类型的犯罪。由于代码漏洞的类型如此之多（超过 130 种！），这个单一的侦探往往会感到困惑、遗漏目标，或者“虚报军情”（误报）。
人工的问题： 你可以尝试为每一种类型的漏洞都编写一套特定的指令（即“提示词/prompt”）。但面对数百种类型的漏洞，靠手工编写和测试这些指令是不可能的——这既耗时又昂贵。

解决方案：MulVul（专业化团队）

MulVul 通过使用一个专家团队而非一个通才，改变了游戏规则。它分为两个主要阶段：

1. “路由”（交通警察）

当一段代码到达时，它并不会发给所有人。首先，它会进入一个 路由代理（Router Agent）。

它的作用： 路由会对代码进行观察，并询问：“这类麻烦可能属于哪种类型？”它不需要知道确切的漏洞是什么；它只需要猜出一个大致的类别（例如，“这看起来像是内存错误”或“这看起来像是注入攻击”）。
窍门： 它使用了一个 检索工具（Retrieval Tool）。你可以把这想象成路由正在翻阅一本组织严密的过去犯罪案例百科全书，以便在做出猜测前寻找相似案例。这有助于它避免随机猜测。
结果： 它会选出前 3 个最可能的类别，并将代码仅发送给处理这些特定类别的专家。这节省了时间和成本。

2. “检测器”（法医专家）

一旦路由将代码发送给正确的专家，检测器代理（Detector Agents） 就会接管工作。

它们的作用： 这些是高度专业化的代理。一个只负责寻找内存错误；另一个只负责寻找注入攻击。
窍门： 像路由一样，它们也使用 检索工具。但它们更聪明。它们寻找的是“对比性”示例。想象一下，一名侦探通过将嫌疑人的陈述与类似犯罪的“真实故事”和“虚假故事”进行对比，从而发现细微差别。这有助于他们在不被相似代码干扰的情况下，精准定位确切的漏洞。
隔离性： 至关重要的一点是，这些侦探是独立工作的。他们互不交流。如果一个侦探犯了错，错误不会蔓延到其他侦探那里，从而防止了连锁反应式的错误。

秘诀：“跨模型提示词演化”（Cross-Model Prompt Evolution）

编写这些 AI 代理的指令（提示词）是最难的部分。如果你要求一个 AI 为它自己编写指令，它可能会陷入循环，认为自己的坏主意是好主意。

MulVul 使用了一个巧妙的 双 AI 系统 来解决这个问题：

生成器（架构师）： 一个 AI（如 Claude）尝试编写并改进指令。它会猜测：“也许如果我这样说，AI 的表现会更好。”
执行器（测试员）： 另一个不同的 AI（如 GPT-4o）则实际尝试遵循这些指令来寻找漏洞。它会反馈：“这条指令效果很好”或者“那条指令失败了”。
循环： 生成器利用这些反馈来编写更好的指令，而测试员则再次检查它们。因为它们是不同的模型，所以“架构师”无法欺骗“测试员”，让其误以为坏主意是好的。这创造了一个不断的改进循环，直到指令趋于完美。

结果

作者在包含真实世界代码漏洞的大规模数据集（称为 PrimeVul）上测试了这个系统。

得分： MulVul 达到了 34.79% 的得分，比之前最好的方法高出了 41.5%。
为什么重要： 它比任何经过测试的方法都找到了更多的真实漏洞，并且产生的误报更少。
“演化”带来的提升： 两个 AI 共同改进指令的部分，使得该系统的表现比人类手动编写指令的效果提升了 51.6%。

总结

MulVul 就像是一家高科技安保公司，它不依赖于一名过度劳累的保安。相反，它使用一名聪明的交通警察将嫌疑人引导至正确的法医专家处，而这些专家则利用过去的案例库来破解谜题。为了确保专家们明确职责，这家公司使用两个不同的 AI 大脑来不断重写并完善他们的规则手册，从而确保能以极高的准确度捕捉到最危险的漏洞。

技术摘要：MulVul

问题定义

本文针对使用大语言模型（LLM）自动化代码漏洞检测中的两个关键局限性提出了解决方案：

漏洞模式的异质性： 不同类型的漏洞（例如，缓冲区溢出与注入攻击）需要不同的推理能力。单一的统一模型难以在共享的潜在空间内捕捉这些多样且具有类型特定性的模式，从而导致漏报或高误报率。
提示词工程的可扩展性： 现实世界的系统涉及数百个常见弱点枚举（CWE）条目。为如此大量的类别手动设计专门代理（Agent）的独特提示词是不可行的。此外，依赖单一模型同时进行提示词生成和评估会引入自我修正偏差，而多智能体系统如果缺乏适当的落地约束，则存在放大幻觉的风险。

现有方法通常依赖于缺乏外部落地支撑的固定提示词，或者试图通过单个模型检测所有类型的漏洞，这无法在计算效率与广泛覆盖度之间取得平衡。

方法论：MulVul 框架

MulVul 是一个检索增强的多智能体框架，旨在实现精确且广泛覆盖的漏洞检测。它通过由粗到精（coarse-to-fine）的策略运行，并采用**跨模型提示词演化（Cross-Model Prompt Evolution）**技术。

1. 架构：路由-检测器（Router-Detector）

该系统采用了与 CWE 分类法对齐的分层架构：

路由智能体（Router Agent）： 作为调度器。它首先预测前 $k$ 个粗粒度的漏洞类别（例如，“内存缓冲区错误”）。它使用全局检索工具查询知识库以获取跨类别的证据，确保正确的类别不会在早期阶段被过滤掉。
检测器智能体（Detector Agents）： 仅针对路由选择的类别调用专门的智能体。每个检测器执行细粒度的特定漏洞类型识别（例如，“CWE-119 缓冲区溢出”）。
- 隔离性： 检测器在相互隔离的状态下运行，不进行智能体间的通信，以防止错误级联。
- 对比检索： 每个检测器使用专门的工具从三个池中检索证据：类别内正例、清洁示例以及类别外“硬负例”。这种对比方法有助于区分细微的安全缺陷。

2. 知识库（SCALE）

该框架依赖于使用 SCALE（结构化代码表示）构建的漏洞知识库。SCALE 将代码片段转换为结构化注释树（将自然语言注释附加到编码控制流的 AST 节点上）。这些表示形式通过 UniXcoder 进行嵌入并建立索引，以实现高效的最近邻检索。

3. 跨模型提示词演化

为了解决手动提示词工程的可扩展性瓶颈，MulVul 引入了一种将提示词生成与评估解耦的新型优化机制：

生成 LLM ( $M_{evo}$ )：（例如 Claude）迭代地提出并变异候选提示词。
执行 LLM ( $M_{exec}$ )：（例如 GPT-4o）使用这些提示词执行智能体任务并返回性能反馈（路由器的 Recall@k；检测器的 F1）。
流程： 这种分离减轻了单模型优化中固有的自我修正偏差。路由提示词针对召回率（确保正确的类别包含在 top- $k$ 中）进行优化，而检测器提示词则针对精确率-召回率平衡（F1 分数）进行优化。

核心贡献

MulVul 框架： 一种新型检索增强的多智能体系统，通过仅在必要时将输入路由至专门的专家，实现了计算效率与检测覆盖度之间的平衡。
跨模型提示词演化： 一种通过在不同 LLM 之间分离生成与执行来实现自动优化专门智能体提示词的机制，有效地解决了手动工程的可扩展性挑战并减少了偏差。
最先进的性能（SOTA）： 通过全面的实验证明，该框架在多类漏洞检测方面较现有基准模型有显著提升。

实验结果

该框架在 PrimeVul 基准测试上进行了评估，涵盖了 6,968 个易受攻击和 229,764 个良性的 C/C++ 函数，涉及 130 种 CWE 类型。

整体性能： MulVul 在类型层级达到了 34.79% 的 Macro-F1，超过表现最好的基准模型（LLM×CPG）10.21 个百分点（相对提升 41.5%）。
精确率-召回率权衡： 系统实现了 27.90% 的 Macro-Precision 和 46.19% 的 Macro-Recall，展示了优于基准模型的性能，后者往往会牺牲其中之一。
消融实验：
- 检索： 移除检索导致性能下降最大（F1 从 34.56% 降至 21.80%），证实了利用证据进行落地推理的必要性。
- 提示词演化： 使用手动模板替换演化后的提示词会导致性能下降 11.76%，验证了跨模型演化策略的有效性。
- 多智能体： 移除智能体架构（使用单一模型）导致 5.95% 的性能下降。
少样本性能（Few-Shot）： MulVul 在稀有 CWE 类型（少于 100 个样本）上表现出稳健的性能，F1 约为 48%，而表现最好的基准模型仅为约 25%。这突显了该系统在相关漏洞模式间迁移知识的能力。
路由参数 ( $k$ )： 发现最优路由参数为 $k=3$ ，此时 Macro-F1 达到峰值 34.79%。

意义与主张

本文声称 MulVul 代表了多类漏洞检测领域的新技术水平（SOTA）。其意义在于：

应对异质性： 通过将任务分解为粗粒度路由和细粒度检测，它克服了统一模型在处理多样化漏洞模式方面的局限性。
可扩展性： 跨模型提示词演化机制实现了数百个类别专门指令的自动化创建，使得广泛覆盖的检测在无需手动工程的情况下变得可行。
鲁棒性： 结合检索增强生成和隔离的智能体操作，有效地减轻了多智能体 LLM 系统中常见的幻觉和错误放大问题。

作者也承认了局限性，包括评估仅限于 C/C++ 代码、多次 LLM API 调用带来的计算成本，以及需要进一步评估提示词对其他 LLM 底座的迁移能力。他们还提到了自动化漏洞检测工具可能存在的双重用途风险。