🤖 AI

An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors

这项实证研究表明，大型语言模型（尤其是像 DeepSeek-R1 这样针对推理优化的模型）在安全代码审查中显著优于最先进的静态分析工具，同时指出提示工程策略、代码复杂度和文件大小是影响其检测准确性和响应质量的关键因素。

原作者： Jiaxin Yu, Peng Liang, Yujia Fu, Amjed Tahir, Mojtaba Shahin, Chong Wang, Yangxiao Cai

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxin Yu, Peng Liang, Yujia Fu, Amjed Tahir, Mojtaba Shahin, Chong Wang, Yangxiao Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家庞大而混乱的图书馆的编辑，成千上万的人正在为这部巨大的共享故事不断撰写新章节。你的工作是找出危险的剧情漏洞、可能导致整个故事崩溃的情节转折，或是可能让窃贼潜入并偷走书籍的页面。这就是安全代码审查。

传统上，你有两种方法来完成这项工作：

人类编辑：一位疲惫的专家阅读每一个字。他们擅长理解上下文，但速度慢且成本高昂。
自动化拼写检查器：一个扫描已知不良词汇的机器人。它速度快，但经常在没有问题的情况下大喊“错误！”（误报），并且会错过微妙而巧妙的伎俩。

本文问道：一种新型的“超级读者”（大语言模型或 LLM）能否比旧的拼写检查器做得更好？

以下是研究人员发现的成果，通过简单的类比进行解释：

1. 竞争者：谁来到了图书馆？

研究人员引入了七位不同的“超级读者”（LLM）。其中一些是通用型的（擅长写诗和邮件），而另一位是“推理优化”模型（专门训练为像侦探一样逐步思考）。他们还带来了旧的“自动化拼写检查器”（静态分析工具），以看看谁能获胜。

结果：超级读者彻底击败了旧的拼写检查器。“推理优化”的侦探（称为DeepSeek-R1）是无可争议的冠军，紧随其后的是GPT-4（你可能从 ChatGPT 中认识的那个）。旧工具被远远甩在身后，主要是因为它们会被复杂的故事情节（如代码中的竞态条件）搞糊涂，而这些情节需要理解故事的不同部分如何随时间相互作用。

2. 魔法提示：提问方式很重要

就像向图书管理员提问一样，你如何向超级读者提问至关重要。研究人员尝试了五种不同的提问方式：

基本提问：“找出漏洞。”
上下文提问：“这是提交信息（作者留下的关于他们更改内容的说明）。请逐步思考。”
作弊清单提问：“这是一份已知犯罪类型的列表（CWE 列表）。请查找这些。”

获胜者：

对于DeepSeek-R1，最佳方法是给它作者的说明（提交信息），并让它“逐步思考”（思维链）。这就像给侦探嫌疑人的日记，并要求他们逻辑地走过犯罪现场。
对于GPT-4，最佳方法是给它“作弊清单”（已知犯罪列表）。当它有一份具体的检查清单可以遵循时，效果最好。

3. 缺陷：即使超级读者也会犯错

研究人员不仅查看了谁发现了漏洞，还查看了超级读者如何报告这些漏洞。他们发现了两种截然不同的性格缺陷：

GPT-4（模糊的诗人）：它经常能找到正确的问题，但描述得模糊不清。它可能会说“此文件中某处存在安全风险”，却没有指出确切的行号。它有时还会忽略指令，例如在没有漏洞时忘记说“未发现漏洞”。
DeepSeek-R1（过度自信的核查者）：这个模型非常具体。它会指出确切的行号和代码片段。然而，它有时会幻觉。它可能会自信地指向第 42 行并说“这一行很危险”，而实际上第 42 行是安全的。这就像一位急于破案而捏造不存在证据的侦探。

4. “大海捞针”问题

研究人员发现，当故事变得太长时，这些超级读者会感到吃力。

短文件：它们在查找简短、精炼的代码文件中的漏洞方面表现出色。
长文件：随着代码变长（更多的“令牌”），超级读者会分心。它们会错过埋藏在巨大文件中间的小而危险的细节。这就像试图在一本 500 页的小说中寻找一个拼写错误；你的眼睛会发花，从而错过它。

5. 复杂性悖论

这里有一个令人惊讶的转折：

通常，我们认为复杂的代码更难检查。
但对于DeepSeek-R1，更复杂的代码实际上有助于它发现某些类型的漏洞（内存相关的除外）。
为什么？ 研究人员认为，复杂的代码通常在文件本身中包含更多的“线索”和结构。超级读者可以利用这些内部线索来推理问题。简单而杂乱的代码提供的线索较少，使得 AI 更难弄清楚发生了什么。

结论

该论文得出结论，AI 超级读者是强大的新工具，目前在查找代码中的安全漏洞方面优于传统的自动化扫描器。然而，它们尚未完全取代人类编辑。

DeepSeek-R1 最擅长通过推理解决问题，但需要有人监督，以防它捏造事实。
GPT-4 擅长遵循检查清单，但可能过于模糊。
策略：最佳方法不是取代人类，而是将这些 AI 工具用作初步筛选。让 AI 先扫描简短、复杂的文件，然后由人类编辑对 AI 的工作进行复核，特别是在 AI 过于自信或过于模糊的时候。

该论文并未声称这些工具已准备好独自管理图书馆，也未暗示它们是完美的。它仅仅表明，它们是一种非常有前途的新助手，需要谨慎处理。

标题： 大语言模型在安全代码审查中的洞察：能力、障碍与影响因素

问题陈述
安全代码审查是防止数据泄露和财务损失的关键但劳动密集型过程。尽管组织日益将安全分析集成到代码审查中，但现有的自动化工具（静态/动态/混合分析）存在泛化能力差、误报率高以及检测粒度粗糙等问题。此外，基于传统机器学习或深度学习的数据驱动方法，由于缺乏真实训练数据集，往往缺乏鲁棒性，在现实世界项目中的表现不佳。尽管大语言模型（LLMs）在各类软件工程任务中已展现出潜力，但其在安全代码审查这一细粒度场景中的具体能力、局限性以及影响其性能的因素，在很大程度上仍未被探索。

方法论
作者进行了一项实证研究，以评估大语言模型在代码审查中检测安全缺陷的潜力。该研究使用了一个手动 curated 的数据集，包含来自四个开源项目（OpenStack Nova/Neutron 和 Qt Base/Creator）的 534 个代码文件（258 个 Python 文件，276 个 C/C++ 文件），其中包含 614 条与安全相关的审查评论。

评估模型： 测试了七个大语言模型，包括专有模型（GPT-4、GPT-4 Turbo、Gemini Pro）、开源模型（Llama 2 7B、Llama 2 70B）以及推理优化模型（DeepSeek-R1）。
提示工程： 基于最佳实践和先前策略设计了五种不同的提示模板：
1. 基础提示（ $P_b$ ）： 直接指令审查代码。
2. 项目信息（ $P_r$ ）： 添加项目名称上下文。
3. 通用 CWE 指令（ $P_c$ ）： 指令使用 CWE 作为参考。
4. 特定 CWE 指令（ $P_{cid}$ ）： 提供顶级 CWE 列表。
5. 思维链（ $P_{cot}$ ）： 两阶段提示，要求模型先从提交信息中生成代码上下文，再分析缺陷。还测试了一个“护栏”版本（ $P_{cot-guardrail}$ ），以隔离生成上下文的影响。
评估指标： 响应被手动标记为四类：有效（准确的缺陷类型、位置和描述）、有帮助（部分准确）、误导（检测失败或漏报）和不确定。指标包括 I-Score、IH-Score 和 M-Score。一致性通过三次实验运行的响应熵来衡量。
分析： 该研究将大语言模型的性能与最先进的静态分析工具（如 CodeQL、Bandit、CppCheck）进行了比较。对于表现最佳的模型，语言分析识别了质量问题（如幻觉、模糊性）。最后，构建了累积链接回归模型，以分析 11 个因素（如 token 数量、代码复杂度、缺陷类型）对性能的影响。

主要贡献

细粒度评估： 对流行大语言模型在安全代码审查中的表现进行了全面评估，超越了二元分类，评估了缺陷定位、描述和修复建议。
非确定性分析： 测量了大语言模型非确定性对安全代码审查结果一致性的影响。
质量问题量化： 识别并量化了表现最佳模型响应中的具体质量问题，包括幻觉（事实性和忠实性）。
影响因素分析： 进行了首次回归分析，从统计上验证了特定代码和项目属性如何影响该领域中大语言模型的性能。

结果

性能与基线对比： 大语言模型在安全代码审查中显著优于最先进的静态分析工具。在大语言模型中，推理优化模型（DeepSeek-R1）的表现超过了通用模型。
表现最佳者： DeepSeek-R1 取得了最高的整体性能，其次是 GPT-4（通过 ChatGPT 平台）。
- 最佳提示： DeepSeek-R1 在结合提交信息和思维链（CoT）指导的提示（ $P_{cot-guardrail}$ ）下表现最佳。GPT-4（ChatGPT）在包含特定 CWE 列表的提示（ $P_{cid}$ ）下表现最佳。
质量问题：
- GPT-4（ChatGPT）： 经常产生模糊的表达，且在遵循指令方面存在困难（例如缺少行号），尽管其在代码细节方面的 factual errors 较少。
- DeepSeek-R1： 更容易生成不准确的代码细节（例如错误的行号或函数名），并表现出更高比率的“错误事实”幻觉，尽管其遵循指令的能力更强。
影响因素：
- Token 数量： 大语言模型更擅长识别 token 数量较少的文件中的缺陷；随着 token 数量增加，性能普遍下降。
- 注释： 代码中存在与安全相关的注释提高了检测能力。
- 复杂度： 对于特定缺陷类型（不包括内存相关类型），代码复杂度越高，DeepSeek-R1 的检测能力越强，这与“复杂度总是阻碍检测”的假设相反。
- 一致性： 检测能力较强的模型（DeepSeek-R1、GPT-4 ChatGPT）在不同运行中表现出较低的一致性（较高的熵），而能力较弱的模型则相反。

意义与主张
该论文主张，虽然当前的大语言模型尚不能完全取代人工审查员，但它们作为强大的辅助工具，在检测安全缺陷方面显著优于传统静态分析工具。研究强调，大语言模型的有效性高度依赖于提示工程（特别是包含提交信息、CoT 或 CWE 列表）以及被审查代码的具体特征（token 数量、复杂度、注释）。

作者强调，大语言模型的非确定性是一把双刃剑：具备更深层次推理能力（从而检测能力更强）的模型往往产生更不一致的输出。他们得出结论，需要采用多层审查策略，即由大语言模型处理低难度代码（token 较少）的初步审查，而由人类专家专注于高难度代码并验证大语言模型的发现。该研究还强调，未来的工作需要解决关于代码细节的幻觉问题，并在不牺牲检测灵敏度的情况下提高大语言模型输出的稳定性。

1. 竞争者：谁来到了图书馆？

2. 魔法提示：提问方式很重要

3. 缺陷：即使超级读者也会犯错

4. “大海捞针”问题

5. 复杂性悖论

结论

类似论文