技术摘要：通过蜕变测试与关联规则挖掘对 LLM 生成代码进行跨领域安全分析

问题陈述

大语言模型（LLMs）经常生成包含安全漏洞的代码。尽管先前的研究已经证实 LLM 生成的代码通常是不安全的，但现有的评估方法通常将漏洞视为孤立的缺陷（例如，将 SQL 注入与缓冲区溢出分开分析）。这种方法忽略了软件安全的跨领域特性（cross-cutting nature），即身份验证、凭据管理、输入验证和内存安全方面的失效往往在同一个制品中共同出现。因此，当前的方法无法诊断这些漏洞是如何聚集在一起的，也无法识别哪些提示词特征驱动了更广泛的、系统性的安全风险。

研究方法

作者提出了一个四阶段框架，该框架集成了蜕变测试（Metamating Testing, MT）与关联规则（Association Rule, AR）挖掘，旨在检测、诊断并解释 LLM 生成代码中的安全失效。

1. 数据生成（阶段 A）： 本研究利用了 LLMSecEval 基准测试，该基准包含 148 个独特的自然语言提示词，涵盖 18 个常见弱点枚举（CWE）类别。这些提示词在五种开源模型（Qwen3-Coder, Qwen2.5-Coder, DeepSeek-Coder, CodeGemma, 和 Gemma4:e4b）上分别执行了五次运行，共生成了 3,700 个代码片段（Python 和 C）。
2. 蜕变判定（阶段 B）： 作者定义了一个包含**九个面向安全性的蜕变关系（MRs）**的目录，涵盖主要的 CWE 类别，包括 SQL 注入 (CWE-89)、XSS (CWE-79)、命令注入 (CWE-78)、路径遍历 (CWE-22)、身份验证绕过 (CWE-862)、硬编码凭据 (CWE-798)、弱加密 (CWE-327)、缓冲区溢出 (CWE-120) 和整数溢出 (CWE-190)。
   • 基于 LLM 的判别器（Claude Sonnet 4.6）根据这些 MRs 对每个代码片段进行评估。
   • 对于每个 MR，判别器确定其适用性，提供判定结果（违反/通过/不适用），并给出证据。
   • 这一过程构建了一个二进制违规矩阵，其中行代表代码片段，列代表 MRs。
3. 关联规则挖掘（阶段 C）： 使用 Apriori 算法处理违规矩阵，以发现频繁出现的共违规模式。通过支持度（support）、置信度（confidence）和提升度（lift）（其中 lift > 1 表示存在超出统计独立性的正相关性）来评估规则。此步骤旨在识别“跨领域”的漏洞集群。
4. 提示词级风险分析（阶段 D）： 作者将识别出的违规模式与提示词特征（包括结构化指标、主题关键词（如数据库、身份验证、内存）、安全意识措辞以及多主题复杂度）进行关联。他们还测量了跨模型的连贯性，以确定漏洞是提示词固有的还是模型依赖的。

基线（Baselines）： 该方法与四种静态分析工具（CodeQL, Bandit, Flawfinder, Semgrep）以及 LLMSecEval 基准测试中提供的安全代码样本进行了对比。

核心贡献

1. 面向安全的 MR 目录： 定义并应用了九个专门用于 LLM 生成代码验证、涵盖主要 CWE 类别的蜕变关系。
2. 跨领域结构化诊断： 通过将 AR 挖掘与 MR 结果相结合，揭示了安全失效呈现为结构化集群而非孤立的缺陷。
3. 提示词级风险分析： 提出了一种将共违规集群与特定提示词特征联系起来的新颖分析方法，识别了哪些主题驱动了广泛的不安全性。
4. 大规模实证评估： 在来自五种不同开源模型的 3,700 个代码片段上进行了全面的评估，为跨领域漏洞的普遍性和性质提供了证据。

关键结果

漏洞流行度

• 68.8% 的所有生成代码片段至少违反了一个 MR。
• 在适用的片段中，硬编码凭据 (MR6) 和 命令注入 (MR3) 是最普遍的失效（分别为 79.1% 和 74.4%）。
• SQL 注入 (MR1) 的违规率最低 (11.5%)，表明 LLMs 已部分内化了参数化查询模式。
• 模型性能： DeepSeek-Coder (6.7B) 生成的代码最不安全（违规率为 73.8%），而 Gemma4:e4b (4.5B) 最安全（65.1%）。值得注意的是，模型规模与安全性之间并不存在线性相关性；最大的模型 (Qwen3-Coder, 30B) 并非最安全的模型。

检测有效性

• 基于 MR 的方法检测到了 68.8% 的脆弱代码片段。
• 相比之下，四种标准 SAST 工具（CodeQL, Bandit, Semgrep, Flawfinder）的并集仅检测到了 34.2%。
• SAST 工具未能检测到语义层面的违规，例如身份验证绕过（检测率为 0%）和硬编码凭据（仅检测到 44/651 个）。

跨领域共违规模式 (RQ2)

AR 挖掘识别出了 44 条关联规则，揭示了两个主要的漏洞集群：

1. 身份验证–凭据–加密 集群： 一个涉及身份验证绕过 (MR5)、硬编码凭据 (MR6) 和弱加密 (MR7) 的紧密耦合组。
   • 关键发现： 规则 XSS ∧ WeakCrypto ⇒ HardCred 的置信度为 82.5%，提升度为 3.23。
   • 硬编码凭据和缺失授权检查是最频繁的共违规对（226 个片段）。
2. 输入处理–内存安全 集群： 将 XSS、路径遍历和缓冲区溢出联系起来。
   • 关键发现： XSS ∧ PathTrav ⇒ BuffOvf (置信度 63.0%, 提升度 2.04)。

• 集群间的桥梁： 规则 AuthByp ∧ BuffOvf ⇒ XSS (置信度 33.3%) 连接了这两个集群，表明某些提示词会触发跨越身份验证和内存安全领域的失效。

提示词级驱动因素 (RQ3)

• 预测因子： 数据库相关的提示词是整体脆弱性的最强预测因子 (r = 0.52)，其次是身份验证主题 (r = 0.43)。
• 集群特异性： 数据库和身份验证关键词强烈预测了集群 1，但不能预测集群 2。相反，文件 I/O 关键词是集群 2 的唯一预测因子 (r = 0.31)，这种关系在总数分析中会被忽略。
• 安全意识： 明确要求编写安全代码（例如使用“安全”、“净化”等关键词）与更安全输出之间没有相关性 (r = -0.04)。
• 跨模型一致性： 在 65.5% 的提示词中，五个模型对违规状态达成了一致。高风险提示词（触发两个集群的提示词）包含数据库关键词的可能性比低风险提示词高 14.2 倍，包含身份验证关键词的可能性高 6.8 倍。

意义与主张

本文认为，LLM 不安全的生成行为不仅仅是独立缺陷的集合，而是一种受提示词驱动的结构化现象。

• 整体性安全失效： 发现强烈的跨领域集群（例如身份验证绕过、硬编码凭据和弱加密的三位一体）表明，LLMs 缺乏整体的安全模型。它们可能学会了参数化 SQL 查询（低 SQLi 率），但同时却无法避免实现这些查询所需的硬编码凭据（高 HardCred 率）。
• 提示词驱动风险： 高水平的跨模型一致性 (65.5%) 表明，漏洞主要由提示词内容驱动，而非特定的模型架构。这意味着，侧重于提示词工程或训练数据的缓解策略可能比单纯更换同等规模的模型更有效。
• 实际影响：
  • 基于集群的验证： 开发人员应采用“基于集群”的审查策略；检测到一个漏洞（如硬编码凭据）应立即触发对同一集群中相关漏洞（如弱加密）的检查。
  • 针对性干预： 自动化工具可以根据特定的主题关键词（如数据库 + 文件 I/O）标记提示词，从而预测特定的漏洞集群，而不仅仅是估计整体风险。
  • 表面指令的局限性： 安全意识措辞与安全输出之间缺乏相关性，这强化了当前的 LLMs 无法响应表面层面的安全指令这一事实，使得生成后的验证变得至关重要。

作者总结道，他们的框架使研究能够从简单的检测转向结构化诊断和提示词级解释，通过对安全失效之跨领域本质的数据驱动洞察，为更安全的 LLM 辅助编程奠定了基础。