🤖 AI

DeepGuard: Secure Code Generation via Multi-Layer Semantic Aggregation

DeepGuard 通过聚合多层语义表征来克服仅依赖最终层进行安全微调的瓶颈，利用注意力机制提取分散的漏洞判别信号，从而在保持代码功能正确性的同时显著提升了大语言模型生成安全代码的能力。

原作者： Li Huang, Zhongxin Liu, Yifan Wu, Tao Yin, Dong Li, Jichao Bi, Nankun Mu, Hongyu Zhang, Meng Yan

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Li Huang, Zhongxin Liu, Yifan Wu, Tao Yin, Dong Li, Jichao Bi, Nankun Mu, Hongyu Zhang, Meng Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DEEPGUARD 的新系统，它的任务是教人工智能（AI）写代码时，不仅要“写得对”，还要“写得安全”。

为了让你轻松理解，我们可以把写代码的 AI 想象成一位才华横溢但有点粗心的“天才厨师”。

1. 问题：天才厨师的“坏习惯”

这位厨师（AI 模型）读过互联网上所有的菜谱（训练数据）。虽然他能做出美味佳肴（功能正确的代码），但他也无意中记住了很多坏习惯。

比如，他习惯把生肉直接放在砧板上切（使用不安全的字符串拼接），而不是先洗手消毒（使用安全函数）。
以前，人们试图纠正他，通常只盯着他最后端出来的那盘菜（AI 的最后一层输出）。如果菜里有毒，就告诉他“下次别这么端”。
但是，论文发现了一个大漏洞： 就像厨师在切菜、炒菜、调味时，脑子里其实已经闪过“这样切肉不卫生”的念头了，但这些念头在菜端上桌时（最后一层）已经变得很模糊，甚至被“这道菜要好吃”的念头盖过去了。如果只盯着最后端出来的菜去纠正，就像只盯着成品菜骂，却不管他切菜时的坏习惯，效果自然不好。

2. 核心发现：坏习惯藏在“中间层”

研究人员做了一个实验，像做 CT 扫描一样，一层一层地检查这位厨师的大脑（Transformer 模型的每一层）。

发现： 那些关于“这里不安全”的警报信号，并不是在菜端上桌（最后一层）时最清晰，而是在烹饪过程的中间阶段（中间层到上层）最强烈。
比喻： 就像厨师在切洋葱时，眼睛已经红了（中间层信号强），但等到他把菜端给你时，他可能已经戴了护目镜，看起来若无其事（最后一层信号弱）。

3. 解决方案：DEEPGUARD（深度卫士）

既然坏习惯藏在“中间”，那我们就不能只盯着“最后”。DEEPGUARD 就像给这位厨师配了一位全能的“安全监工”。

A. 多视角聚合（Attention-based Aggregation）

以前的方法只看厨师最后端菜的手（最后一层）。DEEPGUARD 则不同，它有一个智能监控摄像头，能同时观察厨师在洗菜、切菜、炒菜（中间层到上层）时的每一个动作。

它把这些不同阶段的动作信息融合在一起。
如果厨师在切菜时手抖了一下（中间层出现不安全信号），哪怕最后端菜时看起来很稳，这个监工也能立刻发现：“嘿，刚才切菜的方式不对，有危险！”

B. 双重目标训练（Multi-Objective Training）

这个监工不仅负责抓坏人，还要保证菜好吃。

目标 1（安全）： 如果检测到不安全，就大声喝止（降低生成不安全代码的概率）。
目标 2（功能）： 同时提醒厨师：“别光顾着安全，菜还得好吃（代码功能要正确）。”
通过这种“既要又要”的训练，AI 学会了在保持代码好用的同时，自动避开那些危险的“切菜方式”。

C. 轻量级导航（Guided Inference）

在真正开始写代码（上菜）的时候，DEEPGUARD 还会给厨师一个**“安全指南针”**。

它不需要每写一个字都停下来重新检查一遍（那样太慢了）。
它根据用户的要求（比如“写个登录功能”），提前算好一个安全倾向。如果这个要求容易出漏洞，指南针就会稍微把厨师的手往“安全方向”推一点。
比喻： 就像开车时，导航仪提前告诉你“前方路口容易违章，请减速”，而不是等你撞了墙再报警。

4. 效果如何？

实验证明，DEEPGUARD 非常有效：

更安全： 它生成的代码中，既安全又正确的比例，比以前的最好方法（SVEN）平均提高了 11.9%。
不笨拙： 它没有让 AI 变笨，生成的代码依然功能正常，没有因为过度追求安全而写出无法运行的代码。
举一反三： 即使遇到以前没见过的新型病毒（未训练过的漏洞类型），它也能凭借学到的“安全直觉”识别并避开。

总结

DEEPGUARD 的核心思想就是：不要只盯着结果看，要关注过程。
它通过“透视”AI 大脑的中间层，捕捉那些稍纵即逝的安全信号，并把这些信号融合起来指导 AI 写代码。这就好比给 AI 装上了一套**“全过程安全监控系统”**，让它不仅能写出好代码，还能从源头上杜绝安全隐患。

一句话总结： 以前我们只教 AI“别端毒菜”，现在 DEEPGUARD 教 AI“在切菜、炒菜的全过程中都要注意卫生”，从而真正做出了既美味又安全的代码大餐。

DEEPGUARD：基于多层语义聚合的 Secure Code Generation 技术总结

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在代码生成任务中表现出色，但由于其训练数据包含大量公共代码（其中往往包含不安全的编码模式），导致生成的代码容易复制这些漏洞。现有的安全加固方法主要分为两类：

推理时干预（如提示词优化、协同解码）：通常将模型视为黑盒，无法从根本上修正模型的生成倾向。
训练时适应（如安全指令微调、Prefix-tuning）：虽然有效，但大多数方法存在一个关键缺陷——仅依赖 Transformer 的最后一层隐藏状态（Final Layer）。

核心问题：
作者通过逐层线性探测（Layer-wise Linear Probing）发现，漏洞判别信号（Vulnerability-discriminative cues）。

浅层和中层通常捕捉语法结构和局部语义。
深层（中间偏上层）编码更抽象的语义，是识别漏洞（如 SQL 注入中的字符串拼接与数据流分析）的关键区域。
最后一层瓶颈（Final-layer Bottleneck）：最后一层主要为了优化“下一个 Token 预测”任务，导致原本分散在中间层的漏洞特征在输出层变得模糊或不可分。现有的仅基于最后一层的方法因此丢失了丰富的安全上下文信息。

2. 方法论 (Methodology)

为了解决上述瓶颈，作者提出了 DEEPGUARD，一个结合模型适应与轻量级推理引导的混合框架。其核心思想是利用注意力机制聚合多层表示，而非仅依赖最后一层。

2.1 核心组件

A. 基于注意力的多层聚合 (Attention-based Multi-Layer Aggregation)

策略：不直接使用最后一层，而是选取模型顶部的 $N$ 层（例如最后 4 层）的隐藏状态。
机制：引入一个聚合器 $f_{agg}$ $f_{a g g}$ ，利用注意力机制将多层状态融合为一个聚合表示 $H_{agg}$ $H_{a g g}$ 。
- 使用多层状态的均值作为查询（Query），各层状态作为键（Key）和值（Value）。
- 这种机制能够动态地赋予对安全线索更敏感的层更高的权重，从而捕捉分布式的漏洞特征。

B. 多目标训练适应 (Multi-Objective Adaptation)

使用 LoRA 对基座模型进行微调，训练目标包含三个部分：

**安全与对比目标 **(Security & Contrastive Objective)：
- 训练一个专用的**安全分析器 **(Security Analyzer)，输入为聚合表示 $H_{agg}$ 和 Token 级别的安全嵌入。
- 使用**边际对比损失 **(Margin-based Contrastive Loss)，强制模型在安全样本上的得分高于漏洞样本，从而学习区分安全与不安全代码。
**保持流畅性 **(Preserving Fluency)：
- 在安全样本上保留标准的下一 Token 预测损失 ( $L_{gen}$ )，确保代码语法正确。
**防止灾难性遗忘 **(Preventing Catastrophic Forgetting)：
- 使用 KL 散度 ( $L_{kl}$ ) 约束微调后的分布与原始基座模型分布，防止模型功能能力下降。

C. 引导式推理 (Guided Inference)

在推理阶段，采用轻量级的引导策略，无需每步重新评估：

**Token 先验 **(Token Prior)：训练过程中统计 Token 与安全/漏洞上下文的关联，形成全局先验向量 $T_{stats}$ 。
**提示词条件化偏置 **(Prompt-conditioned Bias)：
- 根据输入提示词（Prompt）计算其安全得分，动态调整偏置强度。
- 将计算出的偏置向量直接加到 Logits 上，引导模型避开高风险 Token（如 os.system），倾向于安全 Token（如 subprocess）。
- 该过程仅在 Prompt 阶段计算一次，推理时直接复用，开销极小。

3. 主要贡献 (Key Contributions)

诊断证据：首次通过实验证明了漏洞判别信号在 Transformer 最后一层会显著衰减，揭示了现有安全微调方法仅依赖最后一层的局限性。
DEEPGUARD 框架：提出了首个利用注意力机制聚合多层表示的安全代码生成框架，通过多目标优化平衡了安全性与功能性。
卓越的性能与泛化：在五个主流代码 LLM（Qwen2.5-Coder, DeepSeek-Coder, Seed-Coder）上的实验表明，DEEPGUARD 在保持功能正确性的同时，显著提升了安全代码生成率，并对未见过的漏洞类型（Held-out CWEs）具有强大的泛化能力。

4. 实验结果 (Results)

基准测试：在五个模型上进行了广泛评估，对比了 SVEN、SafeCoder、CoSec 等强基线。
核心指标提升：
- Sec-Pass@1（既安全又正确的代码生成率）：DEEPGUARD 平均比强基线 SVEN 提升了 11.9%。
- 例如，在 Qwen2.5-Coder-3B 上，Sec-Pass@1 从 SVEN 的 70.47% 提升至 80.76%。
功能性保持：在提升安全性的同时，DEEPGUARD 保持了极高的功能正确性（Pass@1），与原始模型或基线相比几乎没有损失（例如 DeepSeek-Coder-6.7B 的 Pass@1 达到 88.47%，优于 SVEN 的 85.71%）。
泛化能力：在训练集中未出现的 4 种 CWE 类型上，DEEPGUARD 的 Sec@1pass 指标依然保持领先，证明了其学到了通用的安全原则而非死记硬背。
效率：推理时的引导策略仅带来极小的延迟（约 2% 的相对开销），远低于需要每步重评估的协同解码方法（如 CoSec）。

5. 意义与影响 (Significance)

理论突破：打破了代码 LLM 安全微调中“最后一层即最优”的固有假设，证明了中间层和上层对于理解复杂安全语义（如数据流、上下文依赖）的重要性。
实用价值：DEEPGUARD 提供了一种低成本、高效率的解决方案。它不需要复杂的推理时搜索或外部验证器，即可在生成阶段实时“ steering"（引导）模型避开漏洞，非常适合集成到实际的开发工具链中。
平衡性：成功解决了安全加固中常见的“安全性 vs. 功能性”权衡难题，证明了通过精细的多层特征利用，可以同时实现高安全和高可用性。

总结：DEEPGUARD 通过挖掘 Transformer 内部被忽视的多层语义信息，构建了一个更鲁棒的安全分析机制，为生成安全可靠的 AI 代码提供了一条新的技术路径。