🤖 AI

SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation

SPARK 是一个无需重训的推理时框架，它通过将基于检索的安全线索与轻量级的预计算标记偏置相结合，在不牺牲效用的情况下激活潜在的安全知识，从而增强了大语言模型中的安全代码生成。

原作者： Xiaoyun Xu, Lichao Wu, Jona te Lintelo, Siyu Zhang, Stjepan Picek

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyun Xu, Lichao Wu, Jona te Lintelo, Siyu Zhang, Stjepan Picek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题： “沉睡的专家”

想象一下，你雇佣了一位才华横溢的大厨，他背下了世界上所有的食谱，包括关于食品安全和如何避免客人中毒的大量章节。然而，当你请他做一道简单的菜时，他往往会忘记安全规则，端上一份危险的食物。

这正是**大语言模型（LLMs）**在编写代码时经常发生的情况。这些模型是在海量数据上训练出来的，其中包含了安全手册和编程错误（漏洞）列表。然而，当被要求编写代码时，它们经常生成容易被黑客利用的不安全代码。

旧的修复方法：
以前，研究人员认为模型只是“不知道”足够的知识。因此，他们尝试了两种昂贵的修复方案：

重新训练（微调）： 强迫大厨回到烹饪学校重新学习安全知识。这既缓慢又昂用，而且每请一位新大厨都需要开一门新课。
阅读笔记（检索）： 在大厨做饭时，递给他一大叠安全手册让他阅读。这会弄乱他的工作空间并降低他的速度。

新思路：SPARK

本文的作者认为，大厨其实已经知道了安全规则；他们只是没有**“醒过来”**去使用它们。模型在工作中处于“睡眠”状态。

他们创建了一个名为 SPARK（安全知识启发与表示引导的知识激活）的工具。可以将 SPARK 想象成一个温柔的“唤醒铃”，也是一个在厨师开始烹饪前发生的“安全提醒”。它既不改变大厨的大脑，也不强迫他阅读新书，它只是提醒他已经掌握的知识。

SPARK 有两个部分：

第一部分：“特定提醒”（组件 I）

SPARK 不仅仅是简单地说“要安全！”（这太笼统了），它会观察具体的任务，并找到适用的精确安全规则。

类比： 假设你正在编写一个 C++ 程序，将一段长字符串复制到一个小盒子里。模型可能会忘记盒子太小，从而导致文本溢出（缓冲区溢出）。
SPARK 的做法： 它查找针对这种错误的特定规则（在安全领域称为 CWE-120），并在提示词中添加一条精简且结构化的注释：“嘿，记住：不要让文本溢出！使用一种能检查盒子大小的方法。”
结果： 这个特定的线索唤醒了模型的潜在知识。它意识到：“噢对，我知道这条规则！”并开始编写安全的代码。即使是在无法触及内部结构的闭源模型（如 GPT 或 Claude）上，通过改变发送给它们的文本，这也同样有效。

第二部分：“安全推力”（组件 II）

这一部分仅在你拥有模型内部“思维过程”访问权限（白盒设置）时起作用。

类比： 想象大厨正在决定下一个要选哪种食材。他面前有一份清单，有些是安全的，有些是危险的。通常，他会选择最常见的那个，而那个可能是不安全的。
SPARK 的做法： 它计算一个“安全向量”——这是一个数学方向，指向“安全”并远离“不安全”。在编写代码的每一个步骤中，SPARK 都会给模型一个微小的、无形的推力，引导它走向安全的食材。
结果： 这就像一只温柔的手，引导着大厨的手走向安全的香料，确保他不会不小心抓起毒药。这个过程是即时的，几乎不会增加烹饪过程的时间。

他们发现了什么？

研究人员在 9 种不同的开源模型和 7 种商业模型（如 GPT-5 和 Claude）上测试了 SPARK。

效果优于其他方法： SPARK 让模型编写的代码比旧方法（重新训练或阅读笔记）明显更安全。在许多情况下，它能将安全性仅为 2% 的模型转变为安全性 80% 以上的模型。
不会破坏代码： 一个主要的担忧是，让代码变得“更安全”可能会使其“出错”（例如，代码没有按用户要求执行）。SPARK 保持了代码运行完美。模型的标准编程测试表现与之前一样出色。
快速且廉价： 因为 SPARK 不需要重新训练模型或阅读大部头书籍，所以它非常快速。它只是添加了一个微小的注释和一个微小的数学推力。
“唤醒”是真实的： 研究人员证明了模型确实知道这些安全规则。当使用 SPARK 时，模型的内部“想法”向着安全的方向偏移，证明了这个线索成功激活了已经存在的知识。

总结

论文声称，现代 AI 模型在安全方面并不是“愚笨”，它们只是**“休眠”**了。它们拥有知识，但需要正确的触发器来使用它们。SPARK 提供了这个触发器。它是一个轻量级、免费使用的工具，可以在不需要重建模型或降低速度的情况下，唤醒模型的安全本能。

技术摘要：SPARK – 安全知识启发与表示引导的知识激活

1. 问题陈述

大型语言模型（LLMs）经常生成包含可利用安全漏洞的代码，即使在明确提示其不要这样做的情况下也是如此。虽然现代 LLM 在预训练阶段已经接触了丰富的安全公告、漏洞数据库（如 CWE、CVE）和开发者文档，但它们在生成代码时往往无法应用这些知识。

本文认为，不安全生成的根源不是知识缺失，而是知识休眠问题。如果没有明确且有针对性的线索，统计压力会促使模型重现常见的（通常是不安全的）训练分布模式，从而抑制了模型潜在的安全相关表示。现有的防御机制试图通过以下方式进行补救：

微调（Fine-tuning）： 重新训练模型参数，这在计算上非常昂贵，存在灾难性遗忘的风险，并且需要为每个不同的骨干网络建立特定的流水线。
检索增强生成（RAG）： 将大量的外部代码示例注入提示词中，这引入了上下文冗余并显著增加了推理开销。

作者认为，瓶颈在于推理时的激活，而非知识的缺失，因此需要一种能够在不修改模型权重或不向上下文中填充冗余数据的情况下，触发现有内部表示的方法。

2. 方法论：SPARK

SPARK（Security Knowledge Priming And Representation-guided Knowledge Activation，安全知识启发与表示引导的知识激活）是一种无需训练、与模型无关的推理时框架，旨在激活潜在的安全知识。它由两个正交的组件组成：

组件 I：安全知识激活（提示词层面）

该组件通过在生成开始前检索并附加一个结构化线索到输入提示词中来运行。

机制： 与 RAG 检索完整代码示例不同，SPARK 根据编码任务从**常见缺陷枚举（CWE）**目录中检索最相关的 $K$ 个条目。
过程：
1. 使用句子转换器（如 all-MiniLM-L6-v2）对编码问题进行编码。
2. 计算与预编码的 CWE 条目索引之间的余弦相似度。
3. 将前 $K$ 个条目格式化为一个简洁的区块，包含 CWE ID、截断后的风险描述和缓解步骤。
4. 将此区块作为后缀附加到提示词中，确保它是生成 Token 前处理的最后信息。
目标： 通过明确命名相关的漏洞类别，起到“触发器”的作用，从而在不添加外部代码示例的情况下，使模型的现有安全表示得以浮现。

组件 II：安全性约束解码（Logit 层面）

该组件在自回归解码过程中强制执行对安全 Token 选择的持续偏置。

机制： 它利用了模型表示空间中的一个安全方向向量 ( $\delta$ )，该向量定义为安全代码（平均隐藏状态 $\bar{h}^+$ ）与不安全代码（平均隐藏状态 $\bar{h}^-$ ）之间的单位差值。
离线预计算：
1. 使用一小组配对的安全/不安全代码来计算 $\bar{h}^+$ 和 $\bar{h}^-$ 。
2. 计算安全方向 $\delta = (\bar{h}^+ - \bar{h}^-) / \|\bar{h}^+ - \bar{h}^-\|$ 。
3. 该向量通过语言模型头（ $W_{lm}$ ）进行投影，以产生预计算的 Token 安全偏置： $b = W_{lm} \cdot \delta$ 。
推理： 在每个解码步骤 $t$ ，将偏置 $b$ 添加到原始 Logits 中： $\tilde{\ell}_t = \ell_t + b$ 。
成本： 这种干预在每个 Token 仅需进行一次向量加法，产生的运行时开销可以忽略不计。

集成

这两个组件是可组合的。组件 I 在提示词层面建立安全相关的上下文，而组件 II 在随后的每个解码步骤中强化约束。组件 I 可以在黑盒设置（API 访问）下独立工作，而组件 II 则需要对 Logits 的白盒访问权限。

3. 核心贡献

扩展评估： 本文将安全评估扩展到了最先进的商业系统（包括 GPT、Claude、DeepSeek 系列），尽管这些系统能力极高，但在安全行为方面此前未得到充分研究。
新的激活视角： 提出安全知识已经编码在预训练模型中，可以通过轻量级的推理时线索进行激活，而不是通过外部知识注入或权重修改。作者通过展示提示词线索本身就能将模型的内部表示转向“安全方向”来验证了这一点。
全面的实证研究： 研究涵盖了 9 个开源模型（包括针对更大变体的缩放分析）、7 个商业模型和 3 种编程语言（C++、Java、Python），并将 SPARK 与 7 种基准方法（微调、检索增强和协同解码方法）进行了对比。

4. 实验结果

安全性能

无需训练的基准方法： 在开源模型中，SPARK 实现了平均 63.8% 的安全代码率，显著优于仅提示（prompt-only）基准（30.3%）和基于检索的方法（RESCUE: 48.9%, CodeGuarder: 54.1%）。在许多设置下，它在不进行任何参数更新的情况下达到了或超过了最佳的微调基准。
黑盒商业模型： 组件 I 单独作用时，使前沿商业模型（如 Claude、GPT-5.5、DeepSeek）在完全黑盒设置下的安全代码率平均提升了高达 37.8%，这表明即使是顶级模型在没有特定线索时也会无法激活安全知识。
与微调的协同效应： 当与微调结合使用时（SPARK+），该方法达到了平均 85.8% 的安全代码率，在 18 个模型-语言设置中的 11 个中达到了最好或并列最好的结果。它有效地修复了微调在特定语言中失效的“回归”问题。

效用保持

HumanEval： SPARK 保留了 HumanEval 基准上的功能正确性（pass@1）。对于大多数模型，变化微乎其微（平均 +0.1%）。与往往因上下文拥挤而降低效用的检索类方法不同，SPARK 简洁的线索不会损害模型解决主要编码任务的能力。
对比： 微调方法（如 SVEN、LoRA）与 SPARK 相比，表现出更大的效用下降和更大的波动。

消融与分析

组件贡献： 组件 I（CWE 线索）是性能提升的主要驱动力，它将 CodeLlama-7B 在 C++ 上的安全代码率从 2.1% 提升到了 71.1%。组件 II 在叠加在组件 I 之上时提供了持续但适度的额外增益。
表示偏移： 对模型隐藏状态的探测证实，CWE 线索将表示向安全方向向量 $\delta$ 移动，验证了“激活”假设。
检索深度： 研究发现最优的检索深度为 $K \in \{3, 5\}$ 个 CWE 条目；进一步增加 $K$ 会导致注意力稀释并降低安全性表现。

5. 重要性与主张

本文声称，不安全代码生成从根本上是一个激活问题，而非知识缺乏问题。SPARK 证明了：

预训练模型拥有大量的潜在安全知识，但这些知识被默认的统计先验所抑制。
这些知识可以通过轻量级、无需训练的干预（结构化线索和 Logit 偏置）来解锁，这些干预具有计算高效性和模型无关性。
SPARK 提供了一个稳健的替代方案，既不需要沉重的微调，也不需要高上下文负荷的检索，它提供了一个“安全底线”，补偿了微调模型中的分布偏差，并激活了商业 API 中的休眠知识。

作者总结道，SPARK 通过利用模型自身的预训练知识（这是最大的可用安全资源），取代了在推理时需要外部安全资源的需求。