🤖 machine learning

Detecting Contaminated Code-Generation Prompt Batches via Influence Functions

该论文介绍了 CodeSIFT，这是一种与威胁模型无关的检测方法，它利用影响函数通过衡量恶意代码生成提示词对模型参数产生的异常影响来识别恶意批次，从而在不依赖预定义攻击模式的情况下，实现对各种漏洞的高检测准确率。

原作者： Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大厨，刚刚雇佣了一位非常有才华但又带点恶作剧倾向的副厨。这位副厨是一个人工智能（AI），它可以为你编写食谱（代码）。通常情况下它表现出色，但有时，如果你问的方式不对，它可能会偷偷塞进一个看起来美味诱人、实则含有隐藏毒素的食谱，比如压力锅上缺少了一个安全阀，或者一扇门没锁好。问题在于，AI并不知道自己在做错事，它只是在执行你的指令。

长期以来，安全专家一直试图通过保留一张包含所有已知毒素的巨大“通缉令”来抓住这些坏食谱。如果一个食谱看起来像已知的毒素，就会被标记出来。但如果坏蛋发明了一种海报上还没有的新型毒素呢？旧的方法会对它视而不见。这篇由牛津大学研究人员撰写的论文正是针对这一问题。他们提出了一种新的方法，不再是通过观察食谱本身来捕捉坏的 AI 指令，而是通过倾听 AI 的“大脑”在听到请求时的反应。他们使用了一种名为“影响函数”（influence functions）的数学工具，这就像是一个超灵敏的地震仪，可以测量一个特定请求会让 AI 的内部设置产生多大的震动。如果一个请求引起了与正常请求相比巨大的、异常的震颤，那么它很可能是一个陷阱。

问题所在：“坏提示词”陷阱

大型语言模型（LLM）是背后支撑那些为我们编写计算机代码的工具的“大脑”。它们非常有用，帮助开发者构建从登录界面到数据库连接的一切。但问题在于：如果你以正确（或错误）的方式提问，它可以生成看起来完美无瑕但带有隐藏安全漏洞的代码。这些漏洞就像大坝上的隐形裂缝；水（数据）看起来很正常，直到突然爆发。

阻止这种情况的常用方法是使用“静态分析器”。把它们想象成安全领域的“拼写检查器”。它们会扫描 AI 编写的代码，寻找已知错误列表中的项，比如“使用弱密码”或“忘记锁门”。但这种方法有一个巨大的缺陷：它只有在错误已经在列表上的情况下才有效。如果黑客发明了一种全新的入侵方式，或者诱导 AI 犯下一个尚未被编入目录的微妙错误，拼写检查器就会完全漏掉它。研究人员认为，依赖已知坏事的列表，就像试图通过只寻找流感病毒来阻止一种新病毒一样。

新思路：倾听 AI 的“心跳”

作者们并没有去观察 AI 生成的代码，而是决定观察在 AI 思考时其大脑内部发生了什么。他们使用了影响函数的概念。

为了理解这一点，请想象 AI 已经被训练处理了数百万个正常、安全的编码任务。它的脑子就像一台调音完美的钢琴。当你弹奏一个正常的音符（安全的提示词）时，钢琴会以一种熟悉且可预测的方式振动。但如果你弹奏一个完全跑调的音符，或者要求钢琴去做它从未被训练过的事情（恶意提示词），钢琴的琴弦会产生奇怪的振动。“影响函数”是一种衡量在演奏特定音符时，钢琴内部张力变化程度的方法。

研究人员将他们的工具称为 CodeSIFT。其运作步骤如下：

基准线： 首先，他们向 AI 输入大量正常的、安全的编码请求。他们测量 AI 的内部“设置”如何响应这些请求而产生微小的波动。这为 AI 创建了一个“正常心跳”。
测试： 然后，他们向 AI 输入一批新的请求。其中一些可能是安全的，但其中一些可能是旨在诱骗 AI 编写坏代码的“有毒”提示词。
测量： 对于每个新请求，CodeSIFT 会计算为了适应该请求，AI 的内部设置需要发生多大的偏移。如果一个请求很奇怪或具有恶意，AI 必须在其内部逻辑上做出巨大的、不自然的跳转。这会产生一个巨大的“影响得分”。
判定： 如果一整批请求的平均“波动”比正常心跳要大得多，CodeSIFT 就会发出警报。它并不关心具体的错误是什么；它只是知道这个请求引起了异常的反应。

研究发现

团队在三个不同的 AI 模型（参数量从 30 亿到 70 亿不等）和两种不同的复杂场景下测试了 CodeSIFT：一种涉及密码和登录安全（AuthSec），另一种涉及云服务器和网络技巧（InfraCloud）。他们创建了一个包含 400 个恶意提示词和 400 个安全提示词的特殊数据集进行测试。

结果非常令人鼓舞。当他们混合加入一批坏提示词时，随着坏提示词数量的增加，CodeSIFT 识别它们的能力也随之增强。

在密码安全测试中，它的准确率极高，当批次被严重污染时，得分达到了 0.98（其中 1.0 为完美）。
在云安全测试中，虽然难度稍大，但表现依然强劲，得分也达到了 0.98。
至关重要的是，它不会经常“虚报”。当他们只输入安全提示词时，它几乎每次都能正确识别为安全，保持了极低的“误报率”。

相比之下，旧的“拼写检查器”方法（如 Bandit 和 Semgrep）表现得并不稳定。有时它们有效，但经常会完全漏掉坏提示词，或者更糟的是，当 AI 模型发生变化时，它们会开始将安全代码标记为危险。研究人员发现，这些旧工具过于关注表面模式，而这些模式在不同 AI 模型之间的迁移性很差，而 CodeSIFT 通过倾听 AI 内部反应的方法在所有模型中都表现出了良好的通用性。

为什么这很重要

这项发现最令人兴奋的部分在于，CodeSIFT 不需要预先知道攻击的具体样子。它不需要一份已知的病毒清单。它只需要知道“正常”是什么样子的。这表明在未来，我们或许可以通过观察我们向 AI 提问时的反应，来保护我们的 AI 编程助手免受全新的、从未见过的攻击。

作者们指出，这种方法是一个非常有前景的方向。虽然他们在高达 70 亿参数的模型上进行了测试，但他们相信这种数学逻辑也可以应用于更大的模型。然而，他们也指出，目前这仍然是对“批次”请求的测试，而不是为了在一百万个安全请求中捕捉单个坏提示词。但就目前而言，它提供了一种全新的、聪明的办法，让我们通过倾听 AI 的心跳，在它写下第一行危险代码之前就抓住那些捣蛋鬼。

技术摘要：通过影响函数检测受污染的代码生成提示词批次

问题陈述

大型语言模型（LLM）正越来越多地被部署于代码生成领域，然而它们仍易受到诱导产生不安全实现的提示词攻击。现有的防御机制（如静态分析工具 Bandit、Semgrep 以及污点追踪器）依赖于预定义的威胁模型或已知漏洞模式。这些方法对于超出其特定目录范围的新型攻击向量或变体是盲目的。此外，虽然目前已存在针对指令遵循行为的越狱（Jailbreak）或提示注入（Prompt Injection）检测器，但尚无可靠的方法能够专门检测导致代码生成中出现“失调”（Misalignment）的提示词——即引入了在执行相同任务时良性补全不会出现的安全性相关缺陷（根据 CWE/OWASP 标准）。核心挑战在于，如何在没有预先知晓特定漏洞类别或攻击方法的情况下，检测出恶意的提示词批次。

方法论：CodeSIFT

作者提出了 CodeSIFT，这是一种利用**影响函数（Influence Functions）来识别诱发异常模型行为的提示词批次的威胁模型无关（Threat-model-agnostic）**检测方法。CodeSIFT 并非通过分析生成的代码是否存在特定漏洞，而是通过衡量生成代码的“参数空间影响”来确定候选提示词集是否偏离了良性参考分布。

核心机制

影响函数 (IFs)： 该方法量化了特定训练样本（在此场景下为生成的响应）对模型参数的影响。它估算了如果某个示例在训练过程中被增加权重，模型参数会发生多大的偏移。
- 形式上，对于提示词 $z$ 和响应 $\hat{z}$ ，影响得分衡量的是参数更新的幅度 $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$ ，其中 $\hat{\theta}$ 是收敛后的参数， $\hat{r}$ 是近似近端布雷格曼响应函数（Proximal Bregman Response Function, PBRF）的线性化响应函数。
- 其前提是：由恶意提示词诱发的响应（失调）相比于由良性提示词诱发的响应，需要更大的参数偏移才能进行适配，因为这类响应与模型的良性训练分布不一致。
统计检验：
- 算法为候选批次 ( $D$ ) 中的每个提示词和已知的良性参考批次 ( $D^*$ ) 计算影响得分 ( $IF_{p,\varepsilon}(z)$ )。
- 它聚合这些得分，并执行 Welch 单侧双样本 t 检验，将候选批次的平均影响与良性参考进行比较。
- 假设： $H_0$ （良性）：候选批次产生的平均参数空间影响与良性参考相同。 $H_1$ （恶意）：候选批次诱发了显著更大的参数偏移。
- 如果 p 值低于显著性阈值 $\alpha$ ，则该批次被标记为受污染。
计算效率：
- 为了处理大规模模型中计算精确逆 Hessian 矩阵的难解性，作者采用了 Kronecker-Factored 近似曲率 (K-FAC) 近似法。
- 他们采用了一种“单侧简化”方案，仅保留与 Transformer 隐藏维度相关的 Kronecker 因子，并舍弃了较大的 MLP 中间维度因子。
- 稠密曲率因子是在一个独立的曲率数据集 ( $D_c$ ，即 The Stack v2 的一个子集) 上预先计算的，该数据集近似于模型的预训练分布，从而避免了对原始训练数据的访问需求。

核心贡献

一种新型检测框架： 提出了 CodeSIFT，这是一种基于影响函数检测恶意代码生成提示词的统计检验方法。不同于以往将 IF 用于可解释性或泛化性研究的工作，本研究将影响作为一种聚合检测统计量，无需对威胁模型做任何假设。
新基准数据集： 构建了两个新数据集：AuthSec（身份验证、授权、会话安全）和 InfraCloud（基础设施、云、协议漏洞利用），每个数据集包含 200 个恶意提示词及相应的良性参考集。这些数据集专为批次级判别而非单样本漏洞评分而设计。
全面评估： 在三个开源代码 LLM（3B 到 7B 参数规模）上对 CodeSIFT 进行了评估，并将其与三种静态分析基准（Bandit、Semgrep 和自定义 AST 污点追踪器）进行了对比。

实验结果

作者在三个模型上评估了 CodeSIFT：Granite-3B、DeepSeek-Coder-6.7B 和 Qwen2.5-Coder-7B。

检测准确度 (AUROC)：
- CodeSIFT 表现出随着注入率（批次中恶意提示词的百分比）增加而单调提升的检测准确度。
- 在 AuthSec 数据集上，当污染程度达到中等水平（40-50%）时，AUROC 接近完美（趋近于 1.0）。
- 在更具异质性的 InfraCloud 数据集上，AUROC 根据模型不同，峰值介于 0.88 和 0.98 之间。
- 相比之下，静态基准在不同模型上的表现并不一致。虽然 Bandit 在 DeepSeek-Coder 上表现良好，但在其他模型上表现接近随机猜测。Semgrep 和 AST 污点追踪器随着注入率的增加，经常表现出低于 0.5 的 AUROC（与真实标签负相关）。
误报控制：
- CodeSIFT 在所有模型和数据集上均保持了校准良好的误报率 (FPR)，其数值紧随标称显著性水平 $\alpha$ （范围在 0.01 到 0.09 之间）。
- 静态基准表现出不一致的校准情况，由于其基于单样本标记的二元性质，常呈现阶梯状模式。

意义与主张

论文声称，基于影响函数的检测为识别恶意代码生成提示词提供了一个极具前景的方向，且无需预先知晓底层的攻击类别。

威胁模型无关性： 该方法成功检测到了失调现象，而无需预先编目漏洞，解决了静态分析工具对新型攻击盲目的局限性。
可迁移性： 检测信号（参数空间影响）可以跨不同的模型架构（3B 到 7B 参数）和模型族进行迁移，而表面特征匹配（静态分析）无法实现一致的泛化。
批次级有效性： 该方法特别擅长识别受污染的提示词批次，这对于处理自动化开发者工作流中的分组提示词至关重要。

作者对研究范围保持了审慎态度，指出目前的评估仅限于 Python 和特定的漏洞类别，且该方法目前设计为批次级测试，而非用于定位批次内单个恶意提示词的工具。他们建议该方法应向更大规模的模型扩展（引用了高达 52B 参数规模的前序工作），并可扩展到其他编程语言和攻击面。