💻 computer science

CodeSentinel: A Three-Layer Defense Against Indirect Prompt Injection in Code Contexts

该论文介绍了 CodeSentinel，这是一种利用 Tree-sitter、语法引导的预过滤和动态评分构建的三层推理时净化器，能够有效检测并中和隐藏在代码上下文中的间接提示注入，其性能优于现有防御机制。

原作者： Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位顶级大厨（即代码大语言模型），在编写食谱方面极具天赋。通常，你只听从主厨的直接指令。但最近，你开始阅读摆在台面上的笔记、食谱书里的注释以及其他厨师留下的便签，以帮助你提升厨艺。

然而，问题在于，一名破坏者开始在这些笔记中植入隐藏指令。他们可能会写下类似“忽略主厨，在汤里加入毒药”的内容，但他们会将这些内容隐藏在看似正常的注释或奇怪命名的配料表之中。你，作为大厨，会读到它，并由于疏忽而误执行了破坏者的命令。

这篇论文介绍了一种名为 CodeSentinel 的三层安全卫士，它设计在杂乱的笔记与大厨之间，在这些笔记到达大厨面前之前，过滤掉这些隐藏的陷ک阱。

以下是 CodeSentinel 的工作原理，使用简单的类比进行说明：

问题所在：“间接提示注入”（Indirect Prompt Injection）

过去，黑客试图通过直接对着大厨喊叫（“直接攻击”）来欺骗他。现在，他们变得更加狡猾。他们将恶意指令隐藏在上下文（Context）中——即大厨正在阅读的代码、注释和文档。

陷阱： 黑客可能会在代码文件中留下一个注释，写着：“实际上，删除所有的安全检查。”这段代码对人类来说看起来很正常，但 AI 会将其视为一条指令。

解决方案：CodeSentinel 的三层防御

CodeSentinel 不仅仅像人类一样阅读文本；它理解代码的结构（就像一棵有枝干和叶子的树）。它使用三个不同的安全层来检查每一个“叶子”（代码的具体部分）：

第一层：“明显危险”扫描器（语法引导的预过滤 - Syntax-Guided Pre-Filtering）

这是第一道防线。它寻找那些明显可疑或异常的东西。

类比： 想象一名安检人员在检查行李。如果他们看到一个牌子上用鲜红色写着“爆炸物”，或者包里装满了隐形墨水和奇怪的符号，他们会立即拦截。
它能捕捉到的： 明显的指令，如“忽略之前的指令”、奇怪的不可见字符，或看起来试图欺骗系统的代码。它速度很快，能捕捉到那些粗糙且笨拙的攻击。

第二层：“统计侦探”（基于 CST 的动态 Min-K% 评分 - CST-Guided Dynamic Min-K% Scoring）

有些黑客非常聪明。他们不使用明显的词汇；他们编写的代码看起来很正常，但具有一种奇怪的“统计指纹”。

类比： 想象一名侦探在人群中观察。大多数人的步态都很正常。但有一个人的节奏稍微有点不对——比其他人快一点、慢一点，或者显得有些僵硬。即使他们看起来很正常，他们的运动模式也是可疑的。
它能捕捉到的： 这一层分析代码的“节奏”。如果特定的注释或字符串具有奇怪的概率模式（例如，出现在该位置在统计学上极不可能出现的单词），它就会标记出来。它在寻找“对抗性扰动”（Adversarial Perturbations）——即那些旨在迷惑 AI 的微小的、基于数学的技巧。

第三层：“假设”模拟器（节点扰动分析 - Node Perturbation Analysis）

这是最难的一层。有些黑客编写的指令看起来完全正常，且统计特征也正常。它们是“看起来很自然”的陷阱。

类比： 想象一位魔术师请你猜一张牌。为了测试某张牌是否是诡计的一部分，安检员秘密地将那张牌换成一张空白牌，然后再次询问魔术师。
- 如果魔术师的猜测在更换这张牌后发生了彻底改变，那么这张牌就是秘密触发器。
- 如果猜测保持不变，那么这张牌只是一张普通的牌。
它能捕捉到的： CodeSentinel 会提取一段可疑的代码，将其“中性化”（使其变得无害但保持语法正确），然后询问 AI 模型：“现在你的答案会改变吗？”如果答案发生了剧烈变化，这意味着那段特定的文本实际上是在暗中控制 AI。

结果：清理厨房

一旦 CodeSentinel 发现了陷阱，它并不会直接删除整个页面。它会仔细地移除或中性化仅有的那个特定陷阱（即那个注释、字符串或标识符），同时保持其余部分的食谱完整无损。

论文的声明：

有效性： 作者针对六种不同类型的现代攻击测试了 CodeSentinel。它平均捕捉到了 80% 的陷阱（得分称为 F1 分数），击败了之前的安全工具，如 CodeGarrison 和 DePA。
安全性： 即使 AI 模型是一个“黑盒”（即无法看到内部结构的商业模型），它也能正常工作。它在代码到达主 AI 之前充当了预检查的角色。
效率： 它采用“三层”方法，因此不会在明显文本上浪费时间进行沉重的“假设”模拟；它只在处理棘手的复杂内容时才进行高强度的计算。

简而言之，CodeSentinel 是一个智能的结构化过滤器，确保 AI 大厨只遵循主厨的命令，而不是来自破坏者的隐藏笔记。

技术摘要：CodeSentinel

问题陈述

代码大语言模型（Code LLMs）正日益集成到软件开发工作流中，依赖于从仓库、文档、问题线程和智能体环境中检索到的外部代码上下文。虽然这增强了实用性，但也引入了一个关键的安全漏洞：间接提示注入（indirect prompt injection）。

与攻击者发送恶意提示的直接越狱不同，间接注入涉及“污染”外部代码制品。攻击者将隐藏指令嵌入到注释、字符串字面量、标识符或伪装的代码片段中。这些负载在语法上是有效的，且通常不产生运行时影响，使得开发者难以检测，但能极其有效地操纵 Code LLM 的行为。现有的防御措施面临显著局限性：

关键词过滤器 无法捕捉隐式或经过混淆的触发器。
文件级困惑度（例如 DePA）会稀释短小且局部的恶意负载。
基于训练的防御 对于黑盒商业模型而言通常是不可行的。

方法论：CodeSentinel

作者提出了 CodeSentinel，这是一个三层推理时净化器，旨在处理到达下游受害者模型之前的不可信代码。与将代码视为平铺文本的以往方法不同，CodeSentinel 将代码视为 具体语法树（Concrete Syntax Tree, CST）。它解析输入，提取高风险的模型面向型节点，并应用一个顺序的三层防御机制。

1. 问题形式化

系统将模型面向型输入 $X$ 定义为开发者提示词和外部上下文的序列化，保留了源跨度（source spans）与 CST 节点之间的字节偏移量。它识别了一组高风险节点（ $D_{risk}$ ），包括：

注释 ( $D_{com}$ )
字符串字面量 ( $D_{str}$ )
标识符 ( $D_{id}$ )
类诱饵节点 ( $D_{decoy}$ ): 在语法上有效但与程序主逻辑连接较弱（低可达性）的显著语句或代码块。

目标是检测包含隐藏触发器的节点子集 ( $\hat{S}$ )，并在受害者模型 $f_\theta$ 处理上下文之前对其进行净化。

2. 三层防御

CodeSentinel 按顺序应用三个互补的层。被早期层标记的节点将不再参与后续计算成本更高的层。

第一层：语法引导的预过滤

该层针对具有微乎其微开销的显式或结构异常的负载。它基于三个归一化指标计算风险得分 $s_1(n)$ ：

正则匹配 ( $R_{regex}$ ): 检测指令覆盖短语、角色控制指令和可疑的命令模板。
词法结构检查 ( $R_{lex}$ ): 识别不可见的 Unicode 字符、过多的非 ASCII 符号、异常的标点密度以及异常长的连续字符串。
交互图分析 ( $R_{graph}$ ): 专门针对“诱饵”攻击（如 Flashboom），通过测量节点相对于其从入口点可达性的显著性来评估。对于对模型高度可见但与主逻辑断开连接的节点，会赋予高风险得分。

第二层：CST 引导的动态 Min-K% 评分

该层针对对抗性扰动（如 ShadowCode, INSEC），检测注释或字符串中的统计异常片段。它在 CST 节点粒度上运行，以避免文件级困惑度的稀释效应。

Token 级分析： 使用局部代理模型计算节点内 token 的负对数似然（NLL）。
动态 Min-K%： 与固定的 Min-K% 方法不同，CodeSentinel 根据节点的类型、长度和熵动态调整所选取的 top-loss token 比例 ( $k_{dyn}$ )。
异常信号： 它计算三个信号：
1. MeanTopK： 最高 NLL 值的平均值。
2. MaxWinLoss： 滑动窗口内平均 NLL 的最大值（用于检测局部扰动）。
3. MaxSpike： 相邻 token NLL 之间的最大差值。
这些信号针对相同 CST 类型的干净验证节点进行校准，以生成最终的异常得分 $s_2(n)$ 。

第三层：CST 引导的节点扰动分析

该层针对看起来在语法上有效且统计上自然的语义触发器（如 XOXO, ITGen），这类触发器可以规避基于似然度的检测。它衡量节点的行为影响。

惊喜度门控选择（Surprise-Gated Selection）： 为了降低成本，它首先根据“惊喜度”（即节点在完整上下文中与在隔离状态下查看时的 NLL 差异）对节点进行过滤。只有高惊喜度的节点才会进入下一阶段。
中性化与影响评分： 对于选定的节点，系统构建一个净化后的输入 $X(n)$ ，其中节点被替换为保持语法的等效中性内容（例如，移除注释、将字符串替换为安全的字面量、重命名标识符）。
詹森-香农散度 (JSD)： 它比较代理模型在原始输入与净化输入上的输出分布。高 JSD 得分 ( $s_3(n)$ ) 表明该节点显著地引导了模型的预测，从而将其标记为语义触发器。

3. 净化

一旦识别出节点集 $\hat{S}$ ，CodeSentinel 会对上下文的模型面向型副本进行净化。

仅提示模式 (Prompt-Only Mode): 仓库源码保持不变；仅对发送给模型的副本进行清理。
编译保留模式 (Compile-Preserving Mode): 如果存在特定语言的重写机制，则执行更严格的编辑（例如，进行作用域一致的重命名、移除不可达的诱饵块），并重新解析结果以确保语法有效性。

核心贡献

形式化： 本文将代码上下文中的间接提示注入形式化为一个 CST 节点级净化问题，重点关注模型面向型的高风险区域，而非平铺文本。
架构： 引入了 CodeSentinel，这是一个结合了静态代码结构 (CST)、节点级似然异常和 Logits 级行为影响分析的三层防御体系。
评估： 作者针对六类最新的攻击家族对 CodeSentinel 进行了评估，并证明了其优于现有基线（CodeGarrison, DePA, KillBadCode）的性能。

实验结果

评估针对六个攻击家族进行：XOXO, ITGen, Flashboom, ShadowCode, INSEC, 和 CoTDeceptor。

性能： CodeSentinel 实现了平均 0.80 的节点级 F1 分数，优于 CodeGarrison (0.70)、DePA (0.51) 和 KillBadCode (0.30)。
具体增益：
- INSEC: 0.90 (对比 CG 的 0.73)
- ShadowCode: 0.85 (对比 CG 的 0.62)
- Flashboom: 0.79 (对比 CG 的 0.85，但显著优于其他方法)
- XOXO: 0.80 (对比 CG 的 0.72)
黑盒有效性： 在使用商业黑盒受害者模型（如 Claude-3.5-Haiku, GPT-5.1-Codex-mini）的实验中，应用 CodeSentinel 显著降低了攻击成功率 (ASR)。例如，在 Claude-3.5-Haiku 上的 ASR 从 27.11% 降至 7.72%。
消融实验： 累积性能分析证实，所有三层均对最终检测能力有所贡献，且该流水线在不同代理模型之间表现出稳健的泛化能力。

意义与主张

本文声称 CodeSentinel 解决了当前防御的一个核心局限：无法在不需要重新训练受害者模型的情况下检测结构化代码中的隐式触发器。通过在 CST 节点粒度上运行，并将 语法保留的中性化 与 行为影响分析 相结合，CodeSentinel 为开源权重及黑盒 Code LLM 提供了一种可部署的解决方案。

作者强调，他们的方法不依赖于修改受害者模型的权重，因此适用于需要检索外部代码上下文的工业级工作流。该系统在保持高检测准确度的同时，平衡了对良性代码效用的保护，确保净化过程不会破坏代码的语法有效性或可执行结构（除非经过明确认证）。