💻 computer science

The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

本文建立并从实证角度验证了一个信息论边界，证明了代码大语言模型是在一个固定的“安全预算”下运行的，即功能容量与扰动保留之和受限于任务熵和提示泄露，实验结果表明这一理论天花板在各种模型、数据集和精度水平下均成立。

原作者： Jianwei Tai

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianwei Tai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常有才华、但略显紧张的机器人程序员。你给它一组指令（即“提示词”）让它编写一段代码。有时，你可能会不小心改动了指令中的一个词，或者黑客可能会试图微调这些指令，以此来诱骗机器人编写出危险的代码。

这篇论文探讨了一个基本问题：机器人的“大脑”中有多少可以用来确保正确完成工作，又有多少会被留下来，使其在无意中（或恶意地）遵循某种诡计？

作者将其称为**“安全预算”（Security Budget）**。他们将机器人思考的能力视为一种固定的能量或带宽，必须在两个相互竞争的任务之间进行分配。

两个相互竞争的需求

把机器人的注意力想象成一个派。论文指出，这个派被分成了两块：

“工作”块（容量/Capacity）： 这是机器人理解你原始意图的能力。它是否写出了你真正要求的内容？
“回声”块（安全性/保留度/Security/Retention）： 这是机器人的输出在多大程度上仍然“记得”你使用的特定词汇，即使你稍微改变了这些词汇。
- 陷阱在于： 如果机器人的输出对提示词中的微小变化过于敏感（高“回声”），这意味着黑客可以轻易地将一个词如“检查（check）”替换为“忽略（ignore）”，而机器人就会遵循这个新的、危险的指令。
- 目标是： 你希望机器人能胜任工作，但你不希望它对提示词的具体措辞过于敏感。

大法则（定理）

作者证明了一个数学规则，它就像是一个速度限制，作用于这个“派”：

工作块 + 回声块 ≤ 总大脑空间 + 提示词泄漏

用通俗易懂的话说：机器人无法同时做到既完美执行任务，又对你提示词中的每一个微小变化都保持完美的敏感性。这是一个硬性的限制。

总大脑空间（Total Brain Space）： 这是任务的复杂度。如果你要求一个简单的“Hello World”，机器人会有充足的空间。如果你要求一个复杂的银行系统，那么“大脑空间”会非常巨大，从而留下的余地更少。
提示词泄漏（Prompt Leakage）： 这是你的原始提示词与“被误导后”的提示词之间共享的信息量。如果诡计只是将“猫（cat）”换成“狗（dog）”（同义词替换），则泄漏量很高。如果诡计是删除了半个句子，则泄漏量很低。

论文证明，如果你试图让机器人对提示词过于敏感（以使其具有很强的鲁棒性），你不可避免地会缩小其能够正确执行实际工作的空间。

他们是如何测试的

研究人员并不仅仅是靠直觉猜测；他们使用真实的 AI 模型（如 CodeLlama 和 Qwen）在真实的编程问题上进行了实验。

“黑盒”测试： 他们观察机器人的最终输出（代码），而不窥视其在处理过程中的内部思维。他们将代码视为一种“指纹”。
结果： 在每一次测试中，数学逻辑都成立。 “工作”性能与“回声”敏感性的总和从未突破过那个速度限制。
- 有时机器人工作表现很好，但对诡计并不敏感（留下了大量的“余量”或未使用的预算）。
- 有时它对诡计非常敏感，但这同时也意味着它能用来完美完成工作的空间变小了。
- 至关重要的是： 他们发现某些类型的诡计（如重命名变量或更换同义词）比其他类型会留下更大的“回声”。这告诉我们哪些类型的提示词变化是最危险且需要防范的。

“压力测试”

为了确保他们的规则足够强健，他们尝试去破坏它：

23 种攻击池： 他们尝试了 23 种不同的干扰提示词的方法。规则依然成立。
“通用后缀”： 他们在每一个提示词后面都加上了同一个危险短语。规则依然成立。
“梯度攻击”： 他们使用了一种超级智能的数学攻击来寻找欺骗机器人的完美方式。即便如此，规则依然成立，尽管机器人的代码质量显著下降（它发生了“崩溃”而非仅仅是被误导）。

对人类的启示

论文最后为构建 AI 助手提出了一个实用的教训：

你不能仅仅测量 AI 是否通过了一项测试。你还必须测量你为攻击者留下了多少“信息通道”。

如果你强化你的提示词（使其变得僵化且标准化），你会减少“回声”块，从而使黑客更难通过文字游戏来欺骗 AI。
然而，你不能仅仅为了安全就把 AI 变得“愚笨”。你必须找到一个平衡点：既要让 AI 足够聪明以完成工作，又要让它不会因为对文字游戏的过度敏感而成为安全风险。

简而言之： 在 AI 既成为一名完美的员工，又成为一个能完美听从你每一个细微声音变化的听众之间，存在着一个硬性的数学极限。这篇论文为我们提供了一把衡量这个极限的尺子。

技术摘要：代码大语言模型（Code LLM）的安全预算

问题陈述
AI 编程助手日益依赖自然语言提示词（prompt）作为软件开发的主要接口。这种转变引入了一个关键漏洞：对提示词的微小扰动（例如：同义词替换、标识符重命名或注释注入）可能会改变生成的代码，同时使用户的意图在部分程度上仍可识别。现有的评估通常依赖于扰动前后的执行通过率（pass@1）。然而，作者认为这对于交互式助手来说是不充分的，因为它无法区分以下两种情况：一是模型失去了所有的任务信息（使得“鲁棒性”变得毫无意义），二是模型保留了足够的足够信息使其仍可识别，但改变了实现方式。因此，需要一种“预算级”的视角，将任务信息、提示词泄漏和生成稳定性进行分离，以理解功能容量与扰动下的安全性之间的权衡。

方法论
论文利用信息论将这种权衡形式化，为代码大语言模型 $\pi$ 定义了两个关键量：

**容量 ($Cap $)：** 规范解$ c^ $与模型生成内容$ c_\pi $之间的互信息，记作$ I(c^; c_\pi)$。这衡量了模型捕捉到了多少任务信息。
**安全性 ($Sec $)：** 在原始提示词$ p $下的生成内容 ($ c_\pi $) 与在对抗性扰动提示词$ \tilde{p} $下的生成内容 ($ \tilde{c}\pi $) 之间的互信息，记作$ I(c\pi; \tilde{c}_\pi)$。它作为一个“扰动保留通道”，衡量了干净输出与扰动输出之间的共享信息。

理论框架
其核心理论贡献是 定理 1，该定理建立了这两个量之和的上界：
$Cap + Sec \leq H(c^*) + I(p; \tilde{p})$
这里， $H(c^*)$ 是规范解的熵（任务熵），而 $I(p; \tilde{p})$ 是原始提示词与扰动提示词之间的互信息（提示词泄漏）。其证明依赖于标准的互信息不等式：

$Cap \leq H(c^*)$ 根据互信息的定义得出。
$Sec \leq I(p; \tilde{p})$ 根据数据处理不等式（DPI）得出，假设给定提示词对 $(p, \tilde{p})$ 时，生成内容 $c_\pi$ 和 $\tilde{c}_\pi$ 是条件独立的。

为了在无法获取模型内部训练数据的情况下使该界限具有可操作性，作者推导出了 定理 2，即一个与模型无关的、针对 $H(c^*)$ 的闭式伴随界限。该界限利用了源代码的可压缩性：
$H(c^*) \leq \min(L_{max} \log V, |c^*|_{gz})$
其中 $L_{max}$ 是最大 Token 长度， $V$ 是词表大小， $|c^*|_{gz}$ 是规范解的预期 gzip 压缩长度。

实证验证
作者使用**仅输出嵌入协议（output-only embedding protocol）**验证了 推论 1（嵌入变量界限）。为了保持证明所需的马尔可夫链（ $z_\pi \to p \to \tilde{p} \to \tilde{z}_\pi$ ），嵌入 $E$ 仅应用于生成的代码，而不包括提示词上下文。

模型与数据集： 实验在 CodeLlama-7B 和 Qwen2.5-Coder-7B 上针对 HumanEval 和经过 MBPP 清洗后的数据集进行。
估计器： 使用 MINE（互信息神经估计）和 KSG（Kraskov-Stögbauer-Grassberger）估计器对经过 PCA 降维后的最后一位 Token 的隐藏状态进行互信息估计。
扰动： 使用了包含 23 种扰动的池，包括同义词交换、否定、注释注入（包括安全反向注释）以及标识符重命名。

关键结果

界限满足情况： 在六种不同的验证配置（涉及不同模型、数据集、精度和嵌入消融）下，嵌入检查均满足不等式。饱和度比例 $(Cap + \max_T Sec) / (H(z^*) + \max_T I(p; \tilde{p}))$ 范围在 0.27 到 0.92 之间，具有正向的定理松弛度（2.36 到 26.94 nats）。
稳定性： 三种子稳定性诊断显示平均饱和度为 0.87。
压力测试： 包括 23 种扰动池、固定通用安全反向后缀以及基于梯度的 PGD 攻击在内的自适应压力测试，均产生了正向松弛度，证实了该界限即使在激进的扰动策略下依然成立。
逐问题信号： 虽然理论界限使用仅输出嵌入，但研究发现，另一种上下文混合嵌入余弦值（以提示词和代码共同为条件）与执行层面的 pass@1 相关（例如 CodeLlama-HumanEval 的 $\rho=0.36$ ），这可以作为一种区别于安全边界的实用对齐信号。
泄漏分析： 研究表明，标识符重命名和同义词替换留下了最大的共享信息上限（高 $I(p; \tilde{p})$ ），而安全反向注释虽然泄露的提示词信息较少，但对安全性更具威胁。

意义与主张
本文声称提供了一个定量的、基于信息论的代码生成稳定性预算。其意义在于：

分解： 将“预算”分解为任务熵和提示词泄漏，使开发者能够理解：降低提示词泄漏（ $I(p; \tilde{p})$ ）可以在不增加功能容量的前提下，收紧对抗者可利用的最大通道。
模型无关的上限： 针对 $H(c^*)$ 的闭式界限允许在已知任务集的情况下，为任何新模型计算安全上限，而无需访问模型或其训练数据，仅依赖于分词器和规范解分布。
实用护栏： 作者认为，编程助手的护栏不应仅通过 pass@1 来评估，而应通过它们留给对抗者的提示词扰动信息量来评估。该界限为提示词加固提供了测试方法：减少 $I(p; \tilde{p})$ 应会收紧安全预算。

作者保持了谦逊的态度，指出其贡献在于这些概念在代码生成领域的实例化（定义预算和闭式上限），而非提出一种新的数据处理定理。他们也承认了局限性，包括互信息估计器的敏感性（例如 MINE 在接近边界时可能会高估）以及该界限刻画的是可用的稳定性预算，而非证明现实中的对抗者一定会饱和该预算。