💻 computer science

SCAFFOLD-CEGIS: Preventing Latent Security Degradation in LLM-Driven Iterative Code Refinement

本文揭示了一种“潜在安全退化”悖论，即迭代式大语言模型代码优化因规范漂移和静态分析失效而加剧漏洞，并提出 SCAFFOLD-CEGIS 框架——一种利用反例引导的归纳合成与显式可验证约束的多智能体系统——以实现 100% 的安全单调性并将退化率降低至 2.1%。

原作者： Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

发布于 2026-03-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢但略显健忘的助手，名叫“人工智能（AI）”。你请这位助手编写一段软件代码。起初，这段代码是安全可靠的，就像一座装有坚固门锁、警报系统以及门口守卫的房屋。

但你并不只想要一次代码；你希望不断要求 AI 改进它。“让它更快，”你说。“让它更易读，”你问。“添加这个新功能，”你请求。

问题：“翻修悖论”
这篇论文发现了一个奇怪的问题：每当 AI 试图以某种方式让代码变得“更好”（例如更快或更整洁）时，它都会意外地让代码在另一方面变得“更糟”（安全性降低）。

这就像翻修房屋。你告诉承包商：“把厨房做大，把走廊拓宽。”承包商干得很出色，但在过程中，他们意外地拆掉了前门，移除了烟雾探测器，并让后门保持未上锁状态。他们并非有意破坏安全；他们只是专注于你所要求的“改进”。

研究人员发现，经过大约 10 轮这样的“翻修”后，近一半的代码链最终比开始时拥有更多的安全漏洞。AI 忙于优化速度或简洁性，以至于忘记了保持“门锁”的完好。

失败的方案：“金属探测器”大门
你可能会想：“好吧，我们只要在出口处装个金属探测器。如果代码包含已知病毒（特定安全漏洞），就将其拦截。”这被称为静态分析（SAST）。

论文表明这并不奏效。为什么？因为 AI 并非只是在添加“病毒”；它是在移除防御措施。

类比：想象金属探测器只检查你是否携带武器。但承包商并没有带来武器；他们只是拿走了守卫的枪，并把守卫锁进了地下室。金属探测器看不出任何问题，因为没有新武器被添加。房屋现在毫无防备，但探测器却显示：“一切正常！”

这就产生了一种“虚假安全”效应。代码通过了测试，但实际上比以前更危险。

解决方案：SCAFFOLD-CEGIS（“智能蓝图”系统）
为了解决这个问题，作者构建了一个名为SCAFFOLD-CEGIS的新系统。它就像一个由专业建筑师和检查员组成的团队，他们不仅寻找“坏东西”，还主动保护“好东西”。

以下是该团队如何运作，采用建筑隐喻：

安全架构师（“锚点”制定者）：
在 AI 开始工作之前，该代理会查看原始代码并指出：“这些是锚点。”
- 类比：这些是钢梁、防火墙和主锁。架构师用醒目的红色胶带标记它们，并说：“不要触碰这些。如果你移动它们，整栋建筑就会倒塌。”
- 系统将“要安全”这类模糊指令转化为坚硬、不可破坏的规则：“名为 validate_user 的函数必须存在”，或“每个数据库查询必须使用参数”。
建造者（AI）：
AI 尝试进行所请求的改进（更快、更整洁），但被严格禁止移除或削弱“锚点”。
守门人（四层检查员）：
在任何更改被接受之前，守门人会通过四层进行检查：
- 它是否有效？（正确性）
- 我们是否丢失了任何安全性？（安全性单调性）
- 更改是否过于巨大？（差异预算——防止大规模、高风险的彻底改造）
- 我们是否破坏了锚点？（锚点完整性）
- 类比：如果建造者试图移除一根钢梁以扩大房间，守门人会立即砰地关上门。
学习者（“经验”收集者）：
如果建造者失败并被拒绝，该代理不会只说“不”。它会记录下为什么失败。
- 类比：“哦，建造者又试图删除 validate 函数了。下次，请告诉建造者：‘永远不要删除名称中包含'validate'的函数。’"
- 这有助于 AI 从错误中学习，从而不再犯同样的安全错误。

结果
当研究人员测试这个新系统时：

旧方法（仅要求 AI）：安全性随时间推移而恶化。
中间方法（仅使用金属探测器）：安全性看起来没问题，但实际上恶化了，因为探测器忽略了“被移除的防御”。
新方法（SCAFFOLD-CEGIS）：该系统成功阻止了安全性的退化。它将“隐蔽安全损害”的发生率从约 20% 降低到仅 2%。

核心结论
论文总结道，当我们要求 AI 反复改进代码时，除非我们赋予它明确、严格的规则（锚点）和一个严格的检查员（守门人），否则它自然会偏离安全轨道，而该检查员必须理解移除防御措施与添加漏洞同样危险。你不能仅仅依赖 AI 来“记住”保持安全；你必须构建一个系统，强制它保持安全。

技术摘要：SCAFFOLD-CEGIS

1. 问题陈述：迭代优化的悖论

该论文指出了大型语言模型（LLM）驱动的软件工程中一个关键且未被充分探索的风险：在迭代代码优化过程中出现的潜在安全退化。尽管像 GitHub Copilot 这样的工具促进了多轮交互以提升功能和性能，但作者认为，这一过程往往无意中削弱了安全性。

核心问题在于多目标优化中的规范漂移。当 LLM 在优化功能、性能和可维护性等竞争目标的同时兼顾安全性，且安全约束仅作为“软提示”提供时，优化轨迹会逐渐偏离预期的安全规范。这导致防御逻辑被移除、异常处理被削弱或权限检查被绕过。

至关重要的是，论文证明静态应用程序安全测试（SAST）门禁不足以防止此类退化。SAST 工具依赖于已知的漏洞模式，通常无法检测到结构性退化，即安全关键元素被简单删除或削弱而未引入触发规则的新模式。事实上，作者观察到一种“伪安全效应”：仅依赖 SAST 反而会增加潜在安全退化率（在他们的实验中从 12.5% 上升至 20.8%），因为模型可能将“通过 SAST"解读为执行更大规模、更高风险重构的信号，而这些重构超出了 SAST 的覆盖范围。

2. 方法论：SCAFFOLD-CEGIS 框架

为克服这些局限，作者提出了SCAFFOLD-CEGIS，这是一个受反例引导归纳合成（CEGIS）范式启发的多智能体框架。该框架将安全约束从隐式指令转化为显式的、可验证的硬约束。

核心架构

系统通过四个协作智能体的闭环运行：

SecurityArchitectAgent（安全架构智能体）：从代码库中挖掘语义锚点。这些锚点代表安全关键元素（函数、模式、不变量），并被形式化为规范集 $\Phi$ $Φ$ 。
- 函数级：通过正则表达式和抽象语法树（AST）解析识别验证、清理和认证函数。
- 模式级：匹配防御性逻辑模式（例如参数化查询、特定的异常处理）。
- 不变量级：强制执行全局规则（例如“所有 SQL 查询必须参数化”）。
ImplementerAgent（实现智能体）：生成候选代码（ $P'$ ）以满足优化任务，同时遵守由语义锚点定义的硬约束。
GatekeeperAgent（守门智能体）：在接纳每个候选代码前执行四层门禁验证：
- 正确性：确保代码通过测试套件。
- 安全单调性：验证漏洞数量（通过 SAST）未增加（ $\Delta V \le 0$ ）。
- 差异预算：限制变更规模以防止大规模、高风险的重构。
- 锚点完整性：确保没有硬级别的语义锚点（例如关键验证函数）被移除或修改。
AssimilatorAgent（同化智能体）：分析被拒绝的候选代码以提取结构化教训（反例）。它更新失败知识库以指导未来的生成，防止特定结构性错误再次发生。

理论保证

该框架强制执行安全单调性，定义为对于所有迭代 $i$ ， $V(P_{i+1}) \le V(P_i)$ ，其中 $V$ 为漏洞数量。通过设置容忍阈值 $\delta_{max} = 0$ ，系统保证没有任何迭代会引入新的 SAST 可检测漏洞或移除锚定的安全元素。

3. 主要贡献

悖论的经验验证：通过对 96 条迭代链使用 GPT-4o 进行受控实验，作者揭示在十次迭代后，43.7% 的链表现出比基线更多的漏洞。跨模型和跨语言的实验证实了这一现象普遍存在，并非局限于单一模型。
SAST 盲点的识别：论文记录了特定的“潜在”退化案例（例如删除输入验证函数、吞没异常、绕过权限检查），这些案例通过了 SAST 检查但损害了安全性。
SCAFFOLD-CEGIS 框架：一种新颖的架构，集成了语义锚定、多层门禁和失败同化，以强制执行安全单调性。
定量改进：该框架将潜在安全退化率（通过 LLM 语义审查衡量）从 20.8%（在无保护基线中）降低至 2.1%，同时实现了 100% 的安全单调性。

4. 实验结果

作者使用 Python 和 Java 中的 24 个编程任务评估了该框架，涵盖六种安全场景（SQL 注入、输入处理、认证等），涉及三个研究问题（RQs）。

RQ1（外部有效性）：在 GPT-5-Nano、Claude Sonnet 4.5 和 DeepSeek-V3 上的实验证实，迭代优化在不同模型和语言中均会导致安全退化。值得注意的是，静态分析（SAST）指标通常显示较低的退化率（例如 4.2%–10.5%），而基于 LLM 的语义审查揭示了高得多的可靠性和潜在安全退化（42.5%–52.5%），凸显了检测覆盖范围的差距。
RQ2（防御比较）：与六种基线（包括基于提示的安全、Self-Refine、事后 SAST 和混合守卫）相比，SCAFFOLD-CEGIS 是唯一一种同时实现0% SAST 退化率和2.1% 潜在安全退化率的方法。
- 关键发现：仅使用事后 SAST 导致的潜在退化率（20.8%）甚至高于无保护基线（12.5%），证实了“伪安全”风险。
RQ3（消融研究）：
- 门禁验证被确定为实现 100% 安全单调性的主要驱动力。
- 语义锚定对于将覆盖范围扩展到 SAST 规则之外以捕捉结构性删除至关重要。
- 失败同化显著提高了任务完成率（TCR），从约 66%（无同化）提升至 77.14%，表明从失败中学习使系统能够在严格的安全约束下保持代码演进能力。

5. 意义与主张

该论文主张，LLM 驱动的迭代代码优化蕴含着固有的安全退化风险，而当前的标准实践（如软提示或 SAST 门禁）无法缓解这一风险。

该工作的意义在于：

范式转变：从“生成 - 检测”循环转向“生成 - 验证 - 约束”循环，其中安全约束是显式的且被强制执行。
解决结构性盲点：证明安全不仅关乎防止新漏洞，还关乎保留现有的防御结构，这需要超越模式匹配的语义理解。
实际工程应用：提供了一个在不完全停止代码演进的情况下实现 100% 安全单调性的框架，为安全的 AI 辅助开发提供了一条可行路径。

作者在局限性方面保持了适度的语气，承认其结果基于单文件模块和特定语言（Python/Java）。他们指出，扩展到工业级代码库、基于 LLM 的语义审查中固有的噪声以及验证层的计算成本是需要进一步研究的领域。他们并不声称解决所有安全问题，而是提供一种机制，以防止在迭代优化过程中现有安全保证的退化。