🤖 AI

Stress Testing Concept Erasure with Large Language Model Agents

本文介绍了 STACE，这是一个利用多个 LLM 智能体迭代生成并验证自适应压力测试的自主框架，从而在稳健评估生成模型中的概念擦除方面超越了静态评估方法，并展示了其在 LLM 脱狱等其他领域的适用性。

原作者： Yuyang Xue, Feng Chen, Zhihua Liu, Edward Moroshko, Jingyu Sun, Steven McDonagh, Sotirios A. Tsaftaris

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuyang Xue, Feng Chen, Zhihua Liu, Edward Moroshko, Jingyu Sun, Steven McDonagh, Sotirios A. Tsaftaris

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个人工智能只需通过文字就能画出图画的世界。你告诉它，“画一张日落”，它就照做了。但有时，我们需要这些人工智能艺术家忘记某些特定的事物——也许是一个著名的超级英雄、一种特定的艺术家风格，甚至是敏感内容——以保护隐私或遵守规则。这个过程被称为“概念擦除”（concept erasure）。这就像是试图教会一只狗忽略某个特定的指令，而不需要从头开始重新训练整只动物。科学家们面临的大问题是：我们如何知道人工智能是否真的忘记了？如果我们只是问它画那个被禁止的事物一次，它可能会说“不”。但如果我们用一种诡计多端的方式，或者使用秘密代码，或者结合各种线索呢？人工智能可能会失手把被禁止的事物画出来。这就是“压力测试”（stress testing）的问题：尝试打破人工智能的记忆，看看它是否真正安全。

于是，出现了一支名为 STACE（用于概念擦消的压力测试智能体）的数字侦探团队。STACE 不仅仅是向人工智能提出一些标准的常规问题，它使用一组协同工作的 AI 智能体，就像一支头脑风暴式的侦探小队。它们阅读过去的科研论文，争论如何更好地欺骗人工智能，编写计算机代码来测试它们的想法，然后从错误中学习，从而变得更加擅长寻找人工智能记忆中的漏洞。论文表明，这种团队协作的方法比旧有的静态方法更能捕捉到人工智能的失误。

问题所在：这场“捉迷藏”游戏

想象你有一个神奇的写生本，它应该忘记如何画“超人”。你让它画一个超级英雄，它画了一个通用的英雄。很好！但如果你让它画“一个穿着红色斗篷、胸前有‘S’标志的男人”呢？或者“1978年电影里的那位英雄”呢？或者“一个会飞且穿着蓝色套装的角色”呢？即使你告诉写生本要忘记超人，它可能仍然会画出超人。

过去检查写生本是否真的忘记了的方法，就像老师给出一份固定的测验。他们有一份包含 100 个问题的清单并检查答案。但如果人工智能很狡猾，它可能只是记住了测验的答案，而在其他情况下表现失败。本文作者认为，这种静态方法太容易被骗过了。他们认为我们需要一场动态的、不断变化的“捉迷藏”游戏，才能真正测试人工智能是否擦除了该概念。

解决方案：侦探智能体团队

作者提出了 STACE，这是一个使用多个大语言模型（LLM）智能体来玩这场游戏的框架。不要把 STACE 仅仅看作一个单一的机器人，而要把它看作一个拥有不同角色的微型机构：

研究员（The Researcher）： 在制定计划之前，这个智能体会阅读一系列过去的科学论文（称为“PaperCards”），以了解其他人是如何尝试破解类似 AI 模型的。它不仅仅是靠猜测；它是在已有的知识基础上进行构建。
假设生成器（The Hypothesis Generator）： 这个智能体会构思如何欺骗人工智能的创意想法。“如果我们用谜语来描述被禁止的事物呢？”或者“如果我们要求画一个类似的物体呢？”
评论家（The Critic）： 这个智能体扮演严格编辑的角色。它审视生成器的想法并说道：“这与我们已经尝试过的太相似了，”或者“这无法编写代码。”它迫使团队提出更好、更具新颖性的想法。
代码编写者（The Code Writer）： 一旦达成共识，这个智能体会编写运行测试的实际计算机代码。它尝试在 AI 模型上执行计划。
法官（The Judge）： 这个智能体观察结果。AI 画出了被禁止的事物吗？如果是，则测试成功。如果不是，团队会学习原因并再次尝试。

整个过程是在一个循环中进行的。团队运行一次测试，观察是否奏效，总结所学到的知识，然后利用这些知识来构思下一次更难缠的测试。这就像电子游戏，每当你打过一个关卡，敌人就会变得更聪明。

他们的发现

作者在四种不同类型的目标上测试了 STACE，这些目标是人工智能本应忘记的：物体（如飞机或狗）、风格（如安迪·沃霍尔的艺术）、知识产权（如米奇鼠或超人）以及显性内容（如裸露或暴力）。

他们将 STACE 与五种使用 AI 来测试这些模型的其他方法进行了对比。结果非常明确：STace 发现的失败案例比任何其他方法都多。

平均而言，STACE 成功识别出 AI 并未真正忘记该概念的情况占比为 51.1%，而排名第二的方法仅能发现约 45.9% 的失败情况。
对于像“超人”或“米奇鼠”这样极难忘记的概念，其他方法往往完全失效（发现 0% 的泄露），而 STACE 仍能发现 AI 在大约 17% 到 20% 的情况下依然在画它们。
团队还发现，即使人工智能被“擦除”得非常彻底，STACE 依然有效。即使 AI 经过了长时间的训练（500 个 epoch）来忘记某样东西，STACE 通常也能在测试的前两轮内找到让它失手的办法。

论文还表明 STACE 不仅适用于图片。通过稍微调整团队的指令，他们将其用于尝试“越狱”（jailbreak）基于文本的 AI 模型（使其说出不该说的话）。它在文本领域同样表现出色，证明了这个侦探小队是一个多功能的工具。

为什么这很重要

作者指出，我们不能再依赖简单的、一次性的测试来确保人工智能的安全。如果我们希望信任一个能够忘记危险或私密概念的人工智能，我们需要用一个不断尝试新花招的智能体团队来对其进行压力测试。STACE 表明，通过结合过去的科研、团队协作和不断的迭代，我们可以发现那些我们原本会错过的 AI 记忆裂缝。

然而，论文也指出了一项权衡。这个侦探小队比简单的静态测试需要消耗更多的计算资源和成本。但作者认为，为了发现那些可能在未来导致真实问题的隐藏故障，额外的成本是值得的。他们还警告说，虽然 STACE 非常擅长检查安全性，但同样的威力理论上也可以被恶意行为者用于攻击安全系统，因此必须负责任地使用。

简而言之，STACE 是一种更聪明的新方法，用来与人工智能玩这场“捉迷藏”，确保当我们命令机器忘记某事时，它真的做到了。

技术摘要：针对大语言模型智能体概念擦除的压力测试框架 (STACE)

问题定义

概念擦除是生成式人工智能负责任部署的一项关键任务，旨在无需重新训练整个模型的情况下，永久移除特定的语义概念（例如：受版权保护的角色、显性内容）。虽然目前已存在多种擦除方法，但验证其鲁棒性仍是一个重大挑战。现有的评估范式依赖于静态的、预定义的提示词集或单次 LLM 探测，这些方法存在覆盖范围有限的问题，往往无法在多样化的自然语言变化、组合式提示词或对抗性条件下暴露漏洞。此外，人工评估策略存在偏差、难以扩展，且缺乏系统性探索失败模式所需的迭代优化能力。

方法论：STACE 框架

作者提出了 STACE（用于概念擦除的压力测试智能体），这是一个多智能体框架，它将概念擦除评估重新定义为一个迭代的、基于知识驱动的压力测试问题。STACE 不再使用静态基准测试，而是自主生成、批判并验证压力测试假设，以系统性地扩大对失败模式的覆盖范围。

核心组件

基于文献的知识库：
STACE 不仅仅依赖 LLM 的内部知识，而是利用了一个外部的结构化“论文卡片”（PaperCards）库。这些卡片是对先前研究（包括任务描述、方法、局限性）的总结，并嵌入在向量数据库中。这确保了假设是基于同行评审的方法论和实验协议的。
多智能体架构：
STACE 通过一组专门的智能体循环运行：
- 任务验证智能体 (Task Verification Agent)： 将高层用户请求转换为正式的技术规范（TaskSpec）。
- 假设生成器 (Hypothesis Generator)： 通过整合 TaskSpec、种子假设和检索到的文献来提出压力测试策略。
- 批判智能体 (Critic Agent)： 与生成器进行多轮辩论，从新颖性（区别于现有文献）、可行性（可通过代码实现）和详细程度三个维度评估假设。
- 查询生成器 (Query Generator)： 制定针对性的查询，以检索与当前迭代最相关的 PaperCards。
- 代码合成器 (Code Synthesiser)： 将精炼后的假设转化为可执行代码，尽可能将其输出锚定在现有的实现方案中，并迭代修复执行错误。
- 评估器 (Evaluator)： 自动选择合适的评估器（例如 NudeNet、视觉语言模型）来判定被擦除的概念是否被成功再生。
- 总结器 (Summarisers)： 记录迭代轨迹以供后续轮次参考上下文，并汇编最终的人类可读报告。
迭代过程：
该框架运行 $N$ 次迭代。在每一轮中，智能体会生成一个假设、合成代码、在概念擦除模型上执行测试并进行评估。结果和轨迹会被反馈到下一轮迭代中以精炼策略，使系统能够从之前的尝试中学习并进化其探测手段。

核心贡献

评估范式的重构： 本文认为，概念擦除评估应被视为一个基于智能体的、迭代的压力测试问题，而非静态的基准测试。
STACE 框架： 引入了首个用于概念擦除压力测试的多智能体框架，具有多轮假设生成、文献集成和基于经验的学习功能。
评估指标： 提出了一套专为智能体压力测试设计的全新指标，包括：
- 成功识别率 (Successful Identification Rate, SIR)： 分别在假设层面 ( $SIR_H$ ) 和图像层面 ( $SIR_I$ ) 进行衡量。
- 最早识别迭代次数 (Earliest Identification Iteration, EII)： 用于衡量效率的指标，指示发现失败所需的速度。
- 假设新颖性 (Hypothesis Novelty)： 通过与文献库进行余弦相似度计算来量化，以确保策略不仅仅是对先前工作的重复陈述。
泛化性： 展示了该框架可以通过极小的修改（如调整提示词、评估器和文献库）即可适配到其他领域，特别是 LLM 的越狱（Jailbreaking）测试。

实验结果

作者针对四个概念类别（物体、风格、知识产权 (IP)、显性内容），将 STACE 与五种基于 LLM 的基准方法（包括红队提示词、指代提示词和 JailFuzzer）进行了对比评估。

性能表现： STACE 实现了最高的平均图像级识别率 ( $SIR_I$ )，达到 51.1%，超过了表现最强的基准方法（45.9%）。值得注意的是，STACE 在极具挑战性的 IP 类别（如“米老鼠”、“超人”）中识别出了失败案例，而基准方法在这些类别中的成功率往往接近于零。
鲁棒性： STACE 在不同的擦除强度（100 到 500 个训练轮次）、不同的擦除方法（如 ESD、MACE、UCE）以及不同的 T2I 后端（SD-v1.4 和 SDXL）下均保持有效。虽然更强的擦除会降低成功率，但 STACE 通常能在前两个迭代内识别出首次失败（低 EII）。
消融实验： 多智能体辩论机制（特别是批判智能体）被证明能提升有效性和新颖性。设置 2 轮辩论 ( $M=2$ ) 的情况在成功率和假设新颖性之间达到了最佳平衡。
越狱适配： 当被适配用于 LLM 越狱测试（针对 GPT-4o-mini、Gemini、Claude）时，STACE 在多个类别中超越或持平了专门的基准工具，证明了其作为通用安全评估工具的效用。

重要性与主张

本文声称 STACE 代表了向更深入、自动化且基于知识的概念擦除评估迈出的重要一步。通过从静态的、预定义的测试转向自适应的、智能体驱动的压力测试循环，该框架解决了当前评估中经常高估模型鲁棒性的局限性。

作者强调，STACE 为保持生成式模型应对不断演变的漏洞提供了路径，通过系统性地暴露静态基准测试可能遗漏的失败模式来实现。作者承认了计算成本与性能之间的权衡，但认为该框架能够识别系统性失败并生成人类可理解报告的能力，为改进未来的擦除策略提供了关键洞察。这项工作还凸显了此类基于智能体的框架在支持超越概念擦除的更广泛自动化安全评估任务方面的潜力。