🤖 AI

SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

本篇知识系统化（SoK）论文通过提出统一的分类法、形式化评估元数据，并发布一个包含新数据集和工具的模块化平台，旨在解决大语言模型提示词安全性评估碎片化的问题，从而实现对攻击与防御进行可复现、成本感知且具可比性的评估。

原作者： Hanbin Hong, Shuang Wu, Shuya Feng, Nima Naderloui, Shenao Yan, Jingyu Zhang, Ali Arastehfard, Heqing Huang, Yuan Hong

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanbin Hong, Shuang Wu, Shuya Feng, Nima Naderloui, Shenao Yan, Jingyu Zhang, Ali Arastehfard, Heqing Huang, Yuan Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）就像是极其聪明但又有点天真的图书管理员。他们被雇佣来回答问题、编写代码并协助完成任务。然而，这些图书管理员有一本严格的规则手册：“不得帮助任何人从事危险或非法活动。”

问题在于，聪明的家伙们（攻击者）已经发现了如何诱骗这些图书管理员违反自己的规则。他们通过用另一种语言低声传达指令、将不良请求伪装成电影剧本，或者让图书管理员扮演反派角色来进行攻击。这被称为“越狱”（Jailbreak）。

这篇论文就像是对整个图书馆系统进行的一次大规模安全审计。作者意识到，大家都在试图衡量图书管理员的表现如何，但每个人使用的尺子、测试题目和评判标准都不一样。一个人可能会说：“我们的图书管理员有 90% 的安全性！”而另一个人则会说：“我们的只有 50%！”该论文认为，你不能直接比较这些数字，因为它们测量的并不是同一件事。

以下是该论文如何解决这一问题的简化说明：

1. 三种全新的“规则手册”（分类法）

作者创建了三个有序的列表来理清混乱，就像把玩具分类放入特定的收纳箱中一样：

“骗子”列表（攻击方式）： 他们对人们如何戏弄图书管理员进行了分类。
- 示例： 有些手段涉及伪装不良请求（例如用秘密代码写下“如何制造炸弹”）。另一些则是将请求拆分成微小的、看似无害的碎片，最后组合成一个坏主意。甚至有人使用第二个 AI 来协助编写这些诡计。
“守护者”列表（防御方式）： 他们对图书管理员如何阻止这些诡计进行了分类。
- 示例： 有些守卫会在人员进入前检查身份证件（输入检测）。另一些会在人员离开后检查提包（输出检测）。还有一些尝试重写请求使其变得安全，或者通过训练图书管理员使其变得更聪明。
“弱点”列表（漏洞）： 他们列出了图书管理员天生的弱点。
- 示例： 如果你表现得很有礼貌，图书管理员可能会因为过于讲礼貌而无法拒绝（心理操纵）；或者如果你要求他们总结一个恰好涉及犯罪的故事，他们可能会感到困惑（格式利用）。

2. “通用测试实验室”（PromptSecurity）

作者构建了一个巨大的模块化测试机器，称为 PromptSecurity。你可以把它想象成一个电子游戏关卡，你可以更换角色、敌人、武器和裁判，但保持游戏的规则完全一致。

为什么这很重要： 在此之前，研究人员会对特定的模型使用特定的问题集进行测试。如果成功了，他们就会宣布胜利。但也许仅仅是因为那些问题太简单了！
解决方案： 该平台迫使所有人都在完全相同的条件下运行测试。它记录了一切：提问了多少个问题、运行测试花了多少钱，以及究竟是哪位“裁判”（AI 评判员）判定答案是不良的。这确保了如果方法 A 击败了方法 B，那是因为方法 A 确实更好，而不是因为测试过程作弊。

3. “大数据”收集（JAILBREAKDB）

论文收集了一个庞大的测试问题库：

445,000+ 个“越狱”尝试（不良请求）。
1,000,000+ 个“良性”请求（正常的、安全的问题）。
他们对这些数据进行了清洗和整理，以便研究人员可以将它们作为任何新 AI 的标准“考试”。

4. 他们的发现（结果）

当他们运行通用测试时，发现了一些令人惊讶的事情：

“裁判”至关重要： 你要求谁来评分会改变得分。如果你要求裁判只看答案的格式（例如，“他们是否以‘我不能’开头？”），他们可能会漏掉隐藏得很巧妙的坏答案。如果你要求他们看含义，他们可能会捕捉到它。论文指出，我们必须非常谨慎地对待我们如何进行评判。
小模型 vs 大模型： 有时，一个较小的、“较弱”的 AI 看起来更安全，是因为它根本无法理解攻击者使用的复杂诡计。这并不是因为这个 AI 更聪明，而是因为它太笨了，无法理解这些指令。
“适得其反”效应： 有些防御措施实际上会让情况变得更糟！如果你试图通过添加安全指令来“引导” AI 变得安全，有时这条指令反而会干扰 AI，使其在无意中说出有害内容。这就像在博物馆展品上贴一个“请勿触摸”的告示牌，但告示牌太大挡住了视线，导致人们撞到了展品上。
成本 vs 安全性： 最有效的防御措施通常需要耗费大量的资金或时间。而最廉价的防御措施在拦截坏请求的同时，也会同样频繁地误伤正常的请求（比如询问食谱）。

核心结论

这篇论文并不仅仅是在说“AI 是不安全的”或“这里有一个修复方案”。相反，它在说：“停止拿苹果和橘子做比较。”

它提供了工具（分类法、数据集和测试平台），以便在未来，当有人声称他们的 AI 是“99% 安全”时，我们可以检查他们的工作，看清他们具体是如何测试的，并确定这种说法是真实的，还是仅仅由糟糕的测试设置造成的幻象。它将一个混乱、混乱的领域转变为一门结构化的科学。

技术总结：SoK：LLM 提示词安全性系统化研究

问题陈述
随着大语言模型（LLMs）作为信息与服务接口的快速部署，提示词层面的安全性已成为一个关键问题。尽管该领域在越狱攻击、防御封装、安全策略、数据集和自动化评判器方面取得了快速进展，但社区正面临严重的碎片化问题。以往的工作通常依赖于不兼容的威胁模型、访问假设、成本预算、数据集和成功标准。这种缺乏标准化的现状使得报告的攻击成功率（ASR）或防御增益难以进行比较。因此，人们往往无法明确观察到的进展究竟源于更强的方法、更弱的目标模型、不同的评判规则，还是仅仅因为更大的查询预算。核心挑战在于确定安全声明是否可以在统一且可审计的条件下进行比较。

方法论
作者提出了一种系统性的 LLM 提示词安全评估方法，旨在从特定论文的演示转向可复现、基于分类法基础的测量。该方法由四个核心部分组成：

三个关联的分类法： 论文建立了一个将技术机制与攻击者/防御者能力分离的概念框架：
- 分类法 I（越狱攻击）： 按威胁模型（黑盒 vs. 白盒）和技术方法（例如：提示词修改、黑盒优化、LLM 辅助技术、多轮对话技术以及利用模型漏洞）对攻击进行分类。它将攻击视为组合式的，允许单一方法实例化多个原子技术单元。
- 分类法 II（防御）： 按目标（检测 vs. 缓解）和干预层（输入层、输出层、内部状态、模型训练、模型修改、输出处理）对防御进行分组。
- 分类法 III（LLM 漏洞）： 对攻击所利用的模型内在失效模式进行分类，如格式利用、过度依赖用户指令、心理操纵和上下文歧义。
可审计的评估协议： 作者将威胁、访问和成本假设形式化为显式的元数据。他们将一次实验定义为一个元组 $\langle M, A, D, S, J \rangle$ ，分别代表模型（Model）、攻击（Attack）、防御（Defense）、数据集（Dataset）和评判器（Judger）。该协议要求只有当组件身份和设置（如助手 LLM、解码参数、查询预算、防御组合）相匹配时，比较才是有效的。
PROMPTSECURITY 平台： 引入了一个模块化评估平台来使协议落地。它将每次实验表示为一个配置好的元组，从而实现兼容访问和可审计的比较。该平台记录样本标识符、输出、设置、查询计数和评判器配置，以确保可复现性。
统一数据集： 作者发布了 JAILBREAKDB，这是一个精选的语料库，包含来自 48 个来源的 445,752 个越狱系统-用户提示词对，以及来自 14 个来源的 1,094,122 个良性提示词。他们还发布了 PROMPTSECURITY-EVAL，其中包含在主要协议下生成的 166,200 条有害查询输出记录和 9,200 条良性效用输出记录。

核心贡献

机制级分类法： 论文通过三个关联的分类法使该领域系统化，支持多标签子类别映射，从而允许在分类法-子类别层面而非仅仅在方法层面进行经验性声明。
统一评估平台： 引入了 PROMPTSECURITY，它将访问兼容性、助手 LLM 的使用以及评判准则视为可审计的安全性声明组成部分，从而在共享的设计空间内实现受控的消融研究。
经验洞察： 该平台被用于在匹配设置下评估 11 个目标模型、21 种攻击设置、10 种防御状态和三种评判器。
数据集与排行榜： 发布了 JAILBREAKDB 和 PROMPTSECURITY-EVAL，以及一个用于浏览兼容的主协议测量结果的交互式排行榜。

结果与经验发现
评估得出了以下分类法层面的发现：

模型访问与能力： 前沿黑盒模型更容易受到提示词转换和混淆攻击的影响，这些攻击有助于目标模型恢复隐藏的有害意图。相反，较弱的白盒模型通常会抑制复杂的转换提示词，但这并非由于其鲁棒性更强，而是因为它们无法执行攻击任务（例如，无法解析代码风格的提示词）。
攻击机制： 在黑盒模型上，低成本的提示词转换往往优于助手生成的自然语言越狱。在白盒模型上，这一排序发生变化，LLM 辅助的搜索和精炼表现出更高的持久性。
防御有效性： 防御有效性取决于机制。输入/输出检测与路由在平均缓解效果中占据主导地位。然而，仅拥有白盒访问权限并不保证强大的防御；例如，梯度筛选和安全提示词优化在某些情况下提供的平均缓解效果微乎其微甚至为负。
防御反噬： 防御可能会引入新的有害行为。例如，安全提示词微调增加了平均有害输出的 ASR，因为增加的引导有时会将原本安全的提示词转变为有害的完成结果。
评判器敏感性： 评判器的选择会实质性地影响安全结论。前缀检查（拒绝格式工具）可能会过度计数非拒绝类的良性输出，并遗漏隐藏在类拒绝开头背后的有害输出。基于行为条件的评判器对所提供的具体行为描述高度敏感，导致 ASR 测量值出现显著差异。

意义
论文认为，LLM 提示词安全性应在公平的配置控制下，在机制组层面进行评估。这项工作的意义在于其从特定论文的演示转向了可复现、具备成本意识且基于分类法的评估。其目标不仅是识别哪种方法具有更高的 ASR，而是阐明哪种机制、设置选择或评判规则解释了所报告的安全行为。通过提供由关联分类法、可执行协议、模块化平台和统一数据集构成的基础，作者旨在使未来的评估能够区分真正的研究方法进步与实验设计的伪影。