🤖 AI

Certified Multi-Turn Robustness for LLM Safety via Compositional Bounds and Safety Persistence

本文引入了多轮认证鲁棒性（Multi-Turn Certified Robustness, MTCR），这是一个利用状态对抗马尔可夫决策过程（State-Adversarial MDPs）和组合界限（compositional bounds）来为大型语言模型针对多轮越狱攻击提供更紧致、具有理论依据的安全保证的新型框架，克服了现有单轮认证方法存在的指数级退化问题。

原作者： Yang Liu, Bin Chong, Wenkai Yang, Shuai Zhang, Yancheng Chen, Feiyu Han, GuoZhen, Cheng Zhang, Huaibing Xie, Changze Lv, Shihan Dou, Pluto Zhou

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yang Liu, Bin Chong, Wenkai Yang, Shuai Zhang, Yancheng Chen, Feiyu Han, GuoZhen, Cheng Zhang, Huaibing Xie, Changze Lv, Shihan Dou, Pluto Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，大语言模型已成为新一代对话技术背后的引擎。这些系统可以编写故事、解决问题并进行复杂的对话，但它们进行多轮对话的能力也引入了一种特定的脆弱性。虽然单次提问可能很容易防范，但聪明的攻击者可以通过一系列问题，通过缓慢改变对话语境来诱骗机器泄露有害信息或绕过其安全规则。这被称为多轮越狱（multi-turn jailbreak）。多年来，研究人员一直难以证明这些系统在长对话中的安全性。传统方法只能保证单次交互的安全性，而当他们试图将这些保证扩展到长对话时，数学计算表明安全性会几乎瞬间消失，使系统处于易受攻击的状态。

一组研究人员现在开发了一种名为“多轮认证鲁棒性”（Multi-Turn Certified Robustness，简称 MTCR）的新框架，它改变了我们对这些长对话中安全性的理解。研究人员没有将对话视为一系列独立的事件链（在这种情况下，安全性会随着每一轮对话而丧失），而是将对话建模为穿越一个结构化景观的旅程。他们发现，对话自然地会落入不同的“模式”或模式中，就像旅行者在地图的不同区域之间移动一样。通过将对话分解为这些特定的区域并研究系统如何在它们之间移动，他们发现安全性并不一定会像之前认为的那样迅速退化。他们的工作提供了一个形式化的数学保证，即即使在攻击者积极试图操纵对话的情况下，对话也可以在特定轮数内保持安全。

这一发现的核心在于研究人员如何分析对话的流向。他们意识到，如果一段对话在一段时间内保持在一种安全的模式中，系统的安全裕度（即防止生成有害内容的缓冲空间）并不会像简单数学预测的那样快速缩小。他们定义了一个称为“安全性持久性”（safety persistence）的属性，用于衡量模型在对话进行过程中保持其安全标准的能力。在实验中，他们针对六种不同的语言模型测试了这一框架，涵盖了从开源系统到目前最先进的商业模型。他们对这些模型进行了严格测试，包括一种被称为“Crescendo”的高级攻击方式，在这种攻击中，对手会精心设计一系列输入，以逐步瓦解模型的防御。

结果是清晰且令人安心的。在每一个测试案例中，模型的实际安全性都显著高于新框架所提供的严格的最坏情况保证。例如，在一个持续二十轮的对话中，理论上的保证可能显示安全概率仅为百分之几，但实际上模型在绝大多数尝试中都保持了安全。这种严格保证与现实表现之间的差距证实了，即使在巨大的压力下，数学边界在实践中也没有被违反。研究人员发现，与较旧或对齐程度较低的模型相比，来自主要科技公司的最先进模型能更长时间地维持其安全性，这表明更好的训练带来了更强的持久性。

至关重要的是，这项工作也排除了“安全性必然会随着对话变长而呈指数级崩溃”的观点。以往的方法假设，如果一个模型在单轮对话中有 95% 的概率是安全的，那么在二十轮对话后，其保持安全的概率将变得微乎其微。新框架表明，这种假设过于悲观。通过考虑对话的结构以及安全性裕度演变的方式，研究人员证明了安全性可以维持得比旧有的数学模型允许的时间更长。他们证明，为了让对话保持安全，系统并不需要每一步都完美无缺；它只需要在从一个话题转向另一个话题的过程中保持一定的韧性。

该研究还强调了对话结构的重要性。研究人员使用一种技术将相似的对话状态分组在一起，发现当模型保持在一个一致的话题组内时，很难打破其安全性。只有当对话在非常不同的组别之间跳转时，风险才会增加。这一洞察力实现了一种更细致的安全理解，从二元的“安全”或“不安全”视角转向了关于安全性如何随时间持续的动态视角。虽然形式化保证适用于特定类型的文本操纵，但研究人员观察到，即使面对超越简单文本变化的更复杂的语义攻击，模型依然表现良好。

最终，这项研究为开发者和审计员提供了一个评估对话式人工智能在发布前安全性的新工具。它提供了一种计算方法，可以精确算出一段对话可以持续多久，直到安全失败的风险变得过高，并基于模型的特定行为提供一个具体的限制。该框架表明，通过具备正确的结构属性，大语言模型可以在不丢失其防线的情况下进行长期、复杂的对话。这并不意味着问题已永久解决，但它为理解并认证在定义人类与 AI 通信未来的多轮交互中的安全性，奠定了坚实的理论基础。这项工作证实，尽管攻击者很聪明，但对齐良好的模型所拥有的底层安全机制比此前认为的更加稳健且具有持久性。

技术摘要：通过组合界限与安全性持续性实现大语言模型（LLM）的认证多轮鲁棒性

1. 问题定义

部署在对话应用中的大语言模型（LLM）正日益受到多轮越狱攻击的威胁。与单轮攻击不同，这类威胁（如 Crescendo、X-Teaming）通过在多次交互中逐步操纵对话上下文，往往能针对最先进的防御机制实现近乎完美的成功率。

现有的认证鲁棒性方法（如随机平滑、擦除并检查）局限于单输入场景。将这些方法直接扩展到多轮场景的方法涉及将单轮安全性概率相乘。然而，这种方法产生的界限会随轮数（ $k$ ）呈指数级退化。如果最差情况下的每轮安全性概率为 $p < 1$ ，则 $k$ 轮的界限变为 $p^k$ ，这在轮数适中时（例如在 50 轮内从 0.95 降至 0.08）会变得微不足道。这种指数级退化无法为安全关键型应用提供实际的保证。

本文将多轮对话建模为状态对抗马尔可夫决策过程（SA-MDP）。在该框架下：

状态 ( $s_t$ )： 对话历史通过函数 $\phi$ 被映射到嵌入空间。
对手： 从参考输入的 $\epsilon$ -扰动球中选择用户消息 $u_t$ 。
转移： 系统通过 $s_t = T(s_{t-1}, u_t, r_t)$ 进行演化，其中 $r_t$ 是 LLM 的响应。
安全性： 由一个将状态空间划分为安全区域 ( $S^+$ ) 和不安全区域 ( $S^-$ ) 的谓词定义。

目标是定义并计算 $k$ 轮认证鲁棒性 ( $\rho_k$ )，代表在面对任何自适应对手时，维持安全性跨越 $k$ 轮的最差情况概率。

2. 方法论：多轮认证鲁棒性 (MTCR)

作者提出了 MTCR 框架，该框架通过利用对话状态空间的结构特性来避免指数级退化。该框架由四个集成组件组成：

2.1 通过模式分解进行组合认证

MTCR 不将对话视为一系列独立的轮次，而是将安全状态空间 $S^+$ 分解为一组模式 $\mathcal{M} = \{m_1, \dots, m_M\}$ （嵌入空间中的聚类）。

模式内安全性： 认证在特定模式内部保持安全的概率。
模式间转移： 认证在模式之间进行安全转移的概率。
界限紧致性： 通过将模式内稳定性与转移成本分离，组合界限显著优于直观的乘法界限 ( $p^k$ )。该界限通过内模概率和转移概率的乘积，并结合重叠因子 $\kappa$ 进行计算。
计算： 使用动态规划在 $O(M^2k)$ 时间内高效计算模式转移图上的最差轨迹。

2.2 $(\alpha, \beta)$ -安全性持续性

该框架引入了安全性持续性，这是一种表征安全性裕度如何演化的结构属性。

定义： 如果系统在至少以 $\beta$ 的概率下，其安全性裕度 $\Delta(s)$ 在一次对抗性轮次后仍保留至少 $(1-\alpha)$ 的原值，则称该系统具有 $(\alpha, \beta)$ -安全性持续性。
影响： 在此属性下，鲁棒性界限按 $\beta^k$ 而非 $p^k$ 退化。若 $\beta > p$ ，则界限得到显著提升。
时界估计： 这使得能够通过线性特征化 ( $1 - k(1-\beta)$ ) 来获得维持目标安全水平所需的最大对话长度 ( $k_{max}$ ) 的可解释估计。

2.3 紧致性与不可能结果

论文确立了认证的理论极限：

紧致性： 对于非重叠模式分解 ( $\kappa=1$ )，组合下界与信息论上界相匹配，证明了该方法对于此类系统是紧致的。
不可能结果： 若没有结构性假设（如模式分解或持续性），指数级退化 ( $p^k$ ) 是不可避免的。作者证明，对于缺乏这些结构的无记忆系统，直观的界限是紧致的。

2.4 统一算法

统一算法（算法 1）结合了组合界限和持续性参数。它通过同时利用结构稳定性与裕度演化，计算最终的认证保证，即作为“仅持续性界限”与“组合-持续性结合界限”的最大值。

3. 实验结果

作者在六种生产级 LLM（包括 LLaMA-2, Vicuna, Llama-3.2, Qwen2.5, GPT-4o, 和 Claude-3.5-Sonnet）上，针对两种攻击类型进行了评估：静态 $\epsilon$ -有界扰动和自适应 Crescendo 式攻击。

界限有效性： 在所有模型和轮数（ $k \in \{5, 10, 15, 20\}$ ）下，经验安全性始终高于 MTCR 认证界限。经验安全性与认证界限之间的差距在 +0.19 到 +0.30 之间，证实了这些界限在实践中未被违反。
相对于直观界限的改进： 在 $k=5$ 时，MTCR 提供的认证界限比直观的乘法界限 ( $p^k$ ) 紧致 1.2–1.6 倍。
模型对齐： 认证界限与模型的对齐强度相关。相比开源模型，闭源模型（GPT-4o, Claude-3.5）实现了更高的界限和更慢的退化速率，表明其具有更强的底层安全性持续性。
消融研究： 组合公式（定理 3.11）的表现始终优于“仅持续性”和“仅组合”变体，证明了共同利用模式结构和持续性的价值。
敏感性： 该框架表现出预期的对扰动预算 ( $\epsilon$ ) 和模式粒度 ( $M$ ) 的敏感性，更细的模式会增加重叠并可能导致界限退化。

4. 重要性与主张

本文声称引入了首个用于多轮 LLM 对话的认证安全性理论框架。其主要贡献包括：

打破指数级退化： 通过从直观的乘法转向组合界限和安全性持续性，MTCR 为以往方法失效的多轮交互提供了非空虚（non-vacuous）的保证。
形式化保证： 它针对 $\epsilon$ -有界对手提供了形式化的、最差情况的概率保证，并在更强的语义攻击（Crescendo）下得到了经验验证。
诊断效用： 该框架可作为部署前的审计工具，识别特定的“安全瓶颈”（具有低模式内安全性或高风险转移的模式），从而指导有针对性的安全性微调。
理论基础： 它确立了实现亚指数级鲁棒性界限对于结构性假设（模式、持续性）的必要性，并证明如果没有这些假设，指数级退化是必然的。

作者保持了审慎的态度，承认目前的正式认证仅限于 $\epsilon$ -有界扰动（字符级），且依赖于启发式模式发现。他们指出，虽然经验安全性可以泛化到 Crescendo 等语义攻击，但超出 $\epsilon$ -球的正式保证仍是一个开放性挑战。由于随机平滑的计算成本，该框架旨在用于离线认证（审计）而非实时推理。