在数字时代，大型语言模型已成为无数应用背后的无声引擎，从起草电子邮件到回答复杂问题。这些系统通过对海量人类文本的学习，掌握了预测句子中下一个词出现的规律。然而，这种理解和生成语言的能力同时也使它们容易受到一种被称为“越狱”（jailbreak）的特定欺骗手段的影响。在越狱攻击中，用户会精心设计一个提示词——即一个经过精心构思的请求，旨在绕过模型的内置安全规则。通过使用角色扮演场景、隐藏指令或奇特的格式，攻击者可以诱骗模型忽略其伦理准则，并生成有害内容，例如危险活动的指令或仇恨言论。尽管开发者一直试图加强这些模型的防御能力以抵御此类手段，但攻击者的手段也在不断演变，形成了一个难以用单一、静态护盾进行防御的移动目标。
一种名为 JailBreakGuard 的新方法为解决这一问题提供了不同的思路，它将重点从改变模型本身转向了在请求被处理之前对其进行仔细修改。四川大学和桂林电子科技大学的研究人员发现，并非所有的恶意提示词都长得一样。有些依赖于读起来非常流畅的复杂故事化场景，而另一些则使用充满无意义字符的奇怪、混乱文本来迷惑系统。研究团队发现，这两种类型的攻击在通过模型衡量其“惊讶度”（surprisingness）时，表现得截然不同。平滑的故事类攻击往往看起来非常正常且可预测，而那些混乱的对抗性攻击则看起来既混乱又高度不可预测。
为了利用这种差异，研究人员构建了一个像应用程序入口处智能门卫一样的防御系统。该系统并非对每个请求都应用相同的修复措施，而是首先测量输入文本的“惊讶程度”。如果文本高度混乱且不可预测，系统就会判定其为混乱型的攻击，并应用一种随机删除、交换或插入少量字符的技术。这种微小的噪声足以破坏恶意代码的特定结构，却不会改变正常问题的含义。如果文本平滑且可预测，系统则会认为它可能是一个巧妙的故事类攻击，转而使用一个辅助模型来重写句子。这个重写过程在保持原意不变的同时，剥离了旨在诱骗安全过滤器的隐藏指令。
这种动态方法的测试结果涵盖了七个类别中的九种不同类型的越狱攻击。实验证明，该系统非常有效，将这些攻击在受测模型上的平均成功率降低了 70% 以上。至关重要的是，这种防御并没有以牺牲模型帮助普通用户的能力为代价。当研究人员在正常、无害的问题上测试该系统时，模型的性能下降微乎其微，准确率的最大降幅仅为 3.19%。事实上，对于某些模型，重写过程甚至使问题变得更容易理解，从而带来了微小的准确率提升。
这种方法脱颖而出，是因为它不需要更改底层模型或其内部设置，使其能够轻松安装在请求首先到达的服务层级。它还非常高效，与许多现有的防御方法相比，耗时更短且消耗的计算资源更少。通过识别出不同的攻击需要不同的对策，并利用文本的自然结构来决定使用哪种对策，JailBreakGuard 提供了一个灵活且稳健的护盾。它证明了防御并不一定需要是一堵沉重、僵硬的墙；有时，最有效的保护是一种轻巧、智能且能适应威胁形态的触碰。
技术摘要：JailBreakGuard
问题陈述
集成在应用服务（尤其是点对点/P2P环境）中的大语言模型（LLM）仍然容易受到越狱攻击（Jailbreak attacks）的影响。在这些攻击中，攻击者通过构建特定的提示词来绕过安全防护机制并诱导产生有害输出。现有的防御机制面临两个关键局限性：
- 对多样化攻击的有效性不足： 单一的防御策略（例如困惑度过滤或改写）无法有效应对所有类型的越狱提示词，例如对抗性后缀（adversarial suffixes）与复杂的场景式叙事（scenario-based narratives）。
- 高资源消耗： 同时部署多种防御机制或使用需要重复调用模型的防御方法会带来巨大的处理开销和部署成本，从而阻碍了其在服务接口的大规模应用。
目前的对齐技术（如基于人类反馈的强化学习 RLHF 和直接偏好优化 DPO）虽然减少了但并未消除模型对精心构造的提示词的易感性。此外，对于需要通过输入接口部署防护措施而不改变模型架构的服务提供商而言，修改底层模型参数通常是不切实际的。
方法论
作者提出了 JailBreakGuard，这是一个在服务接口层面运行、无需修改目标 LLM 参数的输入级防御框架。该框架根据文本的困惑度动态选择扰动策略。它由三个核心模块组成：
1. 基于困惑度的扰动策略选择
其核心创新在于一种利用文本困惑度来分类攻击类型，进而确定相应防御策略的机制。
- 观察结果： 作者发现，对抗性攻击（如 GCG）由于存在不自然的字符序列，通常表现出高困惑度；而基于场景或角色扮演的攻击（如 DAN、DeepInception）由于保持了流畅的自然语言，则表现出低困惑度。
- 阈值优化： 系统通过最小化目标函数 J(θ) 来计算最优困惑度阈值 (θ∗)，该函数平衡了对抗性攻击与场景类攻击分布之间的第一类错误（Type I）和第二类错误（Type II）。通过使用 Brentq 算法，他们确定了 154.63 的最优阈值。
- 路由机制：
- 高困惑度 (> θ∗)： 路由至**字符级扰动（Character-Level Perturbation）**模块。
- 低困理解 (≤ θ∗)： 路由至**句子级扰动（Sentence-Level Perturbation）**模块。
2. 字符级扰动模块
该模块针对高困惑度输入（可能包含对抗性后缀），旨在破坏攻击的结构依赖性，同时不会显著改变良性查询的语义。它以 4% 的比例按顺序执行三种操作：
- 随机删除： 移除随机字符。
- 随机交换： 交换随机字符的位置。
- 随机插入： 插入随机的 ASCII 字符。
3. 句子级扰动模块
该模块针对低困惑度输入（可能是场景式或流畅的越狱），使用辅助 LLM（DeepSeek-V3）对提示词进行重写。
- 流程： 将输入放入一个面向安全的改写模板中。
- 双重目标：
- 消除危害： 强制消除检测到的有害内容。
- 语义保留： 严格保持原始查询的核心含义。
- 安全层： 如果输入包含明显的恶意内容，改写模型会直接拒绝处理。
核心贡献
- 新颖框架： 引入了 JailBreakGuard，这是一个通过动态的、基于困惑度的选择机制，将字符级和句子级扰动相结合的通用防御框架。
- 模型无关的部署： 该方法完全在输入层运行，不需要修改受保护模型的架构或参数，使其适用于 P2P 服务节点和现有的 LLM API。
- 自适应策略： 通过使用困惑度作为分类器，系统能够动态结合不同扰动方法的优势，解决了单一策略防御的局限性。
- 全面的评估： 在涵盖七个类别（包括基于梯度的、基于变异的、角色扮演和多语言攻击）的九种越狱攻击上，对多个受害者模型（Qwen2.5、DeepSeek-V3、Vicuna、Llama）进行了广泛测试。
实验结果
作者在 Qwen2.5-32B 和 DeepSeek-V3 模型上针对九种攻击类型对 JailBreakGuard 进行了评估：
攻击成功率 (ASR) 降低情况：
- 在 Qwen2.5-32B 上，平均 ASR 从 23.20%（无防御）降至 5.42%，相对降低了 76.64%。
- 在 DeepSeek-V3 上，平均 ASR 从 25.58% 降至 7.10%，相对降低了 72.24%。
- 特定攻击如 GCG 和 DAN 被降低到了接近零的 ASR（例如，Qwen2.5-32B 上的 GCG 从 10.83% 降至 0.00%）。
良性效用保持：
- 该框架在良性查询上保持了高性能（MMLU 数据集）。
- 观察到的最大性能下降为 3.19%（在 Qwen2.5-14B 上）。
- 有趣的是，某些模型（Vicuna-13B, Llama-3.1-8B）在扰动后显示出轻微的准确率提升，这可能是由于句子级改写将查询重新表述为更具可解释性的形式。
与基准模型的对比：
- JailBreakGuard 在 10 个 测试场景中的 8 个 场景中优于基准模型（Self-Reminder, LLM Self Defense, Llama Guard 3）。
- 在其余 2 个案例中，性能差距小于 2%。
资源效率：
- 与基准模型相比，JailBreakGuard 展示了显著更低的资源消耗。
- 平均防御时间： 约 3.86 秒（基准模型 > 10 秒）。
- 平均 Token 成本： 225.14 个 token（基准模型约为 300–500+ 个）。
消融实验：
- 若禁用困惑度选择器并随机应用扰动，会导致防御效果欠佳，这证实了动态路由机制的必要性。
- 仅使用字符级扰动无法应对基于场景的攻击，而仅使用句子级扰动则无法应对对抗性后缀，这验证了双策略方法的必要性。
重要性与主张
论文声称 JailBreakGuard 为保障 LLM 服务接口的安全提供了一个实用、低成本且高效的解决方案。其重要性在于：
- 可扩展性： 通过避免模型重训练并最小化计算开销，它适用于资源受限的 P2P 环境。
- 鲁棒性： 它成功解决了单一方法防御失效的多样化越狱攻击问题，在广泛的攻击向量中实现了 >70% 的攻击成功率降低。
- 可用性： 它在安全性与效用之间取得了平衡，确保了良性用户查询不会受到显著降级，从而促进了 LLM 安全地集成到更广泛的应用生态系统中。
作者总结道，尽管高度结构化的场景式攻击（如 DeepInception）仍然具有挑战性，但 JailBreakGuard 代表了动态、输入级防御策略迈出的重要一步。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。