💻 computer science

Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation

本文提出了一种零样本越狱防御框架，该框架利用无监督潜在方向发现来模拟多样化的对抗激活，并训练一个势诱导的转向场，以有效引导未见过的越狱攻击走向拒绝，同时保留良性效用。

原作者： Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文《超越支持集的引导》的解释。

核心问题：“训练集”陷阱

想象你雇佣了一位非常聪明的保安（AI）来保护一座博物馆。你通过向这位保安展示一本包含 100 种特定类型窃贼的照片集来训练他：一个戴着红帽子，一个留着假胡子，还有一个拿着撬棍。

保安学会了完美地识别这 100 种特定窃贼。然而，一个新窃贼出现了，他戴着蓝帽子，拿着激光切割机。由于保安只接受过“红帽子”和“撬棍”照片的训练，他无法识别这个新威胁，从而放行了此人。

在人工智能领域，这被称为越狱问题。

保安：一个被训练得既乐于助人又安全的大型语言模型（AI）。
窃贼：那些诱使 AI 说出有害内容的“越狱”提示词。
陷阱：以往的安全方法就像我们的保安一样。它们是基于已知越狱方式的静态、有限列表进行训练的。如果黑客发明了一种新方法来诱使 AI（即训练列表中没有的方法），旧的安全方法就会失效。

旧方案与新思路

旧方法（监督式引导）：
以前的研究人员试图通过教 AI 一个单一的“拒绝向量”来解决这个问题。这就像给保安一个巨大的磁铁，将一切从“有害”区域推开。

缺陷：这种方法过于粗糙。如果你推开一切，可能会误伤有益的请求（比如询问汤的食谱）。此外，它只对那些经过训练能识别的特定窃贼有效。

新方法（本文的解决方案）：
作者提出了一种更智能、更灵活的方法，称为无监督越狱激活模拟的对抗训练。这个名字很长，让我们用一个比喻来分解它。

比喻：“梦境模拟器”与“灵活力场”

作者没有在等待新窃贼出现，而是在 AI 的大脑中构建了一个梦境模拟器。

梦境模拟器（无监督潜在方向发现）：
AI 知道“拒绝”是什么样子的（即说“我做不到”）。研究人员找到了一种数学方法来“拉伸”这种拒绝状态。想象一下，拿一根代表“拒绝”的橡皮筋，向随机方向拉伸它。
- 令人惊讶的是，当你把它拉伸得足够远时，它会变成一种“越狱”状态（AI 同意做坏事）。
- AI 这样做不需要任何真实的坏越狱示例。它本质上是通过扭曲自身的内部逻辑，凭空构想出成千上万个它从未见过的、新的虚假越狱场景。
灵活力场（势能函数）：
研究人员没有使用单一的磁铁，而是教 AI 一个动态力场。
- 对于良性请求：力场是隐形的。如果你请求写诗或数学帮助，AI 穿过力场时不会受到任何阻力。（这保留了 AI 的实用性）。
- 对于恶意请求：力场变成了厚厚的、粘稠的泥浆。一旦 AI 开始思考有害的答案，力场就会将其强力推回“拒绝”区域。

训练过程：“内外”循环

训练过程就像一个同时运行两个关卡的视频游戏：

关卡 1（内层步骤 - 攻击者）：
AI 试图打破自己的安全规则。它利用“梦境模拟器”生成它能想到的最难的虚假越狱。这就像黑客试图在墙上寻找漏洞。
关卡 2（外层步骤 - 防御者）：
然后，AI 更新其“力场”以修补这些特定的漏洞。它学会将这些虚假越狱推回“拒绝”状态，同时确保墙壁不会阻挡“良性”请求。

他们重复这个循环数千次。“攻击者”变得更擅长发现新漏洞，而“防御者”则更擅长修补它们。由于攻击者是在实时编造新场景，防御者学会应对任何类型的越狱，而不仅仅是原始训练列表中的那些。

结果：更强大、更聪明的保安

该论文在三种不同的 AI 模型和六种不同的越狱攻击家族上测试了这种方法。

得分：新方法阻止了超过**95%**的攻击（将“攻击成功率”保持在 5% 以下）。
额外优势：与旧的“大磁铁”方法不同，这种新力场没有导致 AI 拒绝回答正常问题。它保持了 AI 的乐于助人和聪明才智。
证明：研究人员表明，随着训练的深入，“梦境模拟器”覆盖了越来越多的“越狱领域”，有效地绘制了整个潜在威胁的景观，甚至包括那些尚未存在的威胁。

总结

简而言之，这篇论文通过教 AI想象其最坏的情况，然后构建一个定制的灵活护盾来阻止它们，从而解决了 AI 安全问题。AI 不再死记硬背坏蛋名单，而是学会了坏行为的形态，使其能够立即识别并阻止新的、未见过的诡计。

技术摘要：超越支持范围的引导

问题陈述

当前针对大语言模型（LLM）的安全引导方法严重依赖使用已知越狱提示的静态、有限数据集进行监督训练。虽然这些方法能够学习将特定训练示例的激活状态引导至“拒绝”区域，但它们存在根本性的泛化失败：在面对未见过的、分布外（OOD）的越狱攻击时表现不佳。现有方法要么应用全局的、低容量的干预措施，导致良性效用下降；要么学习条件干预措施，却无法泛化到其狭窄的训练支持范围之外。核心挑战在于如何训练一种安全引导机制，使其在无需 exhaustive 标记越狱数据的情况下，最大程度地泛化超越静态、有限的训练支持。

方法论

本文提出了一种双层对抗训练框架，利用无监督潜在方向发现来模拟多样化的越狱激活，从而扩展引导场的训练支持范围。

1. 无监督越狱激活模拟（内层步骤）

该方法不收集新的标记越狱数据，而是发现能够将“拒绝状态”激活（来自直接有害请求）转换为“越狱”激活（合规的有害响应）的潜在方向。

潜在方向发现：使用无监督目标，模型学习一组在早期层 $s$ 注入的引导向量 $V$ 。这些向量经过优化，旨在跨提示数据集在目标层 $t$ 诱导一致且大幅的语义偏移，从而有效发现能够改变模型行为的因果干预措施。
外推：将这些发现的方向以校准的幅度 $R$ 应用于拒绝状态激活（ $h_r$ ），以生成对抗性的模拟越狱激活（ $h_{adv} = h_r + R \cdot v$ ）。此过程将训练支持外推到激活空间中可能对应未见越狱的区域。

2. 基于势函数的可学习引导

本文超越了固定的线性引导向量，转向一种可学习的、空间变化的引导场。

最优传输（OT）视角：引导机制被建模为以最小位移将越狱激活的分布传输至拒绝激活的分布。
势函数：学习一个标量势函数 $f_\phi$ （由小型 MLP 参数化）。其梯度 $\nabla f_\phi$ 定义了一个引导激活的向量场。
测试时引导：在推理过程中，激活 $h$ 通过沿该场迭代执行梯度上升步骤进行引导： $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$ 。

3. 双层对抗训练（外层步骤）

势函数被训练以满足三个特定的期望：

通用可引导性：该场必须将非拒绝激活（包括模拟的越狱）传输至拒绝区域。这是通过利用 Wasserstein-1 距离的 Kantorovich-Rubinstein 对偶，最大化拒绝分布与非拒绝分布之间的势差来实现的。
良性零可引导性：该场必须对良性激活保持近恒等（零梯度），以保留效用。这是通过对良性输入上的梯度范数施加惩罚来强制执行的。
越狱强可引导性：该场必须对越狱激活诱导强传输。

训练在以下步骤之间交替进行：

内层步骤：对抗性地优化潜在方向 $V$ ，以生成当前难以引导的“困难”模拟越狱（最大化当前势函数上的损失）。
外层步骤：更新势参数 $\phi$ ，以最小化这些困难模拟越狱上的损失，同时保持良性和通用可引导性约束。

主要贡献

识别关键局限性：作者指出，监督安全引导无法泛化到未见越狱，因为它与静态训练分布绑定，导致越狱激活空间的大片区域未定义。
双层对抗框架：一种新颖的训练循环，利用无监督潜在方向发现来合成多样化的对抗性越狱激活。这些模拟状态作为训练信号，逐步扩展引导场的有效覆盖范围。
基于势的引导：引入一种可学习的标量势（通过最优传输对偶性），提供空间变化、高容量的引导场，取代僵硬的线性干预。

实验结果

该方法在三个大语言模型（LLaMA-3-8B、Mistral-v2-7B、Qwen-2.5-7B）和六个经典越狱家族（GCG、AutoDAN、GPTFuzz、PAIR、TAP、FewShot）上进行了评估。

鲁棒性：所提出的方法实现了强大的防御性能，在所有模型和攻击家族中，攻击成功率（ASR）大多低于 5%。在未见攻击上，其表现优于或持平于监督基线（如 AlphaSteer）和表示工程方法（如 Circuit-Breaker）。
效用保留：与导致良性边界案例高过度拒绝率的激进基线不同，所提出的方法在推理、知识和数学基准测试（ARC-C、TruthfulQA、GSM8K）上保持了高效用分数，同时将假阳性率（过度拒绝）保持在相对较低的水平。
机制洞察：分析表明，随着训练的进行，模拟的越狱激活扩展以覆盖真实越狱攻击的子空间。这种“上升的子空间覆盖”与防御鲁棒性的提高直接相关，验证了通过模拟扩展训练支持是泛化的关键驱动因素这一假设。

意义与主张

本文声称解决了一个大语言模型安全领域被 largely 忽视的问题：当前引导方法无法泛化超越其训练支持。通过将静态越狱上的监督学习转变为无监督对抗模拟范式，该方法使安全引导能够适应不断演变和未见的威胁。

作者强调，他们的方法不需要重新训练整个模型或收集 exhaustive 的越狱数据集。相反，它学习一个鲁棒的、空间变化的引导场，能够将有害的内部状态重定向为拒绝行为，同时保留良性效用。这项工作表明，稳健防御的关键在于合成并从广泛的模拟越狱激活分布中学习的能力，从而有效地“超越原始训练数据的支持范围进行引导”。

局限性：作者指出，该框架依赖于无监督潜在方向发现的质量。他们承认，涉及非自然语言（例如 base64、密码）的越狱可能对应于线性潜在干预难以到达的激活区域，这表明模拟机制的表达力存在固有局限。