💻 computer science

Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

该论文提出了一种无需重训练的“安全潜力剪枝”框架，通过识别并移除对安全提示响应较弱的权重来放大安全子网络，从而在保持模型良性性能的同时显著降低视觉语言模型遭受越狱攻击的成功率。

原作者： Chongxin Li, Hanzhang Wang, Lian Duan

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Chongxin Li, Hanzhang Wang, Lian Duan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为"安全潜力剪枝"（Safety-Potential Pruning）的新方法，用来给多模态大模型（既能看图又能聊天的 AI）穿上更坚固的“防弹衣”，防止它们被“越狱”（Jailbreaking，即通过特殊话术诱导 AI 说坏话或做坏事）。

为了让你轻松理解，我们可以把整个故事想象成管理一家繁忙的“全能餐厅”。

1. 背景：餐厅里的“捣蛋鬼”

现在的 AI 模型就像一家全能餐厅，厨师（模型）什么菜都能做（看图、回答问题、写代码）。但是，总有一些捣蛋鬼（黑客或恶意用户）试图通过特殊的“暗号”（越狱提示词）让厨师做出违规的菜（比如教人制造武器、泄露隐私）。

现状：以前，餐厅老板（开发者）主要靠两招：
1. 重新培训厨师（微调）：让厨师重新学习规矩。但这很贵、很慢，而且容易让厨师忘了怎么做好吃的菜（损害了正常功能）。
2. 门口贴标语（安全提示）：在菜单上写“禁止做坏事”。但这招有时候不管用，因为厨师脑子里的“坏习惯”回路太深，标语只是浮在表面。

2. 核心发现：餐厅里藏着“隐形保安”

作者通过观察发现，这家餐厅里其实一直藏着一群隐形的保安（安全子网络）。

平时大家点正常菜时，这些保安都在睡觉（参数处于静默状态）。
只有当有人大声喊出“这是违规的！”（安全提示词）时，这群保安才会突然醒过来，开始工作，阻止厨师做坏事。
关键问题：这些保安虽然醒了，但周围还有很多捣乱的闲杂人员（对安全不敏感的参数）在干扰他们，导致保安有时候拦不住坏人。

3. 解决方案：只剪掉“闲杂人员”

作者提出的"安全潜力剪枝"，就像是一个超级精准的“大扫除”。

传统剪枝（为了省空间）：像是一个粗心的清洁工，不管是谁，只要看着不起眼就砍掉。这可能会误伤保安，或者把保安周围的干扰源留得太少，导致餐厅瘫痪。
我们的方法（安全潜力剪枝）：
1. 观察：先让厨师面对一个“安全提示”（比如“不要做坏事”），看看哪些神经元（厨师的大脑回路）被强烈激活了。
2. 识别：找出那些对“安全提示”毫无反应的神经元。这些就是“闲杂人员”或者“捣乱分子”。
3. 剪枝（一刀切）：直接把这些不听话的神经元剪掉（把权重设为 0），完全不需要重新培训厨师。
4. 结果：剩下的网络里，“安全保安”的通路变得非常清晰和强壮。当坏人再来时，保安能更敏锐、更果断地拦截。

4. 比喻总结：修剪花园

想象你的大脑（AI 模型）是一个大花园。

杂草：那些容易让 AI 产生危险想法的神经连接。
花朵：那些让 AI 变聪明、能正常聊天的神经连接。
安全提示：就像是一阵特定的风。
传统做法：给花园喷除草剂（重新训练），或者在门口挂个牌子（提示词）。
本文做法：
1. 先吹一阵“安全风”（输入安全提示）。
2. 发现只有特定的几株植物（安全子网络）在风中剧烈摇摆（被激活）。
3. 其他的植物在风中纹丝不动。
4. 于是，园丁（算法）拿着剪刀，只剪掉那些纹丝不动的植物。
5. 神奇效果：剩下的花园里，那些“摇摆植物”（安全机制）因为没有了杂草的遮挡，长得更壮、反应更快了。而且，因为没动那些负责“开花结果”（正常任务）的植物，花园依然美丽。

5. 实验结果：既安全又好用

作者在三个不同的 AI 模型（Qwen, LLaVA, InstructBLIP）和三个“越狱”测试集上做了实验：

防越狱能力大增：相比只用提示词，这种方法让 AI 拒绝坏请求的成功率提高了最高 22%。
正常能力没受损：AI 在正常回答问题、看图说话时，表现依然很好，没有变笨。
无需重训：整个过程像是一次性的“手术”，剪完就完事，不需要像重新训练那样烧钱烧时间。

6. 结论

这篇论文告诉我们：AI 的安全能力其实早就藏在它的身体里了，只是平时被“杂草”挡住了。我们不需要给 AI 做“整容手术”（重新训练），只需要用一种聪明的方法（安全潜力剪枝）把干扰它的“杂草”剪掉，就能让 AI 自带的“安全卫士”发挥最大威力。

一句话总结：
这就好比给 AI 做了一次精准的“排毒”手术，去掉了那些让它容易“走火入魔”的多余神经，让它原本就有的“正义感”变得更强，而且做完手术它依然聪明能干。

这是一份关于论文《Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining》（无需重训练的安全潜能剪枝以增强 VLM 对抗越狱攻击的安全提示）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：视觉 - 语言模型（VLMs）在图像描述、视觉推理等任务上表现出色，但也继承了大语言模型（LLM）的对抗脆弱性，容易受到“越狱”（Jailbreak）攻击，即通过精心设计的提示词诱导模型生成有害内容。
现有防御的局限性：
- 微调（Fine-tuning）：虽然有效，但计算成本高，且可能导致“安全税”（Safety Tax），即通用任务性能下降。
- 推理时干预（Inference-time Intervention）：如安全提示（Safety Prompting）或辅助分类器。这些方法无需修改参数，但效果受限于模型对安全刺激的潜在结构响应能力。如果模型内部没有激活相关的安全通路，仅靠提示词效果有限。
核心问题：如何在不进行额外重训练的情况下，揭示并放大模型内部固有的安全能力，从而增强安全提示的防御效果？

2. 核心假设与洞察 (Key Insight)

作者提出了**“安全子网络假设”（Safety Subnetwork Hypothesis）**：

VLM 中产生安全输出的能力并非均匀分布，而是集中在稀疏的、深层的潜在子网络中。
在良性使用（无安全提示）时，这些通路处于休眠状态；当施加安全提示时，模型会选择性激活这一小部分参数。
结论：有效的安全干预不需要增加新能力，而是需要挖掘和利用模型内部已有的、能调节高级语义行为的结构。

3. 方法论：安全潜能剪枝 (Methodology: Safety-Potential Pruning)

作者提出了一种单步（One-shot）剪枝框架，旨在通过移除对安全提示不敏感的权重，来放大安全相关的激活通路。该方法无需微调。

3.1 激活差异分析

通过对比“有安全提示”和“无安全提示”两种条件下模型内部激活（Activation）的差异，发现深层网络中部分单元对安全线索表现出强烈的正响应。

3.2 敏感性度量与评分

为了识别并保留这些“安全潜能”子网络，作者定义了一个基于敏感性的权重重要性指标：

计算通道敏感性 ( $S_j$ )：
$S_j = \|A^S_j\|_2^2 - \|A^{NS}_j\|_2^2$
其中 $A^S$ 是安全提示下的激活， $A^{NS}$ 是无安全提示下的激活。正值表示该通道对安全提示响应强烈。
计算剪枝评分 ( $Score_{ij}$ )：
$Score_{ij} = |W_{ij}| \cdot \sqrt{\max(S_j, 0)}$
该评分结合了权重的结构幅度（ $|W_{ij}|$ $∣ W_{ij} ∣$ ）和功能响应性（ $\sqrt{S_j}$ $S_{j}$ ）。
- 如果权重对安全提示不敏感（ $S_j \le 0$ ），其评分为 0 或极低，成为剪枝候选。
- 如果权重对安全提示敏感且幅度大，则被保留。

3.3 执行流程

输入：权重矩阵、安全/非安全激活数据。
操作：根据上述评分，按预设稀疏度（如 50%）移除低分权重。
输出：剪枝后的子网络，该子网络被“强化”了安全对齐能力。

4. 实验结果 (Results)

作者在三个代表性 VLM 架构（Qwen2-VL, LLaVA-V1.6, InstructBLIP）和三个越狱基准（FigStep, MM-SafetyBench, JailbreakV-28K）上进行了评估。

安全性提升（Defense Success Rate, DSR）：
- 相比仅使用安全提示（Vanilla+SP），Safety-Potential Pruning 将攻击成功率降低了高达 22%。
- 在 50% 稀疏度下，Qwen2-VL-7B 在 FigStep 数据集上的 DSR 从 92.4% 提升至 100%。
- 相比传统的幅度剪枝（Magnitude）、SparseGPT 和 Wanda 等方法，该方法在保持高安全性的同时表现更稳健。
通用性能保持（Utility）：
- 在 20% 稀疏度下，模型在 TextVQA、RealWorldQA 等良性任务上的性能损失微乎其微。
- 即使在 50% 稀疏度下，该方法在 Qwen2-VL 和 LLaVA 上的通用性能也优于或等同于 Wanda，且显著优于幅度剪枝（后者导致性能大幅下降）。
泛化性：
- 该方法同样适用于 LLM（如 Llama-2, Vicuna），但在 VLM 上的提升幅度更大，推测是因为 VLM 的跨模态整合扩大了攻击面，使得安全子网络更显著。
嵌入空间分析：
- t-SNE 可视化显示，剪枝后的模型在嵌入空间中能更清晰地将“安全提示”和“无安全提示”的样本分离开，表明模型内部表征发生了有利于安全对齐的结构性改变。

5. 消融实验与讨论 (Discussion)

提示词设计：明确、详尽的拒绝指令（如本文使用的提示）比模糊的伦理提醒更能有效激活安全子网络，从而获得更好的剪枝收益。
校准样本大小：安全子网络的暴露存在非单调性，约 64 个校准样本效果最佳，过多样本可能引入噪声。
数据分布：异质数据集（如 HOD）比单一领域数据集能激活更具泛化性的安全结构。
通用提示 vs. 安全提示：使用通用提示进行剪枝虽然也能提高安全性（作为容量下降的副作用），但会严重损害通用任务性能；而使用安全提示剪枝则能精准保留安全通路。

6. 主要贡献与意义 (Contributions & Significance)

理论贡献：提出了安全子网络假设，证明了 VLM 的安全能力是稀疏且结构化的，而非均匀分布的。
方法创新：提出了Safety-Potential Pruning，一种无需重训练的单步剪枝方法。它首次将剪枝从单纯的“模型压缩/效率工具”转变为“结构干预/安全对齐机制”。
实际价值：
- 低成本：无需昂贵的微调过程。
- 高效：在提升安全性的同时，甚至能维持或轻微提升通用任务性能（通过去除冗余或有害的噪声参数）。
- 鲁棒性：显著增强了模型对抗多种越狱攻击的能力。

总结：
这篇论文揭示了一个重要现象：大模型内部其实已经“内置”了安全机制，只是平时处于休眠状态。通过一种巧妙的、基于激活敏感度的剪枝方法，作者成功地“唤醒”并强化了这些安全通路，同时去除了干扰项。这为构建更安全、更高效的视觉 - 语言模型提供了一条无需重新训练的新路径。