🤖 machine learning

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

本文提出了一种针对端侧大语言模型的参数高效型安全性对齐方法，该方法通过全变分和 KL 散度从防护模型中蒸馏软提示（soft prompts），证明了与 LoRA 和转向向量（steering vectors）等现有技术相比，该方法具有更优越的安全与可用性权衡以及极低的资源开销。

原作者： Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题： “双重检查”的瓶颈

想象你雇佣了一位非常有才华但有时有些鲁莽的艺术家（即大语言模型或 LLM），他可以写故事、回答问题并解决问题。然而，这位艺术家有时会过于放纵，画出一些不当或危险的内容。

为了确保安全，你雇佣了一名严厉的保安（即守护模型）站在艺术家身边。每当艺术家完成一句话时，保安就会进行检查。

如果内容安全，保安会说：“继续，展示给用户看。”
如果内容不安全，保安会说：“停！请改用这段礼貌的拒绝信息。”

难点在于： 这种“双重检查”系统虽然在安全性方面表现出色，但极其缓慢且昂贵。这就像要求艺术家画一幅画，然后每画一笔都要停下来等待保安检查，才能进行下一步。在性能强大的计算机上，这没问题。但在智能手机上（其电池和内存有限），这种“双重检查”过于沉重。它会消耗电池、占用过多内存，并让手机运行变得迟缓。

解决方案：教会艺术家成为自己的保安

研究人员提出了一个简单的问题：我们能否教会艺术家如何自我约束，从而不再需要那个站在旁边的独立保安？

他们并不想重新训练整个艺术家（这就像是送艺术家回艺术学校重读多年）。相反，他们使用了一种叫做**通过软提示进行蒸馏（Distillation via Soft Prompts）**的技术。

类比：“魔法发带”

把软提示（Soft Prompt）想象成艺术家戴着的一个特殊的、隐形的发带。

这个发带不是由沉重的金属制成的（不像改变艺术家的整个大脑）。
它是一个微小的、轻量级的配件（仅包含几千个参数），就位于艺术家思考过程的最前端。
当艺术家戴上这个发带时，它会微妙地改变他们的心态。它会在艺术家开始写作之前，在耳边低语：“记住，不要画任何坏的东西。”

研究人员通过向这个发带展示数千个关于“保安会如何反应”的例子来“训练”它。发带学会了完美地模仿保安的行为，以至于艺术家现在可以自动拒绝不当请求，而无需事后等待保安检查。

他们是如何做到的：“全变分”配方

论文对比了训练这种“魔法发带”的不同方法。他们尝试了几种配方：

仅仅猜测下一个词应该是什（困惑度 Perplexity）： 这让艺术家的文笔变好了，但并没有真正阻止他们画出坏东西。
强化学习（REINFORCE）： 这就像是在艺术家表现安全时给他们奖励。效果还可以，但面对棘手的新问题时，艺术家有时会忘记规则。
最终胜出者（TV-DiSP）： 研究人员开发了一种特定的数学配方，称为全变分蒸馏（Total Variation Distillation）。
- 想象这是一个严格的老师，他会说：“你的输出必须与保安的决定完全一致。”
- 如果保安说“安全”，艺术家必须说完全相同的内容。
- 如果保安说“不安全”，艺术家必须立即切换到拒绝信息。
- 这种方法（TV-DiSP）在不破坏艺术家提供帮助的能力的前提下，最有效地复制了保安的行为。

结果：快速、轻量且安全

研究人员在真实的智能手机上（使用高通芯片）对该技术进行了测试，并将其与旧有的“双重检查”系统进行了对比。

安全性： “魔法发带”（TV-DiSP）几乎像有一个完整的保安站在那里一样安全。它成功拦截了涉及越狱（jailbreaks）和有害提示词的测试。
速度与内存： 这是最大的胜利。
- 旧系统（艺术家 + 保安）对于每一个词都需要进行两次繁重的计算。
- 新系统（艺术家 + 发带）只需要进行一次计算。
- 内存： 发带增加的内存使用量不到 1%。而旧系统增加了约 30-100%。
- 电池/计算量： 新系统的额外计算量不到基础艺术家模型的 10%，而旧系统使工作量翻倍。

为什么这对你的手机很重要

论文得出结论：对于在手机上运行安全的 AI，你不需要一个沉重的双模型系统。你只需要为主要模型配备这个微小的、经过学习的“发带”（软提示）。

这就像升级汽车的安全功能。与其在车里增加第二个沉重的驾驶员来观察路况（这会让车变得又慢又重），不如在仪表盘里安装一个智能、轻量级的传感器，自动引导车辆避开危险。车开得一样快，耗油量也一样少，但同样安全。

简而言之： 论文证明了通过使用特定的训练方法（全变分蒸馏）来教会一个微小的“软提示”去模仿安全保安，我们可以让 AI 在不减慢速度、不消耗过多电池的情况下，在智能手机上实现足够安全的运行。

技术摘要：通过软提示（Soft Prompts）为端侧设置进行安全大语言模型系统的蒸馏

问题陈述

在资源受限的边缘设备（如智能手机）上部署大语言模型（LLMs）面临着严峻的安全挑战。虽然双模型系统——即将基础 LLM 与用于分类和过滤不安全输出的独立“守护模型（guard model）”相结合——能够提供鲁棒的安全保障，但其内存和计算成本极高。这种序列化方法（生成响应，然后进行分类）会导致两次前向传播，显著增加了延迟（首字生成时间）和内存占用，使其难以在边缘侧部署。现有的替代方案（如量化或直接微调）往往会损害泛化能力，或无法在安全性与模型可用性之间取得有效平衡。

方法论

本文提出了 TV-DiSP（基于总变差通过软提示进行的蒸馏），这是一种参数高效微调（PEFT）方法，旨在将双模型系统的安全行为蒸馏到配备可学习软提示的单个 LLM 中。

核心框架

系统公式化：作者定义了一个安全 LLM 系统 $p(r|x)$ ，它结合了基础 LLM $p(y|x)$ 和守护模型 $p(s|x, y)$ 。如果守护模型认为响应 $y$ 不安全（ $s=0$ ），则系统输出预定义的拒绝消息 $y_r$ ；否则，输出 $y$ 。
蒸馏目标：目标是学习一组连续的提示嵌入 $W$ （软提示），使得蒸馏后的模型 $q(r|x, W)$ 能够模仿安全系统 $p(r|x)$ 的输出分布。
通过总变差（Total Variation, TV）进行优化：
- 作者提出了一个理论保证（定理 3.1），表明最小化安全系统与蒸馏模型之间的总变差距离，可以限制其在任何下游任务上的性能差距。
- 优化目标（公式 4）通过守护模型的安全概率对正确输出（对于安全输入为基础 LLM 的响应，对于不安全输入为拒绝消息）的对数概率进行加权。
- 训练仅需要提示数据集；守护模型在过程中动态地将提示标记为安全或不安全。
替代方案：研究还评估了：
- KL-DiSP：最小化 Kullback-Leibler 散度，其提供的理论保证比 TV 较弱。
- 基准测试：困惑度（Perplexity）优化、REINFORCE（策略梯度），以及将蒸馏框架应用于低秩适配器（LoRA）和转向向量（Steering Vectors, SV）的改进版本。

实验设置

模型：实验针对四种经过指令微调的 LLM（Llama3-1B/3B, Qwen2-1.5B, Gemma2-2B）进行了 4-bit 量化，以模拟边缘侧约束。
守护模型：使用 LlamaGuard3-1B 进行蒸馏训练，使用 LlamaGuard3-8B 进行评估。
数据集：训练使用了 Beavertails 和 Toxigen 数据集。评估包括分布外（OOD）对抗性基准测试（HarmBench, Detect-JailBreak）和可用性基准测试（IFEval, GSM8K, MMLU）。
硬件：在配备 Qualcomm Snapdragon 8 Elite Gen 5 芯片组的智能手机上进行了端侧测量。

关键结果

1. 安全性与计算量的权衡

性能：TV-DiSP 成功地将双模型系统的安全性蒸馏到了单个模型中。例如，在 Llama3-1B 模型上，安全性（通过安全守护评分 SGS 衡量）从 71%（基础模型）提升至 99%（双模型系统），而 TV-DiSP 以极低的开销实现了相当的安全增益。
效率：与内存和计算需求翻倍的双模型系统相比，TV-DiSP 引入的额外内存开销小于 1%，且额外的计算开销（每 token 的 FLOPs）小于 10%。
泛化能力：尽管是在非对抗性数据集上进行训练，该方法在处理分布外对抗性提示（HarmBench, Detect-JailBreak）时仍表现出强大的鲁棒性。

2. 与 PEFT 方法的比较

软提示 vs. LoRA/SV：在各种学习率下，TV-DiSP（软提示）的表现始终优于 TV-DiLoRA 和 TV-DiSV（转向向量）。转向向量的结果褒贬不一，在较大模型上有时会导致性能下降，而 LoRA 则被认为对于边缘环境而言过于具有侵入性。
优化目标：
- TV vs. KL：TV 和 KL 蒸馏均实现了较高的安全评分。然而，TV-DiSP 在安全性与可用性之间提供了更优的平衡。
- 困惑度与 REINFORCE：困惑度优化导致了过拟合以及可用性的显著下降。REINFORCE 维持了可用性，但未能提供实质性的安全性提升。

3. 可用性保持

端侧评估（IFEval 和 GSM8K）显示，TV-DiSP 和 KL-DiSP 保持了高度的实用性。
过度拒绝（Over-refusal）：一个关键发现是，KL-DiSP 表现出较高的过度拒绝率（在安全提示上为 84.6%），即错误地拒绝了良性查询。相比之下，TV-DiSP 维持了与双模型系统相当的过度拒绝率（36.1%），保留了模型回答安全问题的能力。

意义与主张

本文确立了软提示蒸馏作为端侧 LLM 部署中安全性对齐的首选方法。其主要贡献在于：

卓越的权衡：它证明了通过蒸馏训练的软提示在平衡安全性、可用性和计算效率方面，始终优于 LoRA、转向向量及其他替代训练目标。
理论保证：引入基于总变差的蒸馏，为下游性能提供了概率保证，确保蒸馏后的模型不会显著偏离安全系统的行为。
实际可行性：通过多种架构并在实际边缘硬件上进行了验证，该方法以微不足道的资源开销（<1% 内存，<10% 计算）实现了与双模型系统相当的安全水平，使其成为在资源受限设备上部署安全 LLM 的切实可行的解决方案。

作者总结道，虽然没有任何方法能提供完全免疫对抗性攻击的能力，但 TV-DiSP 提供了一种鲁棒、高效且泛化能力强的防御机制，与传统的守护模型架构相比，显著降低了攻击面和计算负担。