💻 computer science

GUARD-SLM: Token Activation-Based Defense Against Jailbreak Attacks for Small Language Models

本文针对小语言模型（SLM）在对抗越狱攻击时存在的防御脆弱性，通过分析不同输入在模型内部表征空间中的激活模式差异，提出了一种名为 GUARD-SLM 的轻量级基于 Token 激活的防御方法，能够在推理过程中有效过滤恶意提示并保留良性输入。

原作者： Md Jueal Mia, Joaquin Molto, Yanzhao Wu, M. Hadi Amini

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Jueal Mia, Joaquin Molto, Yanzhao Wu, M. Hadi Amini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何给“小个子”人工智能（小语言模型）穿上防弹衣的故事。

为了让你更容易理解，我们可以把人工智能想象成一家**“智能餐厅”**，而这篇论文就是关于如何防止有人混进厨房捣乱的新安保方案。

1. 背景：为什么我们需要“小个子”厨师？

现在的 AI 有两种：

大语言模型 (LLM)：像米其林三星主厨。他们知识渊博，什么都会做，但非常昂贵，需要巨大的厨房（算力）和很多时间才能出菜。
小语言模型 (SLM)：像社区里的快餐店厨师。他们个头小、速度快、成本低，非常适合放在手机、汽车或智能手表上（边缘设备）随时待命。

问题出在哪？
虽然快餐店厨师效率高，但他们更容易被“骗”。坏人（黑客）会发明各种花言巧语（越狱攻击/Jailbreak），比如假装成厨师的老板，或者用暗语，让厨师忘记安全规定，去制作“毒药”（比如教人怎么造炸弹、写病毒代码）。

以前的防御方法要么太慢（等菜做好了再检查），要么太贵（要把厨师重新培训一遍）。这篇论文提出了一种**“在烹饪过程中直接拦截”**的新方法。

2. 核心发现：大脑里的“微表情”

研究人员发现，当厨师（AI 模型）听到正常的点单（良性提示）和听到坏人的诡计（恶意提示）时，他们大脑内部的活动模式是完全不同的。

正常点单：就像厨师在切菜时，动作平稳、节奏一致。
坏人诡计：就像厨师听到“造炸弹”时，虽然嘴上还没说话，但他大脑里的某些神经元（隐藏层激活）会突然变得非常兴奋或混乱，就像厨师突然手抖了一下，或者眼神变得不对劲。

关键发现：这种“手抖”不仅仅发生在最后出菜的时候，甚至在**刚开始处理指令的最初几秒（模型的早期层）**就已经出现了！而且，这种“微表情”在整个烹饪过程中（所有层）都清晰可见。

3. 解决方案：GUARD-SLM（智能安检门）

基于这个发现，作者发明了一个叫 GUARD-SLM 的系统。你可以把它想象成安装在厨房入口和烹饪台之间的**“智能安检门”**。

它是怎么工作的？

不重练厨师：不需要把厨师重新培训（不需要重新训练模型），也不用改变厨师的配方。
实时扫描：当用户输入一个问题时，GUARD-SLM 会悄悄观察厨师大脑里的“微表情”（提取最后一个词的激活向量）。
瞬间判断：它用一个轻量级的“雷达”（支持向量机 SVM）瞬间分析：
- 如果大脑活动像“切菜”一样平稳 $\rightarrow$ 放行，让厨师继续做菜。
- 如果大脑活动像“手抖”一样异常 $\rightarrow$ 立刻叫停，拒绝回答，防止毒药被做出来。

它的厉害之处：

快：因为它是在烹饪过程中直接拦截，不需要等菜做完了再检查，所以几乎不增加等待时间。
省：不需要额外的“试吃员”（不需要额外的模型或重复计算），直接利用厨师现有的动作。
准：实验证明，它能挡住几乎所有类型的“诡计”，包括那些经过精心设计的复杂骗术。

4. 实验结果：效果如何？

研究人员找了 7 种不同的“快餐厨师”（小模型）和 3 种“三星主厨”（大模型），用 9 种不同的“骗术”（攻击方法）来测试。

现状：在没有保护的情况下，小厨师很容易被骗，成功率高达 60%-100%（比如 AutoDAN 这种骗术几乎百发百中）。
穿上 GUARD-SLM 后：
- 小厨师的“中招率”直接降到了接近 0%。
- 而且，这个安检门没有让上菜变慢，也没有让厨师多干活。

5. 总结与比喻

如果把 AI 模型比作一个正在思考的人：

以前的防御：等这个人把话说完，写出一篇长文章后，再请一个编辑去检查有没有坏话。如果文章太长，编辑检查得很慢，或者坏人用了隐晦的写法，编辑可能看不出来。
GUARD-SLM：在这个人刚开口思考、甚至还没动笔的时候，就通过观察他眼神和脑电波的变化，直接判断他是不是在想坏事。如果是，直接按住他的笔，不让他写下去。

一句话总结：
这篇论文提出了一种轻量级、实时的防御方法，通过观察 AI 模型内部“思考过程”的微小变化，就能在坏人得逞之前，精准地识别并拦截恶意攻击，让小巧的 AI 也能在边缘设备上安全地工作。

1. 研究背景与问题 (Problem)

背景：
小型语言模型（SLMs，参数量通常在 1 亿到 80 亿之间）因其计算成本低、延迟小，非常适合在边缘设备上部署。然而，现有的安全对齐（Safety Alignment）机制在面对“越狱”（Jailbreak）攻击时存在严重缺陷。

核心问题：

SLMs 的脆弱性： 研究表明，SLMs 比大型语言模型（LLMs）更容易受到恶意提示（Malicious Prompts）和经过优化的越狱攻击（Optimized Jailbreak Attacks）的影响。
现有防御的局限性：
- 训练时防御： 需要重新训练模型，成本高且可能损害通用能力。
- 推理时防御（输入/输出层）： 输入层过滤容易被提示混淆绕过；输出层检测会增加延迟。
- 内部机制理解不足： 目前缺乏对不同层（Layers）中隐藏层激活（Hidden Activations）如何区分良性与恶意输入的深入理解。之前的研究对哪一层最关键（浅层、中层还是深层）存在分歧。
需求： 需要一种轻量级、无需重新训练、在推理过程中即可实时拦截恶意请求的防御机制，特别适用于资源受限的 SLM 环境。

2. 方法论 (Methodology)

作者提出了 GUARD-SLM，一种基于**令牌激活（Token Activation）**的轻量级防御框架。其核心思想是：越狱提示会在模型的特定 Transformer 层中诱导出可区分的激活模式。

核心流程：

分层激活分析 (Layer-wise Activation Analysis)：
- 对模型进行前向传播，提取每个 Transformer 层的**最后一个令牌（Last Token）**的隐藏状态表示（Hidden Representation）。
- 利用 t-SNE 等可视化技术，分析良性提示、直接恶意提示和各类优化越狱提示在表示空间（Representation Space）中的分布。
- 发现： 越狱特征并非仅存在于深层，而是贯穿所有层。优化后的越狱提示在表示空间中形成了与良性提示明显分离的聚类，且这种分离在早期层（Early Layers）就已显现。
激活空间过滤 (Activation-Space Filtering)：
- 特征提取： 在推理时，仅执行一次前向传播，提取选定层（Target Layer $\ell^*$ ）的最后一个令牌的激活向量。
- 分类器训练： 使用支持向量机（SVM，RBF 核）在激活空间上训练一个二分类器，区分良性（Label 0）和越狱（Label 1）提示。
- 实时拦截： 在生成任何输出之前，分类器对激活向量进行预测。如果判定为恶意（ $\hat{y}=1$ ），则立即拒绝请求；否则，利用缓存的状态继续生成响应。
算法特点：
- 无需重训练： 不修改原模型参数。
- 零额外 Token： 不需要在输入或输出中添加额外的提示词（Prompt）。
- 单次前向传播： 利用模型推理本身需要的计算过程，几乎不增加推理延迟。

3. 关键贡献 (Key Contributions)

大规模实证评估： 对 7 个 SLM 和 3 个 LLM 进行了系统性评估，涵盖了 9 种不同的越狱攻击策略（如 AutoDAN, TAP, GCG, DeepInception 等）。
- 结论： SLMs 比 LLMs 更脆弱，AutoDAN 等优化攻击在 SLMs 上的成功率极高（部分模型接近 100%）。
表示空间洞察： 揭示了 SLM 内部表示空间的特性：
- 良性提示形成紧凑稳定的簇。
- 优化后的越狱提示在表示空间中产生显著的偏移，形成可识别的簇，且这种区分性存在于所有层（从第 0 层到最后一层）。
提出 GUARD-SLM 框架： 设计了一种无需重新训练、基于推理时激活检测的轻量级防御方法。
性能与效率验证： 证明了该方法在显著降低攻击成功率的同时，不引入额外的 Token 开销，且推理延迟极低。

4. 实验结果 (Results)

攻击成功率 (ASR) 分析：
- 在未加防御的情况下，SLMs 对多种越狱攻击非常脆弱。例如，在 LLaMA-2-7B 上，AutoDAN 攻击的成功率高达 98.65%，TAP 为 59.62%。
- SLMs 的整体平均攻击成功率显著高于 LLMs。
防御效果 (ASR 对比)：
- 在 HarmBench 数据集上，GUARD-SLM 将绝大多数越狱攻击的成功率降低到了 0% 或接近 0%（例如 AutoDAN, PAIR, TAP, GCG 等均为 0%）。
- 相比之下，其他现有防御方法（如 SelfEval, SelfReminder, SmoothLLM 等）在面对复杂攻击（如 CodeChameleon, DeepInception）时，ASR 仍然较高（最高可达 38%）。
层敏感性分析：
- 实验显示，攻击检测准确率在早期层（Layer 0-10）即可达到 50%-80% 以上，随着层数增加，准确率进一步提升。
- 对于优化后的越狱攻击（如 AutoDAN），GUARD-SLM 在所有层（0-31）的检测准确率均接近 100%。
- 这表明越狱特征在网络的浅层就已经变得可分，无需等待深层解码。
效率对比：
- 额外 Token： GUARD-SLM 为 0（其他方法如 SelfReminder 需增加 44+ tokens）。
- 推理时间： GUARD-SLM 仅需 0.43秒（其他方法如 SmoothLLM 需 38.07秒，RobustAlign 需 12.45秒）。

5. 意义与局限性 (Significance & Limitations)

意义：

边缘计算安全： 为资源受限的边缘设备部署 SLM 提供了切实可行的安全方案，解决了传统防御方法计算开销过大的问题。
理论突破： 证明了越狱行为是多层现象，且优化后的越狱提示在表示空间中具有高度可分性，为未来的可解释性安全研究提供了新视角。
高效性： 实现了“零开销”的实时防御，使得在实时交互场景（如 Agent AI）中部署安全监控成为可能。

局限性：

主要针对 SLM： 虽然分析了 LLM，但防御机制主要针对 SLM 设计。直接应用于超大规模模型（如 70B+）可能因提取内部激活的计算成本过高而受限。
评估依赖： 实验结果依赖于外部模型（如 GPT-4o）作为评估器（Judge），不同评估模型或 API 版本可能导致结果波动。
未来方向： 计划将方法扩展至 LLM，并针对更复杂的自适应攻击和 Agent 系统进行研究。

总结

GUARD-SLM 通过利用 SLM 内部表示空间中天然存在的越狱特征，提出了一种高效、轻量且无需重训练的防御机制。它不仅揭示了 SLM 在安全对齐上的脆弱性，还通过实证证明了在推理过程中直接监控激活状态是防御越狱攻击的有效途径，为小模型的安全部署奠定了重要基础。