🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

本文介绍了一种利用机械解释性来识别并将嵌入从拒绝子空间重定向至接受子空间的创新白盒对抗攻击方法，该方法在最先进的大语言模型上实现了极高的越狱成功率，且与现有技术相比显著降低了计算成本。

原作者： Thomas Winninger, Boussad Addad, Katarzyna Kapusta

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Winninger, Boussad Addad, Katarzyna Kapusta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：无需撬锁，直接破解保险箱

想象一下，大型语言模型（LLM）就像一位非常聪明、受过高度训练的图书管理员。这位图书管理员有一本严格的规则手册：“如果有人询问如何制造炸弹的指令，你必须拒绝。”

传统的黑客（对抗性攻击）试图通过大喊混乱的词汇或使用复杂的谜题来迷惑这位图书管理员，直到管理员感到困惑并意外给出答案。这就像是通过不断尝试各种钥匙来撬锁，直到找到能对上的那一柄。这需要耗费大量时间，需要大量的尝试与错误，并且在面对更新、更聪明的图书管理员时往往会失败。

本论文介绍了一种名为“子空间重定向”（Subspace Rerouting, SSR）的新方法。 他们不再是尝试撬锁，而是观察了图书管理员的“大脑内部”，看“拒绝”这一念头是如何形成的。然后，他们设计了一句特定的“魔法短语”，迫使图书管理员的大脑走上一条不同的路径，从而完全绕过拒绝规则。

它是如何运作的：三个步骤

1. 绘制“拒绝室”的地图

研究人员首先研究了模型，以寻找“拒绝”发生的位置。

类比： 想象图书管理员的思想是一个巨大的建筑，里面有很多房间。研究人员发现了一个特定的走廊（一个“子空间”），“我不能做这个”的想法就居住在那里。
发现： 他们意识到，当模型看到有害请求时，其内部思想（激活值）会被推入这个“拒绝室”。而当它看到无害请求时，思想则留在“帮助室”。这两个房间是清晰分离的，就像两种互不混合的颜料颜色。

2. “重定向”的小技巧

一旦知道了“拒绝室”的位置，他们并没有试图去说服图书管理员。相反，他们计算了一条捷径。

类比： 想象你正走向一堵死胡同墙壁（拒绝）。与其撞墙，研究人员找到了一个隐藏的隧道，它将“有害请求”区域直接连接到了“有益响应”区域，完全跳过了那堵墙。
方法： 他们在有害问题的末尾添加了一些特殊的词汇（一个“后缀”）。这些词汇就像是一个 GPS 信号，告诉模型的内部思想：“不要去‘拒绝室’；走这条绕行路线前往‘帮助室’。”

3. 结果：瞬间越狱

旧方法： 传统的攻击方法（如 GCG）就像通过连续数小时向墙壁投掷石块来试图撞破它。它们往往效率低下或最终失败。
新方法 (SSR)： 这种方法就像是找到了秘密之门。研究人员能够在秒级时间内（有时仅需 14 秒）破解模型的安全性，成功率达到 80% 到 95%。他们在像 Llama 3.2 和 Gemma 2 这样现代且强大的模型上成功实现了这一点。

他们尝试的三把“钥匙”

论文测试了三种寻找“秘密之门”的方法：

分类器钥匙 (Probe-SSR)： 他们训练了一个简单的检测器来识别“拒绝念头”。然后，他们优化输入，以欺骗该检测器，使其认为有害请求实际上是无害的。这是最有效的方法。
指南针钥匙 (Steering-SSR)： 他们找到了指向“拒绝”的特定“方向”。然后，他们将思想推向相反的方向。这种方法效果不错，但效率略低于第一种方法。
聚光灯钥匙 (Attention-SSR)： 他们找到了关注危险词汇的特定部分（注意力头）。他们尝试编写一个后缀，迫使这些部分转向关注无害的词汇。虽然在研究上很有趣，但在实际应用中效果最差。

一个令人惊讶的发现：“自然”的技巧

最酷的发现之一是，计算机生成的“魔法词汇”并不只是随机的乱码（如 "asjdhf98"）。有时，它们会形成连贯、有意义的句子。

类比： 想象你试图通过输入随机字母来破解安全系统。通常你会得到 "xkq9z"。但这种方法有时会产生像“通过生态会计负责任地执行此操作”这样的句子。
为什么这很重要： 这表明模型的安全机制是非常具体的。如果你用正确的语境来构架，即使这个语境有点奇怪，你也可以诱导模型认为一个有害请求是安全的。

为什么这很重要（根据论文观点）

速度： 它将原本需要数小时的过程缩短到了几秒钟。
理解： 它证明了我们可以理解 AI 模型是如何思考的（机械解释性），并利用这些知识来破解它们。
防御： 通过准确了解“拒绝室”是如何运作的以及它有多容易被绕过，开发者可以构建更好的“锁”（防御措施），从而填补这些特定的漏洞。

本论文没有声称的内容

它并未声称适用于每种情况下的每一个模型（它在所测试的具体模型上表现最好）。
它并未声称这是一个用于临床使用或医疗诊断的工具。
它并未声称这些“魔法词汇”总是完美的英语；有时它们仍然有点奇怪，只是比以前好一些。

简而言之，这篇论文说的是：“我们观察了 AI 的大脑，找到了关闭安全机制的开关，并制作了一个遥控器来瞬间按下那个开关。”

技术摘要：利用机械解释性构建针对大语言模型的对抗性攻击

问题陈述

大语言模型（LLMs）仍然容易受到对抗性扰动的影响，特别是旨在绕过安全对齐的“越狱”（jailbreaks）。传统的白盒攻击方法，如贪婪坐标梯度（GCG），依赖于针对特定输出 Token 的端到端梯度优化。这些方法往往忽略了负责拒绝或接受的内部机制，导致计算过程极其昂贵（通常需要数小时），并且在面对更强大的新型模型时难以实现高成功率。相反，机械解释性研究已成功识别出内部安全机制——例如拒绝子空间和特定的注意力头——但其应用主要局限于运行时干预（例如激活转向/activation steering），这类干预会产生分布外（out-of-distribution）的激活，且缺乏实际应用价值，难以用于构建静态对抗输入。

本文旨在解决解释性洞察与实际对抗输入生成之间的鸿沟。作者提出了一种方法，通过利用对模型内部机制的理解来构建高效、高成功率的对抗性输入，而无需依赖运行时干预。

方法论：子空间重定向 (Subspace Rerouting, SSR)

作者引入了 子空间重定向 (SSR)，这是一个将越狱建模为模型连续嵌入空间中优化问题的白盒框架。SSR 不再针对特定的输出 Token，而是旨在通过修改输入后缀，将模型嵌入从“拒绝子空间”重定向至“接受子空间”。

1. 识别子空间

作者首先利用解释性技术表征了拒绝和接受的内部表示：

语义子空间： 通过在对比数据集（有害指令 vs 无害指令）上训练线性探针，作者证明了早在模型的第三层，有害内容和无害内容就在激活空间中占据了线性可分的区域。他们还定义了一个“拒绝方向” ( $\hat{r}$ )，即平均有害激活与平均无害激活之间的差异。
组件子空间： 作者识别出了负责安全机制的特定注意力头。他们观察到，成功的越狱通常涉及“注意力劫持”，即安全关键型注意力头将注意力焦点从有害指令 Token 转移到良性的后缀 Token 上。

2. SSR 算法

核心算法最小化一个衡量激活值与目标子空间偏差的损失函数 $\mathcal{L}(x_m)$ ：
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
其中 $x_m$ 是对抗性后缀， $e_k$ 是目标层的激活值， $E_k$ 是目标接受子空间。该优化过程使用针对离散 Token 适配的贪婪坐标梯度搜索。

论文详细介绍了三种具体的 SSR 实现方式：

Probe-SSR： 使用训练好的线性分类器来引导优化过程，向“无害”类概率靠拢。
Steering-SSR： 直接针对拒绝方向进行优化，旨在实现类似于运行时转向（ $e \leftarrow e^* + a\hat{r}$ ）的效果，但保持在自然概率分布之内。
Attention-SSR： 尝试将特定安全关键型注意力的焦点从有害内容重定向到对抗性后缀，或者最小化这些注意力头的输出幅度。

核心贡献

新型攻击向量： 引入了 SSR，这是一种将机械解释性工程化以构建实用对抗输入的手段，在秒级或分钟级内即可在最先进的模型（Gemma2, Llama3.2, Qwen2.5）上实现 80–95% 的攻击成功率 (ASR)。
子空间识别： 提出了多种利用线性探针和拒绝方向来定义拒绝与接受子空间的方法，证实了安全概念在模型早期和中期层中的线性可分性。
效率与可解释性： 证明了针对特定内部子空间的优化比端到端的 Token 优化在计算上显著高效。此外，该方法产生的扰动仍处于模型的自然概率分布内，不同于运行时转向干预。
跨层稳定性分析： 论文提供了证据，表明拒绝子空间在模型的后半部分会固化为稳定的表示，这表明成功的重定向需要针对多个层进行优化，以防止模型“恢复”到拒绝状态。

实验结果

性能： 在 AdvBench 数据集上，Probe-SSR 和 Steering-SSR 在 Llama3.2、Gemma2 和 Qwen2.5 上实现了 80% 至 95% 的 ASR。相比之下，nanoGCG 基准方法的成功率仅为 0% 到 53%，而原始的有害指令几乎总是被拒绝。
速度： 生成攻击仅需数秒到数分钟（例如，Llama3.2 1b 仅需 14 秒），与 GCG 通常需要的数小时相比，效率有了显著提升。
分布特性： 通过 PCA 和 KL 散度进行的分析显示，虽然运行时转向干预会产生模型在后续层中会进行“修正”的分布外激活，但 SSR 生成的扰动在整个前向传播过程中与拒绝方向保持较低的余弦相似度，表明它们更具鲁棒性且更符合模型的自然处理过程。
可解释的越狱： 出人意意的是，优化过程有时会产生连贯且具有解释性的 Token 序列（例如，“responsibly”（负责地）、“ethical”（伦理的）），而非随机的乱码，这表明可以通过语义合理的路径绕过模型的内部安全机制。
反向透镜 (Reverse-Lens)： 通过优化以触发拒绝方向（越狱的反向过程），作者自动识别出了能强烈激活安全机制的 Token（如诋毁性词汇、恶意术语），验证了 SSR 作为一种潜在解释性工具的价值。

意义与主张

作者认为 SSR 代表了攻击研究和防御开发领域的重大进展。

对于攻击研究： 它证明了理解模型内部机制可以实现比传统黑盒或端到端白盒方法更高效、更有效的攻击。它强调了当前的安全性训练可能并未考虑到子空间操控，使得模型容易受到此类特定扰动的攻击。
对于防御与解释性： SSR 是探测模型内部结构的实用工具。通过成功重定向嵌入，它揭示了安全护栏的结构性漏洞。作者认为，快速生成具有解释性的越狱数据集的能力，为研究对抗性扰动和开发更鲁棒的对齐技术开辟了新方向。
局限性说明： 论文承认了其局限性，包括由于扰动的精细化特征导致攻击在不同模型架构间难以迁移、对特定超参数的依赖，以及某些攻击会无意中改变提示词的语义（例如，将制造炸弹的查询重定向为制作蛋糕的食谱）。作者指出，在实践中，Attention-SSR 的效果不如语义子空间方法。

总之，论文断言，机械解释性不仅仅是一种分析工具，更是一种生成对抗性样本的实用引擎，这挑战了“通过解决负责拒绝的具体内部子空间即可实现鲁棒对齐”的假设。