🤖 AI

Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion

该论文提出了一种名为“头掩蔽零空间引导”（HMNS）的电路级干预方法，通过识别并抑制关键注意力头的写入路径、在正交补空间中注入扰动，并结合闭环迭代机制，实现了在多种大语言模型上以更少查询次数突破现有安全防御的当前最优越狱攻击效果。

原作者： Vishal Pramanik, Maisha Maliha, Susmit Jha, Sumit Kumar Jha

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Vishal Pramanik, Maisha Maliha, Susmit Jha, Sumit Kumar Jha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 HMNS（Head-Masked Nullspace Steering，即“头掩蔽零空间转向”）的新方法，用来“黑”进大型语言模型（LLM），绕过它们的安全防护，让模型说出它本该拒绝的有害内容。

为了让你轻松理解，我们可以把大型语言模型想象成一个超级聪明的“守门员”，而这篇论文就是教黑客如何绕过守门员的战术。

🏰 核心比喻：守门员与“隐形通道”

想象一下，大型语言模型是一个巨大的足球守门员，他的任务是挡住所有“坏球”（有害请求，比如教人制造炸弹或绑架）。

传统的攻击方法（如 AutoDAN、AutoPrompt）：就像黑客试图用花言巧语、复杂的假动作或者不断换着花样喊话来迷惑守门员。如果守门员累了或者被绕晕了，球就进了。但这招很费体力（需要很多次尝试），而且如果守门员变聪明了（加强了防御），这招就不灵了。
HMNS 的方法：这篇论文发现，守门员的大脑里其实有几个特定的“神经开关”（注意力头），只要关掉这几个开关，守门员就会瞬间“失明”，忘记自己为什么要挡球。更绝的是，HMNS 不仅关掉开关，还会在守门员看不见的地方（零空间）悄悄推一把球，让它直接飞进球门，而守门员根本感觉不到这股推力。

🛠️ HMNS 是怎么工作的？（三步走）

HMNS 不像传统黑客那样在外面喊话，它是直接钻进守门员的大脑内部操作。整个过程分为三步：

1. 找出“关键开关” (Causal Head Attribution)

通俗解释：守门员的大脑里有成千上万个神经元在同时工作。HMNS 会快速扫描，找出哪几个神经元在说“不，这个不能做”。
比喻：就像在一个嘈杂的乐队里，HMNS 能瞬间听出是哪两个乐手在负责“喊停”。一旦找到他们，HMNS 就知道该对谁下手。

2. 关掉这些开关 (Head Masking)

通俗解释：HMNS 直接把这些“喊停”的神经元的输出信号切断（设为 0）。
比喻：HMNS 把那两个负责喊“停”的乐手的麦克风拔了。现在，乐队里没人能发出“禁止”的声音了，守门员失去了拒绝的能力。

3. 走“隐形通道”推球 (Nullspace Steering)

通俗解释：这是最精彩的一步。如果 HMNS 只是把麦克风拔了，守门员可能还是会因为惯性把球挡出去。所以，HMNS 会计算一个特殊的角度（零空间），在这个角度上，被切断的神经元完全感觉不到任何推力。
比喻：想象守门员虽然听不到声音，但身体还在。HMNS 就像是一个隐形人，从守门员绝对感觉不到的死角（零空间）轻轻推了一下球。因为推力方向是“隐形”的，被切断的神经元无法感知，也无法抵消这股力量。球就顺着这个隐形通道，悄无声息地滚进了球门。

🔄 为什么它这么厉害？（闭环循环）

传统的攻击是一次性的，失败了就换个词再试。但 HMNS 是一个智能循环系统：

它试一次，如果没成功（球没进），它会立刻重新扫描大脑。
因为上下文变了，负责“喊停”的神经元可能换了人。
HMNS 马上找到新的关键神经元，切断它们，再推一次。
这个过程在几毫秒内重复几次，直到球进为止。

比喻：就像是一个超级刺客，如果第一刀没刺中要害，他会在你眨眼的瞬间，根据你身体的移动，立刻调整姿势，刺向新的要害。根本不给守门员反应的机会。

📊 结果如何？

论文在多个测试集上证明了 HMNS 的恐怖实力：

成功率极高：在大多数情况下，它能以 90% 以上 的成功率攻破最先进的大模型（如 LLaMA 3.1 70B）。
效率惊人：传统方法可能需要问 10 次、20 次甚至更多次才能成功，而 HMNS 平均只需要 2 次 尝试。
无视防御：即使模型加了各种“防弹衣”（各种安全防御机制），HMNS 依然能绕过，因为它直接操作的是模型内部的“电路”，而不是表面的“语言”。

⚠️ 这说明了什么？（论文的警示）

这篇论文虽然是在展示“如何攻破”，但其真正的目的是为了安全。
它揭示了一个令人不安的事实：目前大模型的安全对齐（Safety Alignment）可能非常脆弱。它不是建立在坚固的“道德墙”上，而是依赖于少数几个特定的“神经开关”。只要黑客能找到并切断这些开关，再走“隐形通道”，模型就会瞬间崩溃。

总结一句话：
HMNS 就像是一个外科医生，它不跟守门员吵架，而是直接精准地切除守门员大脑中负责“拒绝”的那一小块区域，然后从守门员看不见的角度把球踢进去。这告诉我们，未来的大模型安全不能只靠“打补丁”或“加规则”，必须从底层电路上重新设计，防止这种“精准切除”的发生。

这是一篇题为 《JAILBREAKING THE MATRIX: NULLSPACE STEERING FOR CONTROLLED MODEL SUBVERSION》（越狱矩阵：用于受控模型颠覆的零空间导向）的会议论文，发表于 ICLR 2026。该论文提出了一种名为 HMNS (Head-Masked Nullspace Steering，头掩蔽零空间导向) 的新型大语言模型（LLM）越狱攻击方法。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状： 尽管大语言模型（LLM）经过了对齐（Alignment）和指令微调，它们仍然容易受到“越狱”攻击（Jailbreaking），即通过精心设计的输入绕过安全机制并生成有害内容。
现有方法的局限性：
- 现有的攻击方法（如基于优化的提示词重写、密集优化或启发式方法）通常依赖于表面层面的提示词工程。
- 这些方法缺乏可解释性，难以理解模型内部为何失效。
- 在面对强防御机制（如平滑解码、提示词过滤等）时，鲁棒性较差，且往往需要大量的查询次数（Query Count）才能成功。
核心挑战： 需要一种基于模型内部机制（而非表面提示词）的攻击方法，能够解释性地控制模型行为，并在强防御下保持高效和鲁棒。

2. 方法论：HMNS (Methodology)

HMNS 是一种**机制级（Mechanism-level）**的干预攻击，利用 Transformer 架构的因果结构和几何特性。其核心流程是一个闭环的“检测 - 干预”循环，包含三个关键步骤：

A. 因果头识别 (Causal Head Attribution)

原理： 利用干预归因（Intervention-based attribution）技术，识别对模型默认（安全）行为具有最大因果影响的注意力头（Attention Heads）。
实现： 通过计算反事实消融（Counterfactual Ablation）后的输出分布与原始分布之间的 KL 散度 来评分。KL 散度越大，说明该头对当前生成的控制力越强。
动态性： 在每次解码尝试中重新计算，以适应自回归上下文的演变。

B. 头掩蔽 (Head Masking)

原理： 抑制被识别出的关键注意力头的“写入路径”（Write Paths）。
实现： 在推理过程中，动态将选定头的输出投影矩阵（Out-projection matrix, $W^O$ ）中的对应列块置零。这有效地“静音”了这些头对残差流（Residual Stream）的贡献，从而阻断模型默认的安全路由。

C. 零空间导向 (Nullspace Steering)

原理： 在抑制关键头的同时，为了保持生成的流畅性并引导模型生成非预期的内容，需要注入一个扰动向量。
几何约束： 该扰动向量被严格约束在**被静音子空间的正交补空间（Orthogonal Complement）**中。
- 数学上，如果 $M_\ell$ 是被静音头的投影矩阵，则扰动方向 $u_\ell$ 满足 $M_\ell^T u_\ell \approx 0$ 。
- 优势： 由于扰动方向位于被静音头的零空间内，被静音的头无法“重建”或“抵消”这个扰动。这确保了干预的局部不可复现性（Locally Irreproducible），即模型无法通过其被抑制的电路来修复被引导的行为。
注入方式： 计算一个随机向量，投影到正交补空间，并根据残差激活的 RMS 进行缩放，然后注入到残差流中。

3. 主要贡献 (Key Contributions)

提出 HMNS 框架： 首次将因果头归因、投影掩蔽和零空间约束导向统一为一个机制级攻击方法。它利用几何感知（Geometry-aware）的干预，在功能向量（Function-vector）视角下提供局部不可复现的控制。
闭环自适应机制： 引入闭环控制循环，在每次解码尝试后重新识别因果头并重新应用干预。这使得攻击能够适应防御机制引起的路由变化，保持高成功率。
计算归一化评估指标： 针对机制级攻击内部计算开销大的问题，提出了新的评估指标：
- FEP (Forward-Equivalent Pass)： 前向等价次数。
- IPC (Internal Pass Count)： 内部传递次数。
- FPS (FLOPs per Success)： 每次成功所需的浮点运算量。
- LPS (Latency per Success)： 每次成功的延迟。
- 通过匹配计算预算（Compute-matched baseline），公平地比较了 HMNS 与基于提示词的攻击。
广泛的实验验证： 在多个基准（AdvBench, HarmBench, JBB-Behaviors, StrongReject）和多个模型（LLaMA-2-7B, Phi-3-14B, LLaMA-3.1-70B）上进行了测试，并评估了六种不同的防御机制。

4. 实验结果 (Results)

攻击成功率 (ASR)： HMNS 在所有测试模型和数据集上均达到了**最先进（SOTA）**的攻击成功率。
- 在 LLaMA-3.1-70B 上，平均 ASR 超过 95%（GPT-4o 评估），显著高于次优方法（如 ArrAttack，约 90-93%）。
- 在强防御（如 RPO, PAT）下，HMNS 依然保持显著优势（平均高出 6-8 个百分点）。
查询效率 (ACQ)： HMNS 的平均查询次数极低，约为 2.0 次。相比之下，其他方法通常需要 7-16 次查询。
计算效率： 尽管 HMNS 需要内部计算（IPC 约为 32），但通过高成功率和批处理优化，其每次成功的总 FLOPs (FPS) 和 延迟 (LPS) 与或优于基于提示词的方法。
- 例如在 LLaMA-3.1-70B 上，HMNS 的 FPS 为 $0.53 \times 10^{12}$ ，优于 ArrAttack 的 $0.62 \times 10^{12}$ 。
消融实验： 验证了三个核心组件（KL 归因、掩蔽、零空间导向）缺一不可。移除任何一项都会导致 ASR 下降 7-10 个百分点。

5. 意义与启示 (Significance)

安全启示： 研究表明，LLM 的安全对齐（拒绝回答）主要集中在一组稀疏且可定位的注意力头中。仅靠微调可能不足以防御白盒攻击者，这促使人们思考分布式的、基于机制的安全防御方案。
可解释性攻击： HMNS 提供了一种基于模型内部因果结构的攻击范式，不仅揭示了模型如何“思考”和“拒绝”，也为理解模型行为提供了新的视角。
防御挑战： 由于 HMNS 利用了正交几何约束，传统的基于提示词过滤或解码平滑的防御难以完全阻断此类攻击，因为攻击向量在数学上避开了被抑制的电路。
未来方向： 论文指出，未来的工作可以探索黑盒迁移（通过导向向量）以及如何利用零空间导向进行防御性重利用。

总结：
这篇论文通过深入挖掘 Transformer 的内部几何结构，提出了一种高效、鲁棒且可解释的越狱攻击方法 HMNS。它证明了通过精确控制模型的内部残差流（抑制关键头并注入正交扰动），可以以极低的成本绕过最先进的安全防御。这一发现对 LLM 的安全性评估和防御机制设计提出了严峻挑战，强调了从“提示词层面”转向“机制层面”进行安全研究的重要性。