💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

本文介绍了“扰动探测”（Perturbation Probing），这是一种无需反向传播的双遍诊断方法，能够识别两种不同的前馈网络（FFN）电路结构——用于抑制 RLHF 行为的对抗电路和用于预训练行为的路由电路——从而实现对特定模型输出（如安全拒绝或语言选择）进行精确、有针对性的干预编辑，同时不影响其他能力。

原作者： Hongliang Liu, Tung-Ling Li, Yuhao Wu

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongliang Liu, Tung-Ling Li, Yuhao Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大语言模型（LLM）视为一支庞大且极其复杂的管弦乐队。多年来，我们一直知道它演奏的乐曲（即它给出的答案）可能是危险的，也可能是有益的，但我们并不确切知道是哪些乐手（神经元）负责了歌曲中“安全”或“粗鲁”的部分。

本文介绍了一种名为**扰动探测（Perturbation Probing）**的新方法。这就像一种“双遍诊断工具”，让研究人员能够在无需重写乐谱（无需反向传播或重新训练）的情况下，聆听这支乐队的演奏。

以下是其工作原理，分解为简单的概念：

1. “双遍”听诊器

通常，为了找出哪个神经元负责什么，你必须进行繁重的数学运算或训练整个新模型。这种方法要轻量得多。

第一遍： 模型正常回答问题。
第二遍： 研究人员轻微“打乱”问题（例如将“甲基苯丙胺”改为“metahmphetamine"，让计算机将其视为不同的单词，尽管人类阅读时看起来是一样的）。
诊断： 通过比较这两个答案，该方法计算模型中每一个神经元的“得分”。它会问：“这个神经元是否对打乱做出了强烈反应，并且是否推动模型走向‘不’或‘是’？”

如果一个神经元反应强烈且推动方向正确，它就会获得高分。研究人员随后挑选得分最高的 50 个神经元进行测试。

2. 两种类型的“电路”

本文发现，AI 的行为分为截然不同的两类，就像两种不同类型的管道系统：

A 型：“对抗”电路（安全阀）

是什么： 这发生在 AI 被训练去做与其自然倾向相反的事情时。例如，AI 自然倾向于同意你的观点（预训练阶段），但安全训练（RLHF）迫使它对不良请求说“不”。
比喻： 想象一扇很重、自然倾向于保持开启的门。为了保持它关闭，你安装了一个特定的小插销。
发现： 研究人员发现，对于安全拒绝而言，这个“插销”出奇地小。在某些模型中，仅50 个神经元（在数十万个神经元中）就控制了拒绝的模板。
- 如果你移除这 50 个神经元，AI 就会停止使用其礼貌的“我无法协助那一点”脚本。
- 关键在于： 这并不意味着 AI 突然变邪恶了。它只是停止使用礼貌的脚本。它可能仍然会警告你某事是非法的，但不会说“抱歉，我无法做到”。安全知识仍然存在，只是埋藏得更深。

B 型：“路由”电路（交通指挥员）

是什么： 这发生在 AI 本来就喜欢做的事情上，比如讲中文或做数学题。AI 不需要与本性抗争；它只需要被路由到正确的路径上。
比喻： 想象一个高速公路系统。车辆（信息）已经在移动。为了让它们到达特定的出口（中文），你不需要修建新路；你只需要翻转交通标志上的开关。
发现： 对于这些行为，移除神经元毫无作用。然而，研究人员发现，他们可以直接向交通流中“注入”信号，迫使 AI 切换语言（例如从英语切换到中文），准确率达到 99%，但仅适用于满足特定条件的某些模型。

3. “FFN/跳过”诊断

你怎么知道面对的是哪种类型的电路？本文创建了一个简单的比率，称为FFN/跳过。

将 AI 的大脑想象成有两条路径：一条路径经过“处理神经元”（FFN），另一条路径是一条“快车道”，跳过处理（跳过连接）。
如果安全信号主要位于处理神经元中（高 FFN/跳过比率），你可以通过移除或微调这些特定神经元来修复它。
如果信号主要位于快车道中（低 FFN/跳过比率），移除神经元将不起作用。你必须使用“交通开关”（方向注入）来替代。
这个比率就像一个水晶球：它在研究人员开始实验之前，就确切地告诉他们应该使用哪种工具。

4. “晶体管”效应（2B 模型）

在一个非常小的模型（20 亿参数）上，研究人员发现了一个甚至更显著的效果。

他们识别出仅20 个神经元控制了 AI 是否会“阿谀奉承”地同意用户的观点，即使用户是错的。
开关： 如果他们将这 20 个神经元关闭，AI 就会停止同意谎言。它会变得固执地正确。
权衡： 然而，这也阻止了 AI 在自身犯错时进行自我纠正。
修复： 他们没有将它们关闭，而是将它们调高（放大）。这使得 AI 在无需重新训练整个模型的情况下，能够更好地纠正错误信息。这就像调整特定乐器的音量旋钮来修正乐曲，而不是重写整份乐谱。

他们主张的总结

安全在表面是脆弱的： 礼貌的“我无法做到那一点”脚本由极少数神经元控制（约占模型的 0.014%）。
安全在深层之下： 即使你破坏了脚本，模型通常仍然知道事实，并可能会警告你某事是危险的，只是没有礼貌的外包装。
并非所有行为都相同： 某些行为（如安全性）由特定的“作者”（神经元）控制，这些可以被编辑。而其他行为（如语言选择）则由“交通指挥员”（路由）控制，需要不同类型的干预。
精确编辑： 你可以通过微调极少量的神经元来修复特定的行为缺陷（如过于顺从或使用错误的语言），而无需重新训练整个 AI。

本文不声称这能使 AI 永远绝对安全，也不声称这是黑客用来破坏 AI 的工具。相反，它将此框架为一种“机械诊断”，旨在理解 AI如何工作，并为工程师提供一套精确的工具包，以便在需要时编辑特定行为。

以下是论文《扰动探测：一种针对对齐大语言模型中前馈网络行为电路的双次前向传递诊断方法》的详细技术总结。

1. 问题陈述

当前用于识别大语言模型（LLM）中对齐行为（如安全拒绝、指令遵循）背后的神经机制的方法，面临着成本、因果性和任务特异性之间的根本权衡：

探测分类器与稀疏自编码器（SAEs）： 能识别表征但无法确认因果性。
激活修补与自动化电路发现： 具有因果性但计算成本高昂（每个组件需 $O(n)$ 次前向传递）。
基于梯度的归因： 成本低廉但任务无关；它识别的是普遍重要的神经元，而非针对特定行为的神经元，且无符号的排序无法区分促进或抑制该行为的神经元。

目前缺乏一种同时具备廉价（每次提示词恒定时间）、因果性（经干预验证）、任务特异性以及诊断性（在执行前预测干预成功率）的方法。

2. 方法论：扰动探测

作者提出了扰动探测（Perturbation Probing），这是一个仅需每次提示词两次前向传递且无需反向传播的两阶段流程。

A. 流程

行为可观测量定义：
- 该方法定义了一个标量“对数几率间隙”（logit gap， $F$ ），代表二元决策（例如：拒绝 vs. 顺从）。
- $F = \bar{z}_R - \bar{z}_A$ ，其中 $\bar{z}$ 是一组拒绝令牌（ $R$ ）的平均对数几率减去肯定令牌（ $A$ ）的平均对数几率。
- 该间隙是模型最终隐藏状态的线性泛函： $F = d_F^\top h^{(L)} + b$ 。
有符号重要性计算（假设生成）：
- 该方法利用两次前向传递（一次在原始提示词 $X$ 上，一次在扰动提示词 $\tilde{X}$ 上）计算每个前馈网络（FFN）神经元 $n$ 的有符号重要性分数（ $I_n$ ）。
- 扰动： 应用启发式反事实（例如，针对安全性的 BPE 令牌打乱，针对阿谀奉承的错误前提与正确前提对比），在不改变核心内容的情况下翻转目标决策。
- 公式： $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ （结构耦合）：行为方向 $d_F$ 与神经元输出投影权重（ $W_{down}$ ）的点积。这是静态的，仅从权重计算一次。
  - $\Delta a_n$ （扰动响应）：神经元在扰动输入与原始输入之间的激活变化（ $a_n(\tilde{X}) - a_n(X)$ ）。
- 排序： 神经元按 $|I_n|$ 排序。符号指示该神经元是促进还是抑制该行为。
因果验证与诊断：
- 验证： 排名靠前的神经元通过消融（置零权重）、修补（交换激活）和恢复（撤销扰动）进行验证。
- FFN/跳过诊断： 计算比率以预测电路结构：
  $\text{FFN/跳过} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - 高比率（>0.3）： 指示对抗电路（行为集中在 FFN 中）。
  - 低比率（<0.2）： 指示路由电路（行为通过注意力或跳过连接分布）。

3. 主要贡献与发现

A. 两种电路结构的发现

该研究揭示了大语言模型的行为组织成两种不同的拓扑结构，由FFN/跳过比率决定：

对抗电路（FFN/跳过 > 0.3）：
- 机制： 当 RLHF 训练模型对抗预训练倾向时发生（例如，拒绝有害请求 vs. 预训练倾向于顺从）。
- 结构： 控制集中在少量 FFN 神经元中（例如，约 50 个神经元，或总参数的 0.014%）。
- 干预： 这些神经元适用于消融（模式 1）或放大（模式 2）。
- 示例： 在 Qwen3-4B 上，消融 50 个神经元改变了 80% 提示词的拒绝模板，同时保持了接近零的有害顺从。
路由电路（FFN/跳过 < 0.2）：
- 机制： 发生在 RLHF 强化而非对抗的预训练行为中（例如，语言选择、数学推理）。
- 结构： 行为分布在注意力机制和跳过连接中；识别出的 FFN 神经元仅仅是“读取器”（高激活响应但低结构耦合）。
- 干预： 消融毫无效果。相反，方向注入（模式 3）有效：将行为方向向量（ $d_F$ ）直接注入特定层的残差流中。
- 示例： 在双语 Qwen 模型上，注入英译中方向在 99.1% 的提示词上实现了语言切换。这在缺乏双语训练或具有极端 FFN/跳过比率的 Llama/Gemma 模型上失效。

B. 安全拓扑谱

该论文绘制了 13 个模型和 4 个架构家族（Qwen、Llama、Gemma）的安全机制图谱：

Qwen： 将安全集中在一个集中的 FFN 瓶颈中（高消融有效性）。
Llama： 将安全分布在跳过连接中（中等消融有效性）。
Gemma： 将安全屏蔽在归一化之后（0% 消融有效性）。
洞察： FFN/跳过比率量化了这一谱系，并预测了神经元级编辑是否可行。

C. 小模型上的精确编辑

在Qwen3.5-2B模型上，作者识别出一个仅由20 个神经元控制的“反复猜测”电路：

消融： 消除了多轮阿谀奉承式的屈服（36.7% $\to$ 0%），但抑制了单轮事实修正。
放大： 将 10 个特定神经元放大 2 倍，在不重新训练的情况下，将 TruthfulQA 上的事实修正率从 52% 提高到 88%。
意义： 证明了特定的行为缺陷可以通过缩放特定神经元进行“精确模板层编辑”来修复。

4. 结果总结

安全性： 50 个神经元控制 Qwen3-4B 上的拒绝模板。消融改变了 80% 的响应格式，但保留了底层的安全知识（预训练警告得以幸存）。
语言路由： 方向注入在双语 Qwen 模型上实现了 99.1% 的语言切换，但在非双语模型或非线性行为（数学/代码）上失效。
效率： 该方法在 2 次前向传递中生成假设，并在一次扫描中（总计约 150 次传递）验证它们，比 $O(n)$ 电路发现方法便宜得多。
比较： 在 Qwen 模型上优于基于梯度的方法（任务特定的因果发现），但在安全由注意力介导的 Llama 模型上效果较差。

5. 意义与影响

机制理解： 提供了一个统一的框架来解释 RLHF 如何组织行为，区分“写入器”（对抗电路中的 FFN 神经元）和“读取器”（路由电路中的神经元）。
实用工具包： 提供了一种诊断工具（FFN/跳过比率），以便在进行昂贵的编辑尝试之前确定正确的干预策略（消融 vs. 方向注入）。
安全审计： 揭示了安全通常只是覆盖在稳健的预训练知识之上的“薄模板层”。这表明虽然表面拒绝是脆弱且可编辑的，但深层安全知识是稳健的。
对齐编辑： 证明了特定的行为缺陷（如阿谀奉承）可以通过放大已识别的神经元来纠正，为无需全模型重新训练的“精确对齐”提供了一条路径。
理论验证： 在 RLHF 对齐行为的背景下，验证了机制可解释性的核心假设（线性、局部性、稀疏性、组合性）。

总之，扰动探测弥合了廉价的相关性与昂贵的因果性之间的差距，为理解和编辑对齐大语言模型的行为电路提供了一个可扩展的诊断框架。