技术摘要：杠杆力不等于触达力：语言模型单神经元转向控制窗口定律

1. 问题陈述

虽然对齐后的语言模型通过稀疏的前馈网络（FFN）神经元来控制关键行为（例如：拒绝、语言路由、算术运算符选择），但目前尚缺乏一个理论框架来预测干预单个神经元何时会实现连贯的行为控制，而非导致模型输出坍缩为退化的文本。

目前文献中存在两个根本性的空白：

1. 归因与干预的不一致性： 被局部梯度归因算法判定为重要的神经元往往无法在因果上控制行为，而真正的控制器在梯度中往往是不可见的。高“杠杆力”（即剂量移动模型状态的能力）并不预示着“触达力”（即连贯的行为效应）。
2. 缺乏预测性理论： 目前没有任何原则能解释为什么特定的干预会连贯地改变一种行为，却使另一种行为发生坍缩。使用固定剂量的干预会根据任意选择的剂量产生矛盾的结论，从而阻碍了单神经元控制成为一种可预测、可证伪的现象。

2. 方法论：预算归一化控制窗口框架

作者提出了一个将单神经元干预视为剂量-反应关系的框架，类似于药理学。其核心创新在于将干预剂量相对于模型的内部几何结构进行归一化，而非使用固定量级。

控制坐标

单神经元干预向残差流 $r_L$ 添加一个写方向 $v$（FFN 神经元的下投影列）的标量倍数 $t$：
$$r(t) = r_L + t v$$
由于残差流会经过归一化处理，因此只有扰动后残差的方向才是关键。该效应可以简化为一个单一的控制坐标：扰动后的残差与写方向之间的余弦相似度 $\cos \theta_v$。

相干预算与通用驱动

剂量通过相干预算 $B$ 进行归一化，其中 $B$ 定义为残差范数与写方向范数的比值：
$$B = \frac{\|r_L\|}{\|v\|}$$
无量纲耦合系数 $g = t/B$ 驱动控制坐标沿着一条通用的饱和曲线运动：
$$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$$
这条曲线描述了随着剂量增加，残差如何向写方向旋转。

控制窗口定律

当行为的触发阈值 ($\cos \theta_{trig}^v$) 低于坍缩天花板 ($\cos \theta_{coll}^v$) 时，存在连贯控制：
$$\text{连贯控制} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$$

• 触发器 (Trigger)： 一个取决于行为的阈值，在此处行为发生翻转。它因行为类别而异（例如：语言路由约为 $0.3$，拒绝行为约为$0.45$）并受展开时界$\tau$ 的影响。
• 天花板 (Ceiling)： 一个取决于几何结构的阈值，在此处输出发生坍缩。它可以通过模型权重和单次前向传播进行预测，并由坍缩系数 $m^*$（与残差的参与度相关）进行缩放。

3. 核心贡献

1. 基于单一坐标的控制窗口定律： 本文确立了任何剂量的效应都可以简化为一个单一坐标 $\cos \theta_v$，遵循通用的驱动曲线。连贯控制严格受限于一个触发器（行为特定）和一个天花板（几何特定）。
2. 前瞻性天花板预测： 天花板可以在干预前通过仅使用权重和一次通用前向传播进行预测。在 15 个留存神经元上，预测的天花板平均绝对误差 (MAE) 为 0.14（在批量层中为 0.07）。
3. 窗口关闭的三种机制： 本文识别了导致神经元无法控制行为的三种原因：
   • 几何性关闭 (Geometric Close)： 坍缩天花板低于触发阈值（在 Gemma 模型中观察到）。
   • 驱动受限关闭 (Drive-Capped Close)： 后 FFN 归一化限制了神经元的触达能力使其低于触发阈值（在 Gemma 中观察到）。
   • 解耦关闭 (Decoupled Close)： 写操作发生在网络深度过晚的位置，导致其在输出生成前无法传播。
4. 跨行为的普适性： 该定律既适用于良性模式切换（语言路由、运算符选择），也适用于安全行为（拒绝）。触发值随行为类别而异，但底层几何结构保持一致。
5. 杠杆力 vs. 触达力（梯度盲目性）： 本文证明了局部梯度归因与控制力之间存在反向预测关系。真正的控制器通过“离轴”写入（垂直于即时读出方向），携带近乎为零的一阶梯度，但具有显著的二阶曲率。因此，梯度排名的神经元通常易于引发坍缩，而最有效的控制器在梯度分析中是不可见的。
6. 类型化结果： 干预成功并非仅是一个标量，而是“类型化”的。一个神经元可以实现连贯绕过（在流畅文本中翻转拒绝行为），而不一定实现严格可执行触达（提供有害的、可操作的内容）。这两者是脱节的，尤其是在拒绝场景中。

4. 结果与验证

• 预测准确性： 该框架成功预测了 11/15 个留存神经元的“开启”或“关闭”判定。四个“失误”并非违反定律，而是具有启发性的边缘情况（例如：几何性关闭、驱动受限关闭或弱开启）。
• 坍缩系数： 研究发现坍缩系数 $m^*$ 取决于架构。对于 Qwen 和 Llama 系列，该系数约为 $1.4\text{--}1.7$，但在 Gemma-3 中降至 $0.31$，这与残差的参与度（集中度）相关。
• 发现效率： 结合控制窗口定律的仅前向对比筛选法，成功找回了 4/4 个梯度排名错过的已知控制器（梯度排名为 0/4）。对比筛选提供了召回率，而窗口定律提供了精确度。
• 拒绝审计： 在一组拒绝神经元的研究中表明，虽然许多神经元可以实现连贯的绕过，但只有一小部分（审计的 6 个 Llama 转向神经元中的 3 个）产生了真正的可执行有害内容。此外，可执行内容通常在展开后期（约 $96\text{--}128$ 个 token 后）才出现，这与早期 token 的绕过行为有所区别。
• 二维窗口： 控制窗口被展示为关于剂量和展开时间的曲面。某些行为（如语言路由）是 Token 局部的，而其他行为（如运算符切换）则需要展开时界才能显现。

5. 意义与主张

本文声称将单神经元转向从一系列轶事转化为可预测、可证伪的深度学习机制定律。

• 统一性： 它通过将超级权重、拒绝神经元、算术机制等置于同一个控制窗口内，统一了先前的研究发现，解决了控制、坍缩与不可见性之间的矛盾。
• 防御效用： 它提供了一个“两轴安全诊断”（连贯绕过裕度 vs. 严格可执行潜力），允许模型所有者审计鲁棒性。一个模型可以拥有宽阔的绕过窗口但零可执行触达，或者完全是一个关闭的窗口。
• 方法论转变： 它规定了一种新的干预标准：基于预算归一化的剂量投放，并在行为的展开时界进行读取。这纠正了此前因使用固定量级过冲而被标记为破坏性的神经元记录。
• 理论洞察： 它阐明了“杠杆力不等于触达力”。真正的控制器通过播种下游电路会放大离轴扰动来运作，这使得它们在一阶梯度分析中是不可见的。

作者总结道，虽然坍缩天花板可以从几何结构中预测，但触发值仍是一个取决于行为类别的测量量，这代表了实现完全第一性原理理论的主要挑战。这项工作建立了一种测量规范，将行为路由与能力触达区分开来，为审计模型的可控性提供了一个严谨的工具。