Addressing divergent representations from causal interventions on neural networks

这篇论文《ADDRESSING DIVERGENT REPRESENTATIONS FROM CAUSAL INTERVENTIONS ON NEURAL NETWORKS》（解决神经网络因果干预产生的发散表征问题）由斯坦福大学的研究团队撰写，发表于 ICLR 2026。文章深入探讨了机械可解释性（Mechanistic Interpretability）中因果干预方法的一个核心隐患：干预产生的表征是否偏离了模型的自然分布（Out-of-Distribution, OOD），以及这种偏离对解释的可信度有何影响。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心假设的脆弱性：机械可解释性的主流方法（如激活修补 Activation Patching、分布式对齐搜索 DAS）依赖于一个基本假设：通过干预创造的“反事实”模型状态（Counterfactual states）是目标模型在自然状态下可能存在的。
• 发散表征（Divergent Representations）：作者指出，许多常见的因果干预技术（如将特征值乘以 15 倍、简单的坐标修补等）往往会导致内部表征显著偏离模型的自然分布流形（Manifold）。
• 核心问题：
  1. 这种偏离是否普遍存在？
  2. 这种偏离是“无害”的（Harmless），还是“有害”的（Pernicious）？
  3. 如果是有害的，如何在不牺牲解释力的情况下减轻这种偏离？

2. 方法论与理论分析 (Methodology & Theory)

2.1 理论与实证证明：发散是普遍现象

• 理论证明：作者证明了在大多数流形几何形状（如球体、椭球体）上，如果进行坐标修补（Coordinate Patching，即替换向量的某些维度），只要样本足够多，修补后的点必然落在自然流形之外（Off-manifold）。只有轴对齐的超矩形（Axis-aligned hyperrectangles）才具有“修补闭合性”，但这在神经网络中极少见。
• 实证验证：在 Mean Difference Patching、稀疏自编码器（SAE）和 DAS 三种主流方法上，通过计算自然分布与干预分布之间的推土机距离（Earth Mover's Distance, EMD），证实了干预后的表征确实发生了显著发散。

2.2 发散类型的分类理论

作者将发散分为两类，其危害性取决于具体的机械性主张（Mechanistic Claims）：

1. 无害发散 (Harmless Divergence)：

   • 定义：发生在行为零空间（Behavioral Null-space）内的发散。即扰动向量 $v$ 满足 $W(h+v) = Wh$（对于后续权重矩阵$W$）或更广义的$\psi(x+v) = \psi(x)$。
   • 特性：虽然内部激活值改变了，但最终输出行为不变。这种发散对于关于整体功能的声称是无害的，但对于关于子层内部计算的声称可能是有害的。
   • 例子：在行为二元子空间（Behaviorally Binary Subspace）中，数值大小改变但符号不变，导致行为不变。

2. 有害发散 (Pernicious Divergence)：

   • 定义：激活了自然状态下未使用的“隐藏路径”（Hidden Pathways）或触发了“休眠行为变化”（Dormant Behavioral Changes）。
   • 机制：
     • 隐藏路径激活：干预产生的离流形（Off-manifold）激活值可能打开在自然数据中从未激活的 ReLU 单元或子电路，导致行为改变是由非自然机制驱动的。
     • 休眠行为变化：在某些上下文中行为看似正常，但在其他上下文中（如改变上下文向量），同样的干预会导致完全不同的行为输出。
   • 后果：这会导致对模型自然机制的错误归因，甚至得出虚假的确认性结论。

3. 解决方案：反事实潜在损失 (Counterfactual Latent Loss)

为了缓解有害发散，作者提出并修改了 反事实潜在（CL）损失（源自 Grant, 2025）：

• CL 损失原理：
  • 定义“反事实潜在向量”（CL Vectors, $h_{CL}$）：这些是自然分布中拥有与干预后向量 $\hat{h}$ 相同因果变量值的自然样本。
  • 目标：最小化干预向量 $\hat{h}$ 与对应的 $h_{CL}$ 之间的距离（结合 L2 距离和余弦距离）。
  • 公式：$L_{CL} = \frac{1}{2}\|\hat{h} - h_{CL}\|_2^2 - \frac{1}{2}\frac{\hat{h} \cdot h_{CL}}{\|\hat{h}\|_2 \|h_{CL}\|_2}$。
• 两种应用策略：
  1. 应用于 Boundless DAS：将 CL 损失作为辅助目标加入 DAS 训练（$L_{total} = \epsilon L_{CL} + L_{DAS}$）。在 7B LLM 实验中，这显著降低了 EMD（发散度），同时保持了互换干预准确率（IIA）。
  2. 修改版 CL 损失（针对因果子空间）：在合成任务中，仅针对特定的因果子空间（Causal Subspaces）计算 CL 损失，而非整个向量。这进一步提高了模型在分布外（OOD）设置下的干预性能。

4. 关键实验结果 (Key Results)

1. 发散普遍性：在 Mean Difference Patching、SAE 和 DAS 中，干预后的表征分布与原始分布存在显著差异（EMD 显著高于基线）。
2. 有害性验证：
   • 通过合成电路实验证明，简单的均值差异修补可能激活隐藏单元，导致决策边界被非自然机制跨越。
   • 展示了“休眠行为变化”：同一干预在不同上下文（Context）下会导致截然不同的行为，证明仅凭单一上下文的行为结果不足以推断机制。
3. CL 损失的有效性：
   • 减少发散：在 Boundless DAS 设置中，引入 CL 损失后，干预表征的 EMD 显著降低，且 IIA（行为准确率）未受影响甚至略有提升。
   • 提升 OOD 泛化：在合成任务中，使用 CL 损失训练的 DAS 对齐矩阵，在未见过的类（Held-out classes）上的 OOD 干预准确率显著高于仅使用行为损失的模型。
   • 相关性分析：线性回归显示，训练时的 EMD（发散度）与 OOD 干预准确率呈显著负相关（系数 -0.34, $R^2=0.73$），表明减少发散有助于提升干预的泛化能力。

5. 主要贡献 (Contributions)

1. 理论证明：证明了坐标修补在大多数流形上必然导致离流形（Off-manifold）表征。
2. 分类框架：提出了“无害”与“有害”发散的理论分类，强调了零空间发散与隐藏路径激活的区别。
3. 实证发现：展示了有害发散如何激活隐藏电路并导致休眠行为变化，挑战了仅凭修补结果进行机制归因的可靠性。
4. 方法改进：提出并验证了修改版的 CL 损失，能够有效最小化因果子空间上的发散，提高干预的可信度和 OOD 泛化性。

6. 意义与局限性 (Significance & Limitations)

• 意义：
  • 揭示了当前机械可解释性方法中一个被忽视的严重问题：干预本身可能引入非自然的“幻觉”机制。
  • 为未来的可解释性研究提供了新的方向：在追求行为准确性的同时，必须约束表征的分布，确保干预在“流形内”（On-manifold）或至少是行为零空间内的。
  • 提出的 CL 损失为构建更可靠的干预工具提供了初步的解决方案。
• 局限性：
  • 目前缺乏一种通用的、原则性的方法来自动分类所有情况下的“有害”发散。
  • 修改后的 CL 损失主要在合成任务和特定设置（如 DAS）中验证，尚未在所有复杂的真实世界模型中全面测试。
  • 最小化发散并不保证完全消除隐藏路径，只是降低了风险表面。

总结：这篇论文是对机械可解释性领域的一次重要反思。它警告研究者，如果不加控制，因果干预可能会将模型推向其从未见过的状态，从而产生误导性的解释。通过引入分布约束（如 CL 损失），可以显著提高干预实验的可靠性和泛化能力。