技术摘要：Transformer 架构中的机械电路追踪与因果激活补丁技术

问题陈述

随着 Transformer 架构成为安全关键型机器学习部署的核心，其内部计算图仍处于不透明的“黑盒”状态。标准的后验评估方法无法隔离精确的因果机制或暴露潜在的失效模式，这使得审计内部动态或确保模型鲁棒性变得困难。目前迫切需要超越简单的特征归因，转向因果干预技术，以识别哪些特定的注意力头驱动了预测，以及当主要机制被破坏时网络如何进行补偿。

方法论

本文提出了机械电路追踪（Mechanistic Circuit Tracking），这是一个模块化框架，旨在追踪内部注意力电路的发展阶段转换，并量化其因果干预鲁棒性。该方法集成了三个核心技术组件：

1. 因果激活隔离（激活补丁/Activation Patching）： 该框架利用“干净到损坏”（clean-to-corrupted）的残差流补丁技术。通过将来自“干净”运行的激活向量替换为来自“损坏”运行的激活向量，系统可以隔离负责目标标记预测的具体因果路径。
2. 直接逻辑值归因（Direct Logit Attribution, DLA）： 作者将中间注意力头输出 ($z_{l,h}$) 直接映射到最终的解嵌入空间 ($W_U$)。这使得计算特定头对目标标记 $y$ 的精确逻辑值贡献成为可能，公式如下：
   $$L^{(l,h)}_y = \text{einsum}(z_{l,h}W^l_{O}, W_U[:, y])$$
3. 电路稳定性指数 ($S_{circuit}$)： 为了衡量网络在主要头被抑制时重新路由信息的能力，本文定义了一个稳定性指标。该指数量化了次级潜在注意力头在主要电路经历零消融（zero-ablation）时的补偿程度：
   $$S_{circuit} = 1 - \frac{|\Delta L_{primary} - \Delta L_{total}|}{\Delta L_{primary} + \epsilon}$$
   其中 $\Delta L_{primary}$ 是消融主要头导致的逻辑值损失，$\Delta L_{total}$ 是经过次级补偿后的净损失。

实验流程包括在 50,000 个优化步骤中评估 Transformer 检查点，执行逐层激活补丁，并测量归纳得分（induction scores）和注意力熵（attention entropy）。

核心贡献

本文对机械可解释性领域做出了三个主要贡献：

• 识别形成轨迹： 该框架识别了预训练过程中功能性归纳电路（特别是完成如 $[A][B] \dots [A] \to [B]$ 模式的归纳头）出现的精确优化步骤。
• 量化备份路径： 它提供了一种量化方法，用于衡量当主要电路进行零消融时，次级潜在注意力头如何进行动态补偿，从而超越了简单的电路消融来理解冗余性。
• 形式化稳定性指标： 电路稳定性指数 ($S_{circuit}$) 的引入为衡量潜在备份路径重路由提供了一个指标，为评估模型针对目标干预的鲁棒性提供了工具。

实验结果

跨越 50,000 个训练步骤的实证评估揭示了 Transformer 动力学中明显的非线性相变：

• 第 5,000 步时的相移： “归纳得分”（从第 1,000 步的 0.114 到第 5,000 步的 0.682）的剧增，与整体注意力熵（从 3.85 降至 1.42）的急剧下降直接相关。这表明存在突然的结构性重组，而非渐进式的权重精炼。
• 因果归因的集中化： 虽然早期预训练阶段的归因在各层之间分布均匀，但在第 5,000 步之后，因果归因高度集中在位于中后期层的特定注意力头上（特别是在 12 层模型中的第 5 到第 8 层）。
• 高电路冗余度： 到第 50,000 步时，模型达到了 0.94 的电路稳定性指数。这一高分表明，经过训练的 Transformer 具有显著的电路冗余，即次级头能够成功补偿被移除的主要头。

意义与主张

本文声称，机械电路追踪为审计模型对齐和防止安全绕过提供了必要的工具。其主要意义在于发现：针对单个头的剪枝或遗忘对于实现完全的安全保障是不充分的，因为在成熟模型中观察到了高度的冗余性（$S_{circuit} = 0.94$）。

通过绘制注意力头形成轨迹并形式化电路稳定性指数，该框架为以下方面提供了工具：

• AI 安全： 识别潜在的失效模式，并理解危险知识如何通过备份路径持续存在。
• 模型对齐： 确保干预能永久消除不良行为，而非仅仅是暂时性的绕过。
• 机械遗忘（Mechanistic Unlearning）： 提供一种原则性的方法论，将深度神经网络逆向工程为透明的计算电路。

研究结论认为，理解大语言模型的内部电路需要超越静态的特征归属，转向动态的因果干预，特别是要考虑到训练过程中发生的非线性相变和结构性重组。