技术摘要：电路前的捷径：文档统计特性

问题陈述

本文探讨了机械解释性（mechanistic interpretability）中的一个根本局限性：当不同线索在训练数据中完全相关时，无法区分语言模型究竟使用了哪一个特定的线索来解决冲突信息。在自然文档中，事实的最新的值通常也是最稀有的值（出现次数最少）。因此，模型在此类任务上的高准确率并不能揭示其依赖的是近期性（取最后声明的值）还是稀有性（取出现次数最少的值）。这种“混淆”（aliasing）现象使得观测分析无法将特定机制归因于特定的数据统计特性，因为目标函数对这两者是无差异的。

方法论

作者构建了一个合成语言和训练方案，旨在使这种混淆变得精确且可测试。

1. 合成语言： 文档由 (实体, 属性, 值) 语句序列及随后的查询组成。基准真相（ground truth）是查询槽位中最近分配的值。
2. 混淆规则： 训练分布经过设计，使得对于每个文档，最近的值也是唯一的值（仅出现一次），而之前的被取代值则重复出现 $R_{old}$ 次。因此，“取最近的值”（近期性）与“取最稀有的值”（稀有性）这两个规则在训练集上在数学上是完全等价的。
3. 因果干预（多重性反转）： 为了分离这些规则，作者对保留文档进行了最小化的编辑。他们反转了竞争值的多重性：正确答案（原出现一次）被改写为出现 $R_{old}$ 次，而原本被取代的值（原出现 $R_{old}$ 次）则减少到一次。
   • 近期性保持不变（最后的声明未被改动）。
   • 稀有性发生翻转（正确答案现在变成了频繁出现的值）。
   • 读取值（readout）是该编辑下目标值的对数几率变化量（$\Delta$）。
4. 实验网格： 作者在两个轴线的网格上训练了 26M 参数的 Transformer：
   • 冗余度 ($R_{old}$): 被取代值重复出现的次数（3, 5, 8, 12, 16）。
   • 距离 ($\Delta D$): 最后一次更新与查询之间的语句数量。
5. 评估指标：
   • 符号比例（Sign Fraction）： 在 $\Delta$ 具有稀有性规则预期符号的文档中所占的比例。
   • 电路形成（Circuit Formation）： 以“复制诊断”（对上下文值 token 的准确率）作为门控，以确保在分析规则归因之前，模型已经获得了检索机制。
   • 跨种子方差（Cross-Seed Variance）： 通过比较三个随机种子的结果，以区分数据决定的属性与优化过程产生的伪影。

关键结果

1. 行为饱和与不可辨识性

所有 75 次运行（25 个单元 $\times$ 3 个种子）均实现了 $\ge 0.999$ 的分布内准确率。仅凭行为评估无法区分模型实现的是近期性还是稀有性，因为两者都能达到完美得分。

2. 机制身份是不确定的

在干预下，模型实现的特定规则并非由语料库统计特性决定的。

• 高方差： 对于相同的单元，不同种子之间的符号比例差异巨大。在 25 个单元中，有 13 个单元在不同种子间的符号比例差异超过 0.3；最大范围达到了 0.879（例如，当 $R_{old}=3, \Delta D=8$ 时，结果为 0.098, 0.477, 0.977）。
• 无差异性： 这种方差随着优化过程被从约束中“释放”的程度而增加。由于目标函数对两者是无差异的，特定规则的选择是优化轨迹中的一次随机抽取，而非数据统计特性的体现。
• 结论： 当目标函数在备选方案之间是无差异的时，无法将机制归因于语料库统计特性。

3. 时机是确定的

虽然哪种规则被选择是不确定的，但检索机制出现的时间是由语料库统计特性严格决定的。

• 逃逸时间（Escape Time）： 模型从“位置捷径”（复制固定的 token 偏移量）中逃逸并获得检索电路的步骤，与冗余度（$R_{old}$）呈单调关系。
• 闭式上限（Closed-Form Ceiling）： 在获得检索机制之前，模型会饱和一个具有天花板 $1/|\text{supp}(\Delta D)|$ 的位置捷径。逃离该平台的时间受 $R_{old}$ 排序影响，更高的冗余度会导致更早的逃逸。
• 可复现性： 与规则归因不同，这种时机信号在不同种子间是可复现的，并且对训练预算和计划的变化具有鲁棒性。

4. “电路前的捷径”现象

在 32 次 75 次的运行中，在检索电路形成之前应用探测器会产生强烈的负 $\Delta$（表明存在一种“频率型”规则，即多重性增强了错误的值）。这是位置捷径的伪影，而非真实的规则选择。论文证明，仅以电路形成作为门控是必要但不充分的。具体而言，在 $R_{old}=3, \Delta D=3$ 的种子 1 运行中，复制诊断在第 5000 步达到 1.000（表明电路已形成），但在随后的 7000 步内，读取值仍保持为频率型（在第 6000、8000 和 10000 步时的符号比例分别为 0.23, 0.36 和 0.34），直到第 12000 步才跨越至 0.86。这种反转发生在电路形成之后，尽管任务准确率没有变化，且在第 12000 步附近不存在损失导数的峰值，这表明该跨越是一种漂移而非重组事件。

意义与主张

本文并非声称已经绘制了所有模型的特定电路，也未声称解决了通用的解释性问题。相反，它提出了一个关于何时进行机械归因的判据：

1. 归因条件： 只有当目标函数在竞争规则之间不是无差异时，机制才能被归因于语料库统计特性。当规则是共延展的（aliased）时，特定机制的选择是优化过程的属性，而非数据的属性。
2. 混淆构造： 作者主张使用混淆构造来使不确定性显现出来。在自然数据中，线索往往一致，导致人们得出自信但可能错误的归因。这种合成构造使这种无差异性变得精确，从而揭示出“胜出者”往往是训练轨迹的一个随机结果。
3. 什么得以留存： 论文得出结论，虽然特定规则的身份不是由数据决定的，但机制出现的时机是确定的。语料库决定了机制何时出现，而不是决定它是哪种机制。
4. 方法论转变： 作者主张报告每个单元的种子方差，并以电路形成而非任务准确率作为门控。他们警告说，在混淆设置下，使用单种子测量会产生看似可靠但无法通过复现验证的数字，而时机指标（如逃逸步骤）则保持稳定。

总而言之，本文确立了：在存在共延展规则的情况下，针对特定规则身份的机械归因在本质上是不可行的，但针对机制形成时机的归因仍然是有效的。