Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
本文介绍了一种用于识别预训练 Transformer 中因果注意力头电路的三步无监督方法，证明了一种基于谱信号的方法能够成功地在不同模型规模、架构和训练流程中分离出特定任务的归纳电路。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一座巨大的图书馆（即神经网络），它通过阅读数百万个故事来学习如何说话。在这座图书馆里，有数千名微小的图书管理员（称为“注意力头”），他们在构建句子时决定关注哪些词语。
本文提出了一种三步法，用于找出负责特定技巧（例如“归纳”，即识别如"A, B... A, B"这样的模式并预测下一个 B）的特定图书管理员群体。作者想要知道：究竟是哪些具体的图书管理员在做这项工作，我们能否证明这一点？
以下是该方法的简要说明：
第一步：“活动计量表”（频谱信号）
问题： 你无法仅仅通过观察图书馆就知道谁在工作。你需要一种方法来识别那些真正在思考故事内容的图书管理员，而不是那些只是呆滞地盯着看或机械遵循固定规则的人。
解决方案： 作者发明了一种“参与度比率”计量表。
- 类比： 想象一位图书管理员，无论询问什么书，他总是指向同一个书架。这很无聊；他并没有真正在思考。现在想象另一位图书管理员，对于你询问的每一本书，他都会看向不同的书架。这位图书管理员正在积极地处理内容。
- 工具： 作者测量了图书管理员的注意力随时间“分散”的程度。如果一位图书管理员的注意力会根据故事的不同而跳跃到许多不同的地方，那么他的“计量表”读数就会升高。这有助于他们发现那些正在从事专业化工作的图书管理员，而无需事先知道他们具体在执行什么任务。这就像通过观察工人们在工厂里移动的频率，来找出最活跃的工人。
第二步：“职位描述”筛选
问题： 第一步中的“活动计量表”找出了所有忙碌的工人。但我们要找的是正在做某项特定工作（如归纳）的工人。该计量表可能会突出显示正在做其他完全不同工作的忙碌工人。
解决方案： 他们应用了一个“筛选器”来过滤列表。
- 类比： 你有一份包含 100 名活跃工人的名单。你问他们：“谁在查看当前词语之前的那个词？”（前一个词）或者“谁在查看'A... A'这样的模式？”（归纳）。
- 工具： 他们检查了活跃工人的注意力模式。如果某位工人针对特定任务看向正确的位置（例如，当看到第二个"A"时，回看第一个"A"），他们就会获得一张进入候选名单的“门票”。这将一份通用的“忙碌工人”名单转化为一份具体的“归纳工人”名单。
第三步：“消防演习”（因果验证）
问题： 仅仅因为某位工人看向正确的位置，并不意味着他们导致了结果。也许他们只是在旁观，而真正的工人在做实际工作。
解决方案： 他们进行了一次“消防演习”（消融实验）。
- 类比： 你让第二步中识别出的特定“归纳工人”群体停止工作（将他们的输出归零）。
- 测试： 图书馆是否还能正确预测下一个词？
- 对照： 为了确保你不是通过随机解雇人员而破坏了图书馆，你还解雇了来自同一部门但不在你名单上的另一组工人。
- 结果： 如果只有当你解雇“归纳工人”时图书馆才崩溃，而解雇随机群体时图书馆仍能正常工作，你就证明了你的特定群体正是负责该项工作的人。
他们发现了什么？
- 该方法处处适用： 他们在从小型（5100 万参数）到大型（10 亿参数）的各种模型上测试了该方法。在每一个模型中，他们都发现了一个由3 到 6 名图书管理员组成的微小团队，负责归纳技巧。
- 具有预测性： 他们可以在训练过程中、甚至在模型完成之前找到这些特定团队。“活动计量表”在模型开始擅长该任务之前，就已经为正确的工人亮起了灯。
- “专家”比例恒定： 无论图书馆变得多大，从事这些专业化、高级工作的图书管理员比例大致保持不变（约为17–19%）。图书馆的其余部分处理通用事务。
- 不同模型，不同团队： 尽管工作（归纳）是相同的，但不同的模型使用不同的图书管理员团队来完成它。一个模型可能使用前几排的工人；另一个模型可能使用中间排的工人。但该食谱能为每个特定模型找到正确的团队。
总结
这篇论文为我们提供了一种可靠的三步法，用于找出 AI 中执行特定技巧的“脑细胞”。它不仅仅是猜测；它先找出活跃的工人，按职位描述进行筛选，然后通过关闭它们并观察什么会出错来证明其必要性。这表明，即使 AI 模型变得巨大，负责巧妙工作的核心团队依然保持微小且一致。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。