🤖 machine learning

Scalable Circuit Learning for Interpreting Large Language Models

本文介绍了 CircuitLasso，这是一种可扩展的稀疏线性回归方法，它能够高效地学习大型语言模型中稀疏自编码器特征上的可解释电路，在匹配高成本干预技术准确度的同时，以极低的计算成本实现有效的领域泛化。

原作者： Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

把大型语言模型（LLM）想象成一座巨大且极其复杂的工厂。在这座工厂内部，数以百万计的微小工人（神经元）互相传递笔记，从而产生最终的输出：一个句子或一个答案。

长期以来，试图理解这座工厂如何运作的科学家们面临着一个重大问题：这些工人非常混乱。 一个工人可能同时被“苹果”、“红色”和“健康”这三个概念激活。因为一个工人同时承担了许多不相关的任务，所以很难确定究竟是哪个工人负责了最终句子的特定部分。这就像是在试图弄清楚是谁烤了蛋糕，但厨房里的每一位面包师都在同时玩着面粉、鸡蛋和画笔的杂耍。

新工具：“特征检测器”

为了解决这个问题，研究人员开始使用一种特殊的工具——稀疏自编码器（Sparse Autoencoder, SAE）。你可以把它想象成一个坐在工厂工人与外部世界之间的翻译官。与其直接观察那些混乱的工人，这个翻译官会将他们的活动归类为非常具体、用途单一的“特征”。

现在，不再是一个工人同时处理多种事物，而是拥有了专门的“体育迷”特征、“语法警察”特征或“饥饿感”特征。每个特征只为一种清晰的概念而亮起。这使得工厂的内部运作变得更容易阅读。

问题所在：数据量过大

这里有一个难点：虽然这些“特征”变得更加清晰了，但它们的数量却有数以千计。试图绘制出这数千个特征之间是如何相互通信的地图，就像是在开着一辆时速只能走一英里的汽车，试图绘制出一座巨型城市中每一条道路的地图。

过去用于绘制这些连接的方法需要进行“干预”。想象一下，如果你想了解一张道路地图，你必须逐一封锁每一条街道，看看会发生什么。这极其缓慢、昂贵，且对于大型模型来说在计算上是不可能的。

解决方案：CircuitLasso

该论文的作者引入了一种名为 CircuitLasso 的新方法。

CircuitLasso 不再像“逐一封锁街道”那样工作，它更像是一个拿着放大镜并使用统计学捷径的超级聪明侦探。它观察已经自然发生的交通模式（数据），并使用一种称为“稀疏回归”的数学技术来确定其中的连接。

类比： 想象你想知道汤里哪些配料是必不可少的。
- 旧方法（干预）： 你尝一口汤，然后去掉一种配料，再尝一口，放回配料，再去掉另一种，再尝一口……对每一种香料都这样做。这太慢了。
- CircuitLasso： 你查看所有配料清单和最终的味道，然后使用一种智能算法，瞬间计算出哪些配料真正发挥了关键作用。它更快，而且不需要去折腾那锅汤。

他们的发现

该论文主要提出了三点结论：

速度与质量并存： CircuitLasso 比旧的“封锁街道”方法快得多。在标准基准测试中，它的速度提高了 3 倍，但它找到的“电路”（连接图谱）具有相同的准确度。
更清晰的故事： 由于它处理的是清晰的“特征”（如“饥饿”或“语法”）而非混乱的神经元，它绘制的地图对人类来说非常易于理解。他们发现了展示一个概念（如“饥饿”）如何流经模型各层并最终导致行动（如“进食”）的“树状”路径。他们甚至发现了“伪相关”现象——即模型认为“饥饿”与“自我”相关，仅仅是因为这些词在训练数据中经常一起出现。
实际应用价值： 他们在一个任务上测试了该方法，即让模型根据个人简历猜测其职业。该模型存在偏见（例如，假设所有护士都是女性）。通过使用 CircuitLasso 来识别并移除导致这种偏见的特定“性别”特征，他们能够修正模型的预测。他们完成这一过程的成本更低、速度更快，且达到了相似甚至更好的效果。

核心总结

这篇论文提出了一种高效的新方法，用于逆向工程 AI 模型是如何思考的。通过从观察混乱的神经元转向观察清晰的、单用途的特征，并利用快速的数学捷径而非缓慢的暴力测试，作者创造了一个可以快速且清晰地绘制大型 AI 模型“大脑”地图的工具。这不仅帮助我们理解 AI 说了什么，更帮助我们理解它为什么这么说，以及当它犯错时如何修复它。

技术摘要：用于解释大语言模型的可扩展电路学习

1. 问题陈述

机械解释性（Mechanistic interpretability）旨在通过识别**电路（circuits）**来揭示大语言模型（LLM）行为背后的“为什么”。这些电路是连接关键组件（如注意力头、神经元）的紧凑子图，驱动了特定的能力。然而，现有的电路学习方法面临两个主要瓶颈：

多语义性（Polysemanticity）： LLM 中的原始神经元具有多语义性，这意味着单个神经元会为多个不相关的概念激活。这导致学习到的电路变得密集、充满噪声且难以被人类理解。
可扩展性（Scalability）： 虽然**稀疏自编码器（SAEs）通过将激活分解为高维、单语义（单一概念）的特征提供了解决方案，但现有的基于干预（intervention-based）**的电路学习方法（例如因果追踪、归因补丁）无法扩展到 SAE 特征的高维度。这些方法需要昂贵的计算反事实干预（前向和后向传递），对于大型模型和高维特征空间而言，其成本是难以承受的。

2. 方法论：CircuitLasso

作者提出了 CircuitLasso，一种可扩展的电路学习方法，它使用稀疏线性回归框架取代了高成本的干预式流水线。

核心公式

CircuitLasso 不通过干预来估计因果效应，而是将 LLM 的计算图视为一个稀疏线性结构方程模型（SEM）。给定 $N$ 个组件（神经元或 SAE 特er）和 $M$ 个观测值，该方法寻求一个加权邻接矩阵 $A$ ，使得：
$X \approx A^\top X$
其中 $X$ 是激活矩阵。其目标是通过最小化重建误差，并受限于稀疏性（ $\ell_1$ 惩罚）和无环约束，来学习代表依赖关系的有向无环图（DAG）：
$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$

处理约束与可扩展性

无环性（Acyclicity）： 为了避免使用计算沉重的复杂连续无环约束，CircuitLasso 利用了 Transformer 已知的前馈架构。它假设一个块上三角结构，即第 $i$ 层仅依赖于 $j < i$ 的层。这使问题转化为一系列独立的 Lasso（稀疏线性回归）子问题，可以通过 FISTA 算法高效求解。
观测数据（Observational Data）： 该方法仅基于观测数据（前向传递产生的激活值）运行，避免了干预式方法所需的多次前向/后向传递。
SAE 集成： 该框架被扩展为可以直接处理 SAE 特征（ $z \in \mathbb{R}^D$ ，其中 $D \gg d$ ）。它学习层间 SAE 特征之间的依赖关系，并能将最后一层的特征与下游预测目标（ $y$ ）联系起来。

复杂度分析

理论分析（命题 3.2）表明，在特定机制下，CircuitLasso 相比于最先进的干预式方法（如 EAP-ig）具有保证的效率提升，特别是在组件位置数量（ $L$ ）相对于序列长度和模型维度适中的情况下。其成本随 $O(M L^2 d^2)$ 缩放，而干预式方法的成本则随通过整个模型的额外前向/后向传递的成本而缩放。

3. 核心贡献

CircuitLasso 算法： 一种用于电路发现的稀疏回归代理，用基于观测的 Lasso 方法取代了重度干预的流水线。
对 SAE 的可扩展性： 首个能够高效学习高维、单语义 SAE 特征电路的方法，克服了以往技术的计算限制。
理论效率： 通过形式化分析，确立了回归法比干预式基准方法更快的条件。
经验验证： 在模型神经元和 SAE 特征上的实验表明，CircuitLasso 在实现与 SOTA 基准相当的结构准确性的同时，计算成本仅为一小部分。

4. 实验结果

基准性能（模型神经元）

在 InterpBench（86 个半合成 Transformer 和间接宾语识别任务）上进行的评估显示：

准确度： CircuitLasso（线性变体）实现的平均结构汉明距离（SHD）为 3.16，与 SOTA 干预式基准 EAP-ig（2.98）在统计上不可区分，且优于 EAP（3.61）。
效率： 它比 EAP-ig 快 3.0 倍（每个案例 16.3s 对比 49.1s），比 EAP 快 2.1 倍。
非线性： CircuitLasso 的非线性扩展虽然提供了微小的准确度提升，但运行时间显著增加，这表明线性代理足以恢复依赖关系骨架。

可解释性案例研究（SAE 特征）

应用于 GPT-2 Small 在 CoLA（语言接受性语料库）数据集上的表现：

单语义电路： 该方法恢复了树状结构的电路，其中的节点对应于人类可理解的概念（例如，“-self”、“饥渴/渴求”、“结尾标点”）。
语义传播： 电路揭示了概念如何在层间持续、合并（结合来自多个父节点的概念）或丢弃（忽略某些输入）。
因果 vs. 伪相关： 学习到的图捕捉到了因果语义关系（例如，“饥饿”导致“进食”）以及由数据集偏差引入的伪相关（例如，“-self”与“饥饿”的共现）。

下游效用（领域泛化）

在 Bias-in-Bios 任务（预测职业的同时减轻性别偏差）上的评估显示：

性能： CircuitLasso 实现的职业预测准确度与最强的非 Oracle 基准（SHIFT）相当，甚至在某些情况下略好，同时保持性别泄露接近理想的 50% 水平。
效率： 如表 1 所示，CircuitLasso 所需的特征显著减少，运行时间也大幅缩短。对于 Gemma-2-9B 模型，CircuitLasso 用时 107.4s，而 SHIFT 用时 908.4s。

5. 重要性与主张

本文声称 CircuitLasso 成功解决了机械解释性中的可扩展性瓶颈。其主要意义在于实现了 “准确度等同下的效率提升”：

它能以极低的计算成本，恢复出与最严谨的干预式方法同样准确的结构化电路。
它支持使用 单语义 SAE 特征 进行电路分析，为 LLM 中语义概念如何传播提供了更清晰、更具人类可解释性的解释。
从这些电路中获得的见解具有实际用途，能够以比现有方法低得多的成本实现有效的领域泛化和偏差缓解任务。

作者对所学权重的性质保持审慎，指出线性系数代表的是一个 依赖骨架（dependency skeleton），而非底层非线性计算的精确因果效应。他们将该方法视为一种有效的一阶代理，旨在有效地识别哪些组件影响了其他组件，而非量化精确的因果效应大小。