Circuit Insights: Towards Interpretability Beyond Activations

该论文提出了 WeightLens 和 CircuitLens 两种互补方法，通过直接从权重解读特征以及分析组件间的交互动态，突破了传统基于激活的电路发现局限，实现了无需外部模型或数据集的更鲁棒、可扩展的机械可解释性分析。

要点

这篇论文就像是在给复杂的“黑盒”人工智能（AI）做X 光透视和电路检修。

想象一下，大型语言模型（比如现在的聊天机器人）就像一个超级复杂的巨型城市。这个城市里有无数个“神经元”（就像城市里的居民或路灯），它们共同工作来产生回答。但问题是，我们不知道具体是哪个居民在什么时候做了什么，也不知道他们是如何互相配合的。

以前的研究方法就像是在观察居民的活动（看他们什么时候亮灯，也就是“激活”），但这有个大问题：有时候灯亮了，但你不知道是因为有人按了开关，还是因为电路短路，或者是因为隔壁邻居的干扰。而且，以前的方法往往需要人工去一个个检查，或者依赖另一个更聪明的 AI 来猜，既慢又不靠谱。

这篇论文提出了两个新工具：WeightLens（权重透镜） 和 CircuitLens（电路透镜），它们不需要盯着居民的活动看，而是直接去研究城市的建筑图纸和电路连接。

1. 核心问题：为什么以前的方法不够好？

以前的方法主要看“激活”（Activation），就像看路灯什么时候亮。

• 缺点：路灯亮了，可能是因为你按了开关，也可能是因为有人路过碰了一下，甚至可能是电压不稳。如果只看灯亮，你很难分清真正的“意图”是什么。而且，如果城市太大（数据太多），人工去数哪盏灯亮了，根本数不过来。

2. 新工具一：WeightLens（权重透镜）—— 直接看“建筑图纸”

WeightLens 就像是一个不看居民活动，直接看建筑图纸的侦探。

• 它的原理：它不看路灯什么时候亮，而是直接看电线是怎么连接的。在 AI 模型里，这些连接就是“权重”（Weights）。
• 比喻：想象你在研究一个复杂的乐高积木城堡。以前的方法是等城堡亮灯了，再去猜是哪个积木在发光。而 WeightLens 是直接拿起说明书（权重），看哪两块积木是紧紧扣在一起的。
• 好处：
  • 不需要数据：它不需要拿成千上万篇文章去测试，直接看模型内部结构就能知道某个功能大概是什么。
  • 精准：对于某些固定的功能（比如识别“苹果”这个词），它发现只要看到特定的积木连接，就能确定它在干什么，不需要等它真的去“亮灯”。
  • 结果：它能解释很多功能，而且解释得和以前那些依赖大量数据的方法一样好，甚至更好。

3. 新工具二：CircuitLens（电路透镜）—— 追踪“电流的流向”

CircuitLens 则像是追踪电流路径的工程师。它知道有些功能不是靠一个积木完成的，而是靠一群积木组成的电路（Circuit）协作完成的。

• 它的原理：它把“输入”（比如你问的问题）和“输出”（AI 的回答）之间的完整电路路径找出来。
• 比喻：
  • 以前的方法可能只告诉你：“这个房间亮灯了，因为有人在里面。”
  • CircuitLens 会告诉你：“这个房间亮灯，是因为A 房间的人按了开关，信号传到了B 房间的继电器，最后才点亮了C 房间的灯。而且，这个灯亮起来是为了给 D 房间的人发信号。”
• 解决“多义性”问题：有时候一个功能（比如“灯”）既可以是“照明”，也可以是“装饰”。CircuitLens 通过把不同的“电路模式”聚类（分组），能发现：哦，原来这组电路是专门用来“照明”的，那组是专门用来“装饰”的。这样就把混乱的信息理清楚了。
• 好处：它能发现那些单纯看“灯亮”发现不了的深层规律，比如某个功能虽然不常亮，但一旦亮起，就会对最终的输出产生巨大的影响。

4. 这两个工具合起来有什么用？

这就好比WeightLens 给了你静态的地图（哪里有线连着哪里），而 CircuitLens 给了你动态的交通监控（车是怎么跑的，哪条路最堵）。

• 更 robust（鲁棒/可靠）：以前依赖大模型去猜解释，现在有了这两个工具，解释变得更可靠，不再那么依赖外部的大模型或巨大的数据集。
• 更高效：不需要跑几亿条数据来训练解释器，直接分析模型结构就能得到很多结论。
• 更清晰：能把那些模棱两可、让人看不懂的 AI 行为，拆解成清晰的“输入 - 处理 - 输出”链条。

总结

这篇论文就像是给 AI 科学家提供了一套新的显微镜和电路图。

• 以前：我们只能看到 AI 在“做什么”（输出结果），或者看到它“什么时候动”（激活），但不知道它“为什么动”以及“内部怎么动”。
• 现在：通过 WeightLens 和 CircuitLens，我们可以直接看到 AI 的内部构造和运作逻辑。这让 AI 不再是黑盒子，而是一个我们可以理解、甚至能“检修”的透明机器。这对于让 AI 更安全、更可靠地进入医疗、法律等敏感领域至关重要。

简单来说，他们不再只是观察 AI 的“表情”（激活），而是开始研究 AI 的“大脑结构”（权重和电路），从而真正读懂了 AI 在想什么。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文《CIRCUIT INSIGHTS: TOWARDS INTERPRETABILITY BEYOND ACTIVATIONS》（电路洞察：迈向超越激活的可解释性）的详细技术总结。

1. 研究背景与问题 (Problem)

尽管可解释性人工智能（XAI）和机械可解释性（Mechanistic Interpretability）领域旨在揭示神经网络的内部结构，但现有的自动化解释方法仍存在显著局限性：

• 依赖人工与玩具任务：传统的电路发现（Circuit Discovery）主要依赖人工检查，且局限于简单的玩具任务，难以扩展到大型语言模型（LLM）。
• 激活分析的局限性：现有的自动化方法（如基于稀疏自编码器 SAE 或 MLP 神经元的方法）主要分析特征的激活模式。这种方法存在以下问题：
  • 多义性（Polysemanticity）：单个神经元或特征可能对应多个不相关的概念，导致解释模糊。
  • 上下文依赖：仅靠激活值难以区分是输入模式触发了特征，还是特征在特定上下文中被激活。
  • 黑盒依赖：为了生成自然语言描述，这些方法严重依赖外部的大型语言模型（LLM）作为“解释器”。这引入了新的黑盒问题，且解释质量受提示词（Prompt）、数据集质量和微调策略的影响极大，存在不可靠或产生虚假解释的风险。
• 缺乏结构信息：现有的方法往往忽略了模型权重本身所蕴含的结构性信息，未能充分利用特征之间的连接关系。

2. 方法论 (Methodology)

本文提出了一种基于Transcoders（一种稀疏近似 MLP 层的架构，能将归因分解为输入依赖和输入不变两部分）的新框架，包含两个互补的方法：WeightLens 和 CircuitLens。

2.1 基础：Transcoder 的归因分解

利用 Transcoder 架构，作者将特征激活分解为：

• 输入依赖项 (Input-dependent)：随输入变化的标量激活值。
• 输入不变项 (Input-invariant)：由 Transcoder 权重决定的固定连接项。
  这种分解允许在不依赖具体输入数据的情况下分析特征间的结构性连接。

2.2 WeightLens：基于权重的自动化可解释性

目标：在不依赖数据集和外部解释器 LLM 的情况下，直接通过学习到的权重解释特征。
核心假设：

1. 如果输入不变的连接（权重）显著强于其他连接，则它们代表了有意义的结构关系。
2. 如果一个 Token 被权重强烈支持，且反映了特征的固有行为，那么该特征应在该 Token 上独立激活（无需上下文）。
   流程：
3. 投影与异常检测：将特征编码器向量投影到输入嵌入空间，将解码器向量投影到词汇表 Logits 空间。利用 Z-score 检测异常值（候选 Token）。
4. 权重连接分析：分析早期层特征对当前特征的权重贡献，继承其 Token 描述作为候选。
5. 验证步骤：仅保留那些在前向传播中确实能独立激活该特征的 Token。
6. 描述生成：对验证后的 Token 进行词形还原（Lemmatization），生成特征描述。
   优势：完全摆脱了对数据集和解释器 LLM 的依赖，特别适用于上下文独立的特征。

2.3 CircuitLens：基于电路的自动化可解释性

目标：解决上下文依赖特征的解释问题，通过电路层面的分析揭示激活背后的因果机制。
流程：

1. 激活缓存与采样：缓存整个数据集的特征激活，采用逆频率分位数采样（Inverse-frequency quantile sampling），确保覆盖罕见但强激活的样本，避免仅关注高频激活。
2. 电路模式检测：
   • 输入中心：利用归因公式识别哪些（注意力头，Token）对特征激活贡献最大，并掩码（Mask）无关 Token，仅保留触发特征的模式。
   • 输出中心：分析特征激活后影响了哪些输出 Token，揭示特征的下游功能。
3. 基于电路的聚类 (Circuit-based Clustering)：
   • 收集每个输入中贡献显著的组件（特征、注意力头对）。
   • 构建贡献向量，过滤低频噪声。
   • 使用 Jaccard 相似度和 DBSCAN 算法对输入进行聚类。
   • 目的：将多义特征（Polysemantic features）分解为不同的语义簇，每个簇对应一个清晰的子电路。
4. 描述生成：对每个聚类簇分别调用解释器 LLM 生成描述，最后合成统一的特征描述。
   优势：通过预识别相关模式，减轻了 LLM 的搜索负担；通过聚类处理多义性；结合权重信息提高了鲁棒性。

3. 主要贡献 (Key Contributions)

1. WeightLens 框架：提出了一种仅基于模型权重（Transcoder 权重）的自动化解释方法。它消除了对大型数据集和外部解释器 LLM 的依赖，在上下文独立特征的解释上达到了甚至超过了现有基于激活的方法的性能。
2. CircuitLens 框架：提出了一种基于电路的激活分析方法。通过分离输入触发模式和输出影响，并结合基于电路的聚类，有效处理了多义性特征，揭示了仅靠激活分析无法识别的电路级动态。
3. 互补性与鲁棒性：证明了结合权重分析和电路分析可以显著提高可解释性的鲁棒性，减少对数据集大小和分布的敏感性，同时保持高效性。
4. 实证验证：在 GPT-2 Small, Gemma-2-2B 和 Llama-3.2-1B 等多个模型上进行了广泛评估，展示了新方法在清晰度（Clarity）、响应性（Responsiveness）等指标上的优势。

4. 实验结果 (Results)

• 评估指标：使用 FADE 框架（基于 LLM 作为裁判），评估四个指标：清晰度 (Clarity)、响应性 (Responsiveness)、纯度 (Purity) 和忠实度 (Faithfulness)。
• WeightLens 表现：
  • 在 Gemma-2-2B 等模型上，WeightLens 生成的描述在清晰度和响应性上通常优于或持平于基于激活最大化的基线方法（如 Neuronpedia, MaxAct*）。
  • 它成功识别了约 32.7% (Gemma) 到 58.8% (GPT-2) 的特征为基于 Token 的独立特征。
  • 对于早期层（Early Layers），基于权重的分析效果最佳，因为早期层特征通常具有明确的 Token 级结构。
• CircuitLens 表现：
  • 电路方法显著减少了清晰度极低的特征数量，表明其能更准确地捕捉触发模式。
  • 即使在较小的数据集（24M tokens）上，CircuitLens 的表现也优于在大数据集（2.3B tokens）上训练的激活基线方法，证明了其对数据集分布的鲁棒性。
  • 聚类效果：成功将多义特征（如 Layer 7 和 Layer 21 的特征）分解为不同的语义簇（例如，将“身体部位”和“连字符”用法分开），揭示了单一特征背后的多个子电路。
• 局限性发现：
  • 忠实度 (Faithfulness) 普遍较低。作者分析认为，这是因为 Transcoder 像 MLP 一样写入残差流，存在高度冗余，单一特征的干预难以产生显著影响。
  • 中间层（如 Gemma 的 Layer 12）由于高度上下文依赖，基于权重的解释效果较差。

5. 意义与结论 (Significance & Conclusion)

• 范式转变：本文推动了可解释性研究从单纯依赖“激活分析”向结合“权重结构”和“电路动态”的转变。
• 可扩展性与实用性：WeightLens 提供了一种无需昂贵数据集和外部 LLM 的高效解释方案，使得大规模模型的可解释性分析更加可行。
• 解决多义性：CircuitLens 通过电路聚类有效解决了特征多义性问题，为理解复杂模型中的功能子组件提供了新工具。
• 未来方向：虽然目前主要针对 Transcoder，但该方法论可推广至 SAE 和其他架构。未来的工作将集中在优化聚类超参数、改进忠实度评估（如针对特征组而非单个特征）以及进一步自动化电路发现。

总结：这篇论文通过利用 Transcoder 架构的结构性优势，提出了 WeightLens 和 CircuitLens 两种方法，成功突破了传统激活分析的瓶颈，实现了更高效、更鲁棒且更少依赖外部黑盒模型的自动化机械可解释性分析。