🤖 AI

Finding Interpretable Prompt-Specific Circuits in Language Models

本文介绍了 ACC++，一种改进的电路追踪方法，它通过单次前向传播提取可解释的、特定于提示的注意力电路，揭示了语言模型如何利用不同的、依赖于语言的信号，在不同语言语境中解决诸如间接宾语识别等任务。

原作者： Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一座庞大而繁忙的城市，数百万名微小的工人（神经元）彼此传递便条以回答问题。长期以来，我们只能看到这座城市产出了什么（答案），却完全不知道工人们是如何决定发送那些便条的。这就像观看一场魔术表演，却不知其中的戏法。

本文介绍了一种名为**ACC++**的新工具，它如同这些模型的“高科技 X 光透视”。它不只是猜测，而是追踪信息流经模型以解决特定问题时的确切路径。

以下是本文所做工作及发现要点：

1. 问题所在：“黑箱”城市

当模型回答一个提示（例如“当玛丽和约翰去商店时，约翰把瓶子给了……"）时，它必须推断出答案是“玛丽”。

旧方法：研究人员试图通过逐个开启和关闭工人来找出哪些工人参与其中（就像拉下房屋的保险丝，看哪盏灯会熄灭）。这种方法既缓慢又混乱，且往往给出模糊的图像，伴随过多的“误报”。
新工具（ACC++）：ACC++ 不再拉保险丝，而是倾听工人之间的“低语”。它识别出承载做出决策所需关键信息的特定、低音量通道（称为信号）。

2. ACC++ 的工作原理：“信号侦探”

将模型的注意力机制（即它决定关注什么的部分）想象成一个广播电台。

旧方法：试图找到正在广播的整个无线电塔。
ACC++：它进行放大，精确定位确切的频率（特定信号）以及在该频率上发言的确切麦克风（工人）。
神奇之处：它在单次遍历中即时完成此操作。它剥离了噪音，留下一张清晰、简洁的地图，精确显示哪些工人相互交谈，以及他们说了什么。

3. 重大发现：“提示特定”的蓝图

最令人兴奋的发现是，模型并非对每个问题使用相同的蓝图。它会根据你提问的方式调整策略。

“名字游戏”类比（IOI 任务）：
研究人员用这个游戏测试模型：“当 [名字 A] 和 [名字 B] 去商店时，[名字 B] 把礼物给了 [名字 A]。”模型需要选出名字 A。

场景 A：“当玛丽和约翰去……"（玛丽排在第一位）。
场景 B：“当约翰和玛丽去……"（约翰排在第一位）。

研究发现，尽管任务相同，模型在这两种场景下使用的是完全不同的内部电路。

在一种情况下，模型使用“第二项”检测器。
在另一种情况下，它使用“结构模式”检测器。
结论：模型具有灵活性。它拥有一个包含不同策略的工具箱，并根据你提示的确切措辞选择正确的策略。

4. 多语言之谜：相同的工人，不同的语言

研究人员还用不同语言（英语、西班牙语、法语、葡萄牙语）测试了模型。

发现：模型在所有语言中解决该问题时使用的是同一组工人（相同的内部组件）。
转折：然而，这些工人相互传递的消息（信号）是特定于语言的。
类比：想象一个建筑工人在建造房屋。无论他们是在纽约还是巴黎施工，他们使用的是同一批工人。但在纽约，他们讲英语并传递英文蓝图；在巴黎，他们讲法语并传递法文蓝图。工作的结构是相同的，但沟通的语言发生了变化。
额外发现：论文发现，不同语言电路之间的“距离”与这些语言彼此之间的相似程度相匹配。西班牙语和葡萄牙语的电路看起来比英语和法语的电路更相似，正如语言本身一样。

5. 为何这很重要（根据论文）

清晰度：它将混乱、复杂的连接网络转化为清晰、可读的地图。
可解释性：该工具甚至可以将这些内部“低语”翻译成通俗易懂的英语。例如，它可以告诉你：“这个工人正在寻找列表中的第二项”，或者“这个工人正在识别专有名词”。
效率：与以前的方法相比，它能更快、更少“噪音”地找到这些答案。

总结

这篇论文为我们提供了一副新眼镜，让我们能够逐字地看清 AI 究竟是如何思考的。它揭示出 AI 不仅仅是一台静态机器；它是一个动态的问题解决者，会根据你提问的方式以及你使用的语言，重新调整其内部团队并改变其沟通风格。它证明了我们可以在无需拆解这些模型的情况下，理解其“机械原理”。

技术摘要：在语言模型中寻找可解释的提示特定电路

问题陈述

理解大型语言模型（LLM）的内部计算机制仍是机械可解释性领域的核心挑战。虽然先前的工作已确立模型通过“电路”运作——即组件向残差流写入和读取信息的因果路径——但现有的电路追踪方法面临显著局限。传统方法通常依赖激活修补、反事实输入或替换模型，这些方法计算成本高昂、需要多次前向传递，且可能引入噪声或伪影。此外，以往的电路追踪方法往往生成庞大且嘈杂的图，掩盖了用于通信的特定低维信号，使得难以针对每个提示推导模型行为的人类可理解解释。

方法论：ACC++

本文介绍了ACC++（注意力 - 因果通信++），这是一种改进的电路追踪方法，建立在注意力 - 因果通信（ACC）原则之上。ACC++ 旨在识别导致注意力头关注特定令牌对的具体信号（低维子空间的内容）。

核心机制

ACC++ 在单次前向传递中运行，无需替换模型、修补或反事实输入。该方法针对给定的关注目标 - 源令牌对 $(d, s)$ 的注意力头 $(\ell, a)$ ，按四个步骤进行：

分解：将目标残差流 $x_d$ 分解为上游组件（嵌入层、先前的注意力头、MLP）输出的总和。
候选信号构建：利用该头部的查询 - 键（QK）矩阵 $\Omega = W_Q W_K^\top$ $Ω = W_{Q} W_{K}^{⊤}$ 的奇异值分解（SVD），将上游组件的输出投影到奇异向量方向上。这生成了一组候选信号，其中每个信号对应特定上游组件写入特定奇异方向（即秩 -1 候选）。
- 技术进展：为了处理模型异质性（例如偏置项和旋转位置嵌入/RoPE），ACC++ 通过将偏置和 RoPE 旋转折叠到令牌表示中，将注意力计算统一为单一双线性形式 $\tilde{x}_d^\top \Omega \tilde{x}_s$ 。这使得无论架构如何，每个头部均可进行单次 SVD 分析。
归因与评分：使用积分梯度（IG）对每个候选信号对 Softmax 后注意力权重 $A_{ds}$ 的贡献进行评分。与先前使用 Softmax 前分数的线性代理的工作不同，ACC++ 明确评估信号移除对完整 Softmax 分布的非线性影响。
贪婪反事实搜索：从完整的候选集开始，算法贪婪地移除得分最高的信号，直到注意力权重 $A_{ds}$ 降至阈值 $\tau$ 以下。被移除的集合构成了该特定注意力决策的因果电路。

电路构建

针对某个提示的完整电路是通过递归应用 ACC++ 构建的：从对目标对数几率有直接影响的组件开始，该方法追踪上游注意力触发，识别每个触发的因果信号，直到没有更多上游组件为止。

主要贡献

1. 概念与技术进展

精确信号识别：ACC++ 将信号识别为上游组件与奇异向量方向的叉积，而非独立识别组件和通道。这产生了更低维、更精确的信号。
非线性注意力核算：通过在 Softmax 后注意力权重（而非线性代理）上直接定义反事实目标，ACC++ 避免了虚假组件，并识别出更小、更准确的电路。
统一的 QK 分析：该方法通过转换令牌来处理偏置和 RoPE，从而在不同模型架构（如 GPT-2、Pythia、Gemma）之间实现一致的基于 SVD 的分析。

2. 自动可解释性

作者证明，相当一部分 ACC++ 信号是可解释的。他们采用了一个自动化流程（改编自 [18]），该流程：

从数据集（The Pile）中检索每个信号的高激活上下文。
利用 LLM 生成该信号的简短自然语言描述。
使用“作为裁判的 LLM"协议验证描述，以区分信号与噪声。
结果显示，许多信号具有简短、连贯的自然语言描述（例如“平行对中的第二项”、“专有名词”、“结构分隔符”）。

3. 提示特定电路分析

ACC++ 支持针对每个提示进行电路分析，揭示模型行为并非静态，而是随提示结构和语言显著变化。

结果与洞察

1. 电路的紧凑性与质量

在三个模型（GPT-2 Small、Pythia-160M、Gemma-2 2B）和三个任务（间接宾语识别、大于比较、性别代词）中，ACC++ 电路比原始 ACC 方法生成的电路小 2 到 10 倍。

维度：大多数 ACC++ 信号是秩 -1 的（使用单个奇异方向），而先前的工作涉及更高维的信号。
因果有效性：消融实验证实，移除 ACC++ 信号会显著影响模型在目标任务上的表现，同时对残差流的扰动极小（余弦相似度 $\approx 0.99$ ），确认了其因果作用。

2. 对提示结构的敏感性（IOI 任务）

在间接宾语识别（IOI）任务中，论文发现电路对提示模板高度敏感：

GPT-2：电路严格按高层模板结构聚类（ABBA 与 BABA 名称顺序）。相同的“名称移动器”头部（9,9）根据模板使用根本不同的输入信号（例如“对中的第二项”与通用结构线索）。
Pythia：电路按低层措辞变化聚类（例如"While"与"Then"），表明其对表面措辞的敏感性，而不仅仅是结构顺序。
Gemma-2：显示出更复杂、更少依赖模板的聚类，表明其对更细粒度提示细节的依赖。

3. 多语言机制（mIOI 任务）

在多语言 IOI 设置（英语、西班牙语、法语、葡萄牙语）中：

组件复用：模型在不同语言间复用相同的注意力头和 MLP。
语言特定信号：虽然组件是共享的，但流经它们的信号通常是语言特定的。
语言相关性：不同语言电路之间的距离与这些语言之间的类型学距离（句法和遗传距离）高度相关。例如，西班牙语和葡萄牙语的电路彼此更相似，而与英语或法语的电路差异更大。

意义与主张

本文主张 ACC++ 提供了一种实用且可扩展的机械可解释性工具，无需依赖昂贵的反事实干预。其主要意义在于：

可扩展性：通过仅需单次前向传递，使大规模提示特定电路分析成为可能。
可解释性：在低维通信通道与人类可读的自然语言描述之间建立直接联系，弥合了数学机制与语义理解之间的差距。
细致理解：揭示模型“电路”并非单一整体，而是适应提示结构和语言的组件与信号的动态组合。这挑战了任务存在单一通用电路的观点，转而展示了提示特定机制的谱系。

作者指出了局限性，包括阈值 $\tau$ 的启发式性质、缺乏对 FFN 诱导信号的追踪，以及自动解释具有提示性而非结论性。他们强调，多语言发现基于少量语言对，应被视为更广泛趋势的指示，而非决定性证据。