🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

本文介绍了“查询电路”（query circuits），这是一种追踪语言模型内特定输入信息流的方法，旨在为单个输出提供忠实、稀疏且计算可及的解释，并通过一种名为归一化偏差忠实度（Normalized Deviation Faithfulness, NDF）的新指标进行了验证，并在多个基准测试中得到了展示。

原作者： Tung-Yu Wu, Fazl Barez

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tung-Yu Wu, Fazl Barez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将大型语言模型（LLM）想象成一座繁忙的大型城市，拥有数百万条道路、交叉路口和红绿灯。当你向模型提问（即“提示词”）时，就像是派遣一辆送货卡车穿过这座城市去投递一个答案。

长期以来，研究人员一直试图理解这座城市是如何运作的，通过绘制通用交通模式。他们知道，例如，“路线 A”总是在城市需要寻找隐藏物体时被使用，或者“路线 B”用于解决数学问题。这些被称为能力电路（capability circuits）。

然而，了解通用路线并不能解释为什么今天的卡车会为了你特定的任务而选择特定的路径。也许是因为某个施工区、一次突发的绕行，或者是一个仅对这次行程有意义的独特红绿灯。

这篇论文介绍了一种观察这座城市的新方法：查询电路（Query Circuits）。研究者不再关注通用的地图，而是想要追踪对于你提出的特定问题，卡车所走的精确且微小的路径。

以下是利用简单类比对他们发现的解析：

1. 问题所在：“代理”地图是错误的

此前，为了理解一次特定的行程，研究人员尝试构建一个微型的、简化的城市模型（即“代理模型”）并追踪路径。

类比： 想象一下，你试图通过用乐高积木搭建一个纽约市的玩具模型，来理解一场复杂的交通拥堵。你在乐高模型上追踪路径，希望它能匹配真实的城市。
问题： 论文指出，这些乐高模型往往无法完美匹配真实的城市。它们会丢失细节，而且构建过程既缓慢又昂expensive（昂贵）。作者们想要直接在真实的城市（实际的模型）中追踪路径，而不需要一个玩具版本。

2. 解决方案：“Best-of-N”彩票

作者发现，寻找针对一个特定问题的精确路径出人意料地困难。如果你只观察一个问题的交通灯，数据往往是“多噪”的（就像收音机里的静电噪音），导致很难看清真实的路径。

类比： 想象你正在试图寻找一张中奖彩票，但彩票上的数字有些模糊。如果你仅凭一张彩票就试图选出中奖号码，你可能会选错。
解决方法： 作者提出了一种称为 Best-of-N (BoN) 的方法。
1. 拿出你的原始问题。
2. 用 9 种不同的方式（改写）向模型询问同一个问题。这就像是问“天空是什么颜色的？”对比“描述一下晴天时天空的颜色”。
3. 追踪这 10 个版本的路径。
4. 挑选赢家： 选择那个效果最好的路径。
结果： 尽管原始问题是“模糊”的，但其中一个改写后的版本足够清晰，足以揭示真实的、隐藏的路径。通过检查多个版本，他们找到了这张“中奖彩票”，从而准确地解释了模型是如何回答问题的。

3. 新的计分卡：NDF

为了知道是否找到了正确的路径，他们需要一种衡量成功的方法。旧的计分卡（称为 NFS）在处理复杂问题时是失效的；它会给出像“200%”或“-50%”这样的分数，这毫无意义。

类比： 这就像一个速度计，当你实际以每小时 60 英里行驶时，它有时会显示你正以每小时 100 英里的速度倒车，或者以每小时 500 英里的速度前进。
解决方法： 他们发明了一种新的评分指标，称为 NDF（归一化偏差忠实度，Normalized Deviation Faithfulness）。这是一个可靠的速度计，数值始终保持在 0 到 1 之间。
- 1.0 意味着他们找到的路径是完美的（它完全解释了模型的答案）。
- 0.0 意味着该路径毫无用处。
- 这个新的计分卡使他们能够信任自己的发现，即使是在医学考试或天文学等困难主题上。

4. 大惊喜：城市大部分是空的

最令人兴奋的发现是，对于任何单个问题，模型并不会使用整座城市。它只使用一个微小的、特定的街区。

类比： 你可能认为送货卡车需要使用城市中 50% 的道路才能从 A 点到达 B 点。但作者发现，对于一个特定的问题，卡车仅使用了大约 1.3% 的道路。
证据： 他们展示了如果封锁 98.7% 的城市，只允许卡车使用这 1.3% 的微小路径，它仍然能在 60% 的时间内正确回答问题。这证明了模型的“大脑”在处理单个任务时是极其稀疏且高效的。

总结

这篇论文介绍了一种新工具，用于解释 AI 究竟如何回答一个特定的问题。

他们不再使用“玩具模型”，而是直接观察真实的 AI 内部。
他们意识到，通过以不同的方式询问同一个问题，有助于揭示 AI 思维方式中隐藏的“真相”。
他们创造了一种更好的方式来衡量他们的解释是否正确。
他们证明了对于任何单个问题，AI 只使用其庞大大脑中极小且特定的部分来完成工作。

这让我们从了解“AI 泛泛而言是如何做数学题的”，转向理解“AI 是如何解决这个数学问题的”。

技术摘要：查询电路：解释语言模型如何回答用户提示词

1. 问题定义

目前的机械解释性（mechanistic interpretability）研究主要集中在能力电路发现（capability circuit discovery），即识别负责特定算法技能（例如间接宾语识别或大于比较）的全局子网络，这些技能跨越整个数据集。虽然这种方法很有价值，但它无法解释为什么大型语言模型（LLM）会对单个、特定的用户输入查询产生特定的输出（即实例级解释）。

现有的实例级电路方法严重依赖于代理模型（surrogate models），例如稀疏自编码器（SAE）或跨层转码器（CLT）。这些代理模型通常被用来近似 LLM 的行为，因为它们提供的稀疏激活使得电路发现变得更容易。然而，本文指出，这些代理模型经常无法忠实地重建原始模型的激活，也可能无法捕捉到 LLM 真实的计算机制。此外，训练这些代理模型的计算成本非常高，限制了它们的可访问性。

本文引入了**查询电路发现（Query Circuit Discovery）**的任务：在原始 LLM 内部直接（原地/in-place）识别出一个稀疏且忠实的子网络，该子网络驱动了模型对单个输入查询的响应。这种方法旨在提供局部、输入级的解释，而不依赖于可能不忠实的代理模型。

2. 方法论

作者提出了一个框架来解决查询电路发现中的两个主要技术挑战：现有评估指标的不稳定性以及标准发现方法在处理单条查询时的低效性。

2.1. 评估指标：归一化偏差忠实度（Normalized Deviation Faithfulness, NDF）

标准的电路发现指标——归一化忠实度得分（Normalized Faithfulness Score, NFS）——在通用数据集（如 MMLU）上表现出不稳定性。NFS 值经常剧烈波动，可能超过 1 或低于 0，导致无法可靠地追踪发现进度或比较电路质量。

为了解决这个问题，作者引入了归一化偏差忠实度（NDF）：
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
其中：

$M$ 是目标 LLM。
$C_q$ 是发现的查询电路。
$q$ 是原始查询， $q'$ 是损坏的查询（例如，移除了关键的事实线索）。
$L(\cdot)$ 是性能指标（例如，logit 差异）。

NDF 的关键特性：

有界性： 它严格限制在 $[0, 1]$ 范围内。
对称性： 它对高于和低于模型性能的偏差进行同等惩罚。
可解释性： 得分为 1 表示电路完美恢复了模型的性能；得分为 0 表示偏差与原始查询与损坏查询之间的差距一样大。

2.2. 发现方法：Best-of-N (BoN) 采样

标准的边评分方法（如边缘归因修补，Edge Attribution Patching, EAP）由于梯度噪声和忽略了边之间的组合效应，往往无法为单个查询找到紧凑且忠实的电路。作者观察到，虽然在特定查询上发现的电路可能会失败，但在该查询的**改写版本（paraphrases）**上发现的电路往往会成功。

基于此，他们提出了 Best-of-N (BoN) 采样：

改写： 生成原始查询 $q$ 的 $p$ 个改写版本。
评分： 计算原始查询和所有改写版本的边重要性得分（使用 EAP-IG），从而得到 $p+1$ 个边评分矩阵。
选择： 构建 $p+1$ 个候选电路（每个评分矩阵对应一个），并选择 NDF 得分最高的那个。

为了提高效率并避免在每个边预算下都运行 $p+1$ 次 LLM，作者提出了两种变体：

插值 BoN (iBoN)： 在两个先前发现的不同规模的忠实电路之间进行插值，以形成一个新的电路，而无需额外的向前传播。
带有约束自适应评分矩阵的 BoN (BoN-CSM)： 将所有先前发现的电路的评分矩阵聚合为一个统一的评分矩阵和层级矩阵，从而能够高效地构建不同规模的新电路。

3. 核心贡献

任务形式化： 本文正式定义了查询电路发现，将其与全局能力电路发现及基于代理模型的实例级方法区分开来。它强调了直接在原始模型内追踪信息流。
鲁棒评估 (NDF)： 作者识别了 NFS 在通用数据集上的不稳定性，并提出了更可靠、有界且对称的 NDF 指标，用于评估查询电路。
高效发现 (BoN)： 他们引入了 Best-of-N 采样及其变体（iBoN, BoN-CSM），以克服梯度噪声和组合效应的限制，从而能够为复杂的自然语言查询发现紧凑且忠实的电路。
实证验证： 本文证明了 LLM 内部存在稀疏的查询电路，这些电路可以恢复针对单个查询的模型性能的大部分，即使是对于像 MMLU 和 ARC Challenge 这样的复杂任务也是如此。

4. 实验结果

作者在多个基准测试中评估了他们的方法，包括间接宾语识别 (IOI)、算术任务、ARC Challenge 以及九类 MMLU。

性能： BoN 采样在性能上始终优于基准方法（单查询评分和在改写版本上平均评分）。
稀疏性： 在 MMLU 上，一个仅包含模型总边数 1.3%（在 Llama-3.2-1B-Instruct 中约为 5,000 条边）的查询电路实现了 0.6 的平均 NDF，恢复了该查询下模型约 60% 的行为。相比之下，标准的 EAP-IG 需要显著更多的边（高达 51.7% 的模型边数）才能达到类似的性能水平。
共享子电路： 分析显示，虽然查询电路会根据改写方式而变化，但它们共享一组核心边（一个“共享子电路”），这对应于底层的能力，从而支持了这样一个假设：这些电路并非随机的“彩票中奖（lottery tickets）”，而是共同机制的不同变体。
可操作性： 在涉及性别偏见的实验中，具有更高 NDF 得分的电路被发现更具可操作性。将高 NDF 电路识别出的特征置零，比使用低 NDF 电路能显著更有效地减少偏见，这表明 NDF 是衡量电路捕捉有意义计算能力的可靠指标。

5. 重要性与主张

本文声称，查询电路发现代表了向忠实且可扩展的解释迈出的重要一步，即解释语言模型如何处理单个输入。

忠实性： 通过直接在模型内（原地）操作而非依赖代理模型，其解释更加忠实于模型的实际计算机制。
可扩展性： 提出的 BoN 采样方法允许发现这些电路，而无需承担训练代理模型或进行过度向前传播的巨大计算成本。
实用性： 能够发现解释特定查询中大部分模型行为的稀疏子网络（例如 1.3% 的连接），这表明 LLM 通过高度局部化的路径处理单个输入，使其能够进行详细的机械分析。

作者总结道，尽管仍面临挑战（例如处理多 token 生成和实现完全自动化的可读标签化），但他们的工作为在提示词层面解释 LLM 的决策建立了一条切实可行的路径，这对于在医疗和自动驾驶系统等高风险领域部署 LLM 至关重要。