💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

本文介绍了“探针提示”（probe prompting），这是一种透明的基于规则的流水线，它通过跨提示激活特征（Cross-Prompt Activation Signatures）将归因图中的特征分组为概念对齐的超节点，成功验证了其在不同事实领域中的因果控制行为，且计算开销极低。

原作者： Giuseppe Birardi, Gonçalo Paulo

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giuseppe Birardi, Gonçalo Paulo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）视为一座繁忙、巨大的城市，数以百万计的工人（神经元）在其中传递笔记来回答一个问题。我们确切知道这些笔记是如何传递的（数学原理），但这座城市如此庞大，笔记也如此复杂，以至于人类无法通过观察地图来断言：“啊，这群特定的工人负责了‘德克萨斯州首府是奥斯汀’这个事实。”

本论文介绍了一种新的城市测绘方法，称为探针提示（Probe Prompting）。以下是其工作原理，使用简单的类比进行说明：

1. 问题：规模过大的城市难以阅读

此前，研究人员试图通过观察“归因图（attribution graphs）”来理解模型。你可以将它们想象成展示哪些工人影响了最终答案的蓝图。

问题所在： 即便是对于像“德克萨斯州的首府是什么？”这样简单的问题，蓝图也会有数千条线和节点。这就像是通过逐个查看每一个字母来阅读一部小说。追踪仅仅一条路径就需要数小时，而对数千个问题进行这样的操作是不可能的。
旧方法： 一些研究人员尝试让 AI 为这些工人贴标签（例如“这个关于‘德克萨斯州’”）。但通常，AI 只是根据该工人“通常”在做什么来进行猜测，而不是根据它在那个特定时刻“实际”做了什么。

2. 解决方案： “探针”侦探

作者创建了一个透明的、基于规则的系统，称为探针提示（Probe Prompting）。他们不是在猜测，而是把模型当作一个侦探游戏中的嫌疑人。

设置： 他们取一个特定的问题（例如，“德克萨斯州的首府是……”）并生成一组几乎完全相同但更换了细节的“探针”问题（例如，“佛罗里达州的首府是……”、“纽约州的首府是……”）。
测试： 他们观察特定工人（特征）对这些探针的反应。
- 类比： 想象你有一名建筑物的保安。为了了解他的行为，你不能只观察他一次。你会问他：“当一个叫‘约翰’的人进来时，你会做什么？”然后问：“那‘玛丽’呢？”接着问：“那‘鲍勃’呢？”
- 如果他只在“约翰”进来时做出反应，那么他就是一个**“约翰探测器”**。
- 如果他对任何名字都有反应，那么他就是一个**“姓名探测器”**。
- 如果他在听到“是”或“的”时做出反应，那么他就是一个**“语法助手”**。

3. 对工人的分组：“超节点（Supernodes）”

根据这些反应，系统将数千个独立的工人分组为超节点。

神奇之处： 与其观察 5,000 个独立的工人，系统会说：“好吧，这 50 个工人表现得都像‘德克萨斯州探测器’，所以让我们把他们看作一个大团队：德克萨斯团队。”
结果： 庞大且混乱的城市地图现在被压缩成了一个简单的、可读的图表，其中只有几个命名的团队（例如：德克萨斯团队、奥斯汀团队、“首府”团队）。

4. 证明：“交换”实验

我们如何知道这些标签是真实的，而不仅仅是幸运的猜测？作者进行了因果交换（Causal Swap）。

实验： 他们拿出一个关于达拉斯的问题（原本答案应该是奥斯汀），并尝试强迫模型回答明尼苏达（其答案应为圣保罗）。
方法： 他们“调低”了被标记为**“达拉斯团队”的工人的音量，并“调高”了被标记为“明尼苏达团队”**的工人的音量。
结果：
- 当他们使用探针提示标签时，模型成功将答案从达拉斯改为明尼苏达的概率约为 73%。
- 当他们使用随机对照组（忽略标签，随机挑选工人进行交换）时，模型几乎从未正确改变答案。
- 当他们使用影响力对照组（无论其具体功能如何，只挑选“声音最大”的工人）时，模型同样未能正确改变答案。

5. 用通俗语言总结核心发现

它有效： 该系统成功识别了哪些工人实际上控制着特定的事实。通过分组，他们让模型的“大脑”变得可读。
少即是多： 有时，试图控制句子的每一个部分（城市名称、州名和首府）反而会干扰模型。如果只调整与答案相关的特定部分（州名和首府），效果会更好。
它是透明的： 不同于某些被称为“黑盒”的 AI 方法，该系统使用清晰、人类可读的规则。如果研究人员想要检查工作，他们可以看到为什么一个工人会被归入某个特定的团队。

总结

本论文提出了一种工具，能将语言模型混乱、不可读的大脑地图转化为清晰、带标签的图表。它通过测试模型的各个部分对略微不同的问题的反应，将相似的部分进行分组，并通过在受控实验中成功交换答案，证明了这些分组确实控制着模型的行为。

本论文并未声称：

它并未声称适用于每种 AI 任务（如编写代码或进行对话）；它专门针对事实性问题（如首都、书籍作者和公司创始人）进行了测试。
它并未声称可以修复模型或使其变得更聪明；它只是帮助人类理解模型是如何运作的。
它并未声称适用于所有语言或所有模型规模；测试是在一个特定的英文模型（Gemma-2-2B）上进行的。

技术摘要：通过探针提示自动解释归因图

问题陈述
虽然大型语言模型（LLM）从输入到输出的计算路径在理论上是已知的，但这些计算的极高密度使其对人类而言是不透明的。现有的机械解释性方法（如稀疏自编码器 SAE 和跨层转码器 CLT）成功地将密集的模型激活分解为稀疏特征。然而，生成的归因图仍然过于庞大，难以进行人工分析；仅一个简短的事实性提示就能生成包含 600 到 5,000 个节点的图。目前的自动化解释技术通常依赖于 LLM 对语料库激活的评分，这类方法无法提供因果验证或电路级的交互洞察。目前迫切需要一种能够从个体案例研究扩展到大规模电路目录、且无需手动追踪的、与行为挂钩的自动化分组方法。

方法论：探针提示（Probe Prompting）
本文引入了探针提示，这是一种透明的、基于规则的流水线，旨在将复杂的归因图转换为一组紧凑的、与概念对齐的“超节点（supernodes）”。该方法通过四个截然不同的阶段进行：

归因图生成： 使用 Neuronpedia 和 CLT 字典，系统为种子提示（例如，“达拉斯所在的州的首府是”）生成归因图。
探针提示生成： 对于每个种子提示，LLM 会生成一组针对特定概念的探针提示。这些探针保持了种子的句法结构（介词、答案位置），但改变了内容实体。
跨提示激活签名（CPAS）： 系统测量探针集中的特征激活情况。它不依赖于单一提示的峰值（这具有歧义性），而是聚合了诸如峰值一致性、稀速性和相对于种子的余弦相似度等指标。这种聚合为每个特征形成了 CPAS。
基于规则的超节点形成： 一个确定性的决策树将 CPAS 指标映射到四种功能角色之一：
- 语义-字典（SEM-DICT）： 特征一致地在单个语义标记（如“德克萨斯州”）上达到峰值。
- 语义-概念（SEM-CONC）： 特征在相关的标记族（如艺术家姓名）上达到峰值。
- 关系（REL）： 具有弥散激活模式、编码关系而非实体的特征。
- 说-X（SAY-X）： 特征在相对于语义目标的可预测位置上的功能标记（如“是”、“the”）上达到峰值，从而促进输出。
  具有相同角色和名称的特征被合并为一个超节点。

因果验证协议
为了验证这些超节点的效用，作者采用了涉及实体交换实验的因果干预协议。对于源-目标对（例如，达拉斯 $\to$ 奥斯汀），系统会消融与源相关的特征并放大与目标相关的特征。成功的衡量标准是模型的预测是否转向了目标实体。

至关重要的是，本文引入了两个严格的基准，以确保结果不是特征数量或图影响力的产物：

匹配随机控制（Matched-Random Control）： 从概念对齐的超节点之外，选取具有相同数量和层分布的随机特征集。
影响力匹配 Top-K 控制（Influence-Matched Top-K Control）： 该基准通过选择前 $K$ 个特征，以匹配标记干预的累积影响力预算。

关键结果
该方法在四个事实领域（美国州首府、书籍角色、公司创始人和绘画艺术家）进行了评估，使用了带有公开 CLT 字典的 Gemma-2-2B 模型，总计进行了 44,596 次干预运行。

优于基准： 标记的超节点显著优于随机和影响力匹配的基准。在“美国”领域，标记方法实现了 72.8% 的命中率（Hit%）（成功重定向），而匹配随机控制为 0.7%，影响力匹配 Top-K 基准为 4.2%。
效率对比人工标注： 在将自动化流水线与针对“达拉斯/奥斯汀”提示的人工策展图进行的案例研究中，自动化方法达到了相当的成功率（40/49 个来源 vs. 人工的 38/49），但其使用的特征集更大（每次调用 96.5 个特征 vs. 4 个特征）。然而，自动化方法成功识别了人工策展在特定源州时遗漏的重定向路径，展示了非冗余性。
场加性（Field Additivity）： 研究发现“少即是多”。专注于中间场和答案场（例如州和首府）的干预比包含输入场（例如城市）的干预更有效，因为输入场往往编码的是模型读取的内容，而非其应当产生的内容。
转向强度： 研究发现最优放大倍数（ $M$ ）是双峰分布的（分别在 $M \approx 2.4$ 和 $M \approx 6.9$ 处达到峰值），这挑战了单特征转向中常用的 $M=20$ 的默认值。

意义与主张
本文声称，探针提示证明了通过透明的、基于规则的流水线可以实现电路级解释性的部分自动化。其主要贡献在于：

电路分组的自动化： 它提供了一种可扩展的方法，可以在无需人工干预的情况下，将数千个特征分组为概念对齐的超节点。
因果验证框架： 它建立了一个稳健的、与方法无关的框架，通过匹配随机和影响力匹配控制来评估分组质量，解决了“解释性得分可以通过随机初始化的模型获得”这一批评。
操作效用： 生成的标签不仅是描述性的，而且在操作上也是有用的，可用于执行实体交换，作为测试特征是否按其在计算图中的实际行为正确聚类的快速测试。

作者谦虚地指出，其主张目前涵盖了因果抽象的第 1 层和第 2 层（识别特征及其功能角色），但尚未声称达到第 3 层（完全的机械性潜在变量识别）。他们也承认了局限性，包括目前仅限于两跳事实召回、在生成图时冻结注意力（但在干预期间并未冻结），以及对英语功能标记词汇的依赖。这项工作被呈现为一个可重用的工具，用于根据因果干预来校准未来的分组方法。