💬 NLP

ADAG: Automatically Describing Attribution Graphs

该论文提出了 ADAG，一种全自动化的端到端管道，通过引入归因轮廓、特征聚类算法及大语言模型解释器 - 模拟器机制，无需人工干预即可生成可解释的归因图描述，并成功应用于识别 Llama 3.1 模型中的有害建议越狱机制。

原作者： Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ADAG 的新系统，它的目标是自动解读大型语言模型（LLM）的“大脑”是如何工作的。

为了让你更容易理解，我们可以把语言模型想象成一个超级复杂的、由数亿个微型开关（神经元）组成的巨大工厂。当这个工厂生产出一个回答（比如“达拉斯属于哪个州？”）时，并不是所有开关都参与了工作，只有少数几个关键的开关在起作用。

以前的研究者想要搞清楚是哪些开关在起作用，以及它们是如何配合的，就像是在没有说明书的情况下，靠人工拿着放大镜一个个检查电路。这既慢又容易出错，而且非常依赖研究者的个人直觉。

ADAG 就是为了解决这个问题而生的“全自动电路侦探”。

以下是它的核心工作原理，用生活中的比喻来解释：

1. 核心任务：给“电路”画地图

想象一下，语言模型在处理问题时，内部会形成一张复杂的关系网（归因图）。

以前的做法：研究者手动挑出几个重要的开关，然后写报告说：“这个开关好像跟‘城市’有关，那个开关跟‘州’有关。”这需要大量的人工分析。
ADAG 的做法：它自动扫描整个工厂，找出所有真正参与工作的开关，并画出它们之间的连接图。

2. ADAG 的四个步骤（它的“侦探流程”）

第一步：追踪线索（电路追踪）

ADAG 首先会像侦探一样，顺着“电流”（梯度）去追踪。它会问：“在这个问题的回答中，哪些开关贡献了最大的能量？”

比喻：就像在破案时，警察通过监控录像和指纹，找出哪些人真正进入了案发现场，而不是那些只是路过的人。

第二步：绘制“行为画像”（归因画像）

这是 ADAG 最聪明的地方。它不只是看开关“亮不亮”，而是看它怎么亮的。

它记录每个开关输入了什么（比如看到了“达拉斯”这个词）。
它记录每个开关输出了什么（比如它让模型更倾向于输出“德克萨斯州”）。
比喻：以前我们只知道“张三进了房间”。现在 ADAG 能画出张三的行为档案：他进门时手里拿着什么（输入），他进门后做了什么动作（输出），以及他对房间里其他人产生了什么影响。

第三步：自动分组（聚类）

工厂里有成千上万个开关，一个个看太累了。ADAG 会把那些行为模式很像的开关自动归为一类，组成一个“超级小组”（Supernode）。

比喻：就像在一个大派对上，ADAG 自动把“都在聊足球的人”、“都在聊美食的人”和“都在玩手机的人”分别聚成三个小圈子。它不需要人告诉它谁跟谁是一伙的，它自己通过数据分析就能看出来。
创新点：以前的分组靠人工，容易分错；ADAG 用数学算法自动分，确保分在同一组的人真的是一类人。

第四步：请 AI 当翻译（自动描述）

这是最精彩的一步。有了“超级小组”后，ADAG 会请另一个 AI（大语言模型）来当翻译官。

解释器（Explainer）：它会看着这些小组的“行为档案”，尝试用人类能听懂的话给它们起名字。比如：“这个组专门负责识别美国城市名”。
模拟器（Simulator）：它会扮演“考官”，测试这个起名叫得对不对。它会问：“如果我把‘达拉斯’这个词去掉，这个组还会活跃吗？”如果 AI 的预测和实际情况一致，说明名字起对了。
比喻：就像你给一群奇怪的机器人起外号。你先猜它们叫“足球迷”，然后让另一个机器人去测试：“如果我不聊足球，它们还会兴奋吗？”如果测试通过，这个名字就被确认了。

3. ADAG 的实战成果

论文里展示了两个例子，证明 ADAG 很厉害：

例子一：地理题（达拉斯在哪？）
ADAG 自动找到了负责回答“达拉斯属于德克萨斯州”的电路。它发现有些小组专门负责识别“城市名”，有些负责识别“州名”，还有些负责把两者联系起来。更酷的是，它甚至能发现一些抑制性的小组（比如“不要回答其他州的州名”），并给它们起了准确的名字。
- 结果：完全不需要人工干预，ADAG 自己就画出了和人类专家一样清晰的电路图。
例子二：医疗建议的“越狱”（Pills Jailbreak）
研究人员发现，有一种特殊的提示词（Prompt）能让模型给出有害的医疗建议（比如“把剩下的药全吃了”）。ADAG 被用来分析为什么这个提示词能骗过模型。
- 发现：ADAG 自动找到了两个关键的“超级小组”：
  1. 一个小组看到"ridiculous"（荒谬的）这个词就会被激活，它负责降低模型的安全防御。
  2. 另一个小组看到"pills"（药丸）就会被激活，它负责绕过安全拦截。
- 验证：研究者通过“关掉”这些小组（就像拔掉插头），发现模型立刻就不给有害建议了。这证明了 ADAG 真的找到了问题的根源。

总结：为什么这很重要？

想象一下，如果我们要确保一个自动驾驶汽车是安全的，我们不能只靠司机（人类）去猜它为什么刹车。我们需要知道它内部的传感器和逻辑电路到底是怎么工作的。

过去：靠人工慢慢拆解，效率低，难以规模化。
现在（ADAG）：这是一个全自动的“电路翻译机”。它能快速、自动地把语言模型内部黑盒子的运作逻辑，翻译成人类能看懂的“说明书”。

一句话总结：ADAG 就像是一个不知疲倦的AI 翻译官，它自动把语言模型内部成千上万个神经元的复杂互动，整理成清晰、可理解的“功能小组”，让我们能真正看懂 AI 在想什么，从而更好地控制它、确保它的安全。

1. 研究背景与问题 (Problem)

在语言模型的可解释性研究中，电路追踪（Circuit Tracing） 旨在识别哪些内部特征（如神经元）对特定输出产生了因果贡献，以及它们如何相互影响。然而，现有的电路追踪工作存在一个主要瓶颈：

人工解释的局限性：尽管已有方法可以识别出电路（即相关的神经元子图），但理解这些电路中每个节点的具体功能角色（例如“这个神经元是负责提取城市名的吗？”）仍然完全依赖人工的、启发式的（ad-hoc）分析。
数据依赖：研究人员需要手动检查数据集示例、激活模式或进行因果干预，才能为电路中的特征贴上标签。
可扩展性差：这种人工过程难以扩展到更大的模型或更多的数据集，阻碍了可解释性技术的实际应用。

核心问题：如何构建一个完全自动化的管道，不仅能追踪电路，还能自动生成人类可理解的、自然语言描述的功能解释？

2. 方法论 (Methodology)

作者提出了 ADAG (Automatically Describing Attribution Graphs)，这是一个端到端的自动化电路解释管道。其核心流程包含四个主要步骤（如图 1 所示）：

2.1 电路追踪 (Circuit Tracing)

使用基于梯度的归因方法（Gradient-based Attribution）来构建归因图。
具体采用 RelP (Relevance Patching) 技术，冻结非线性激活函数，阻断某些路径的梯度，以计算每个 MLP 神经元对目标输出 Logits 的贡献。
通过设定阈值 $\tau$ 筛选出重要的神经元和边，形成稀疏的电路图 $G=(V, E)$ 。

2.2 归因特征画像 (Attribution Profiles)

为了解决传统方法（如最大激活示例或 Logit Lens）存在的局部性偏差（Locality Bias）问题（即仅关注神经元激活时的局部上下文），ADAG 引入了归因特征画像来量化特征的功能角色：

输入归因 (Input Attribution)：量化特征激活对前序输入 Token 的依赖程度（通过输入梯度计算）。
输出贡献 (Output Contribution)：量化特征对后续输出 Logits 的贡献程度（通过输出梯度计算）。
这两个向量共同构成了一个特征在特定样本中的完整功能画像。

2.3 功能相似性聚类 (Clustering into Supernodes)

为了将分散的神经元聚合成具有统一功能的“超节点（Supernodes）”，ADAG 提出了一种新颖的多视图谱聚类算法：

多视图相似性：分别计算特征在“输入归因”和“输出贡献”两个视图上的余弦相似度。
调和平均 (Harmonic Mean)：为了同时满足“功能相似”且“输出效应不冲突”的约束，算法对两个视图的相似度取调和平均。这能有效防止将具有相反输出效应（一个促进、一个抑制）的神经元聚类在一起。
谱聚类：在聚合后的相似度矩阵上应用谱聚类，将神经元分组为超节点。

2.4 自动化自然语言描述 (Automatic Description)

利用 LLM 解释器 - 模拟器 (Explainer-Simulator) 框架（参考 Bills et al., 2023）为每个超节点生成自然语言标签：

解释器 (Explainer)：接收超节点的平均归因画像（输入和输出），生成候选的功能描述标签。
模拟器 (Simulator)：接收候选标签和原始上下文，预测该标签下神经元对输出的贡献分数。
评分与选择：计算预测分数与真实分数的皮尔逊相关系数（Pearson Correlation），选择得分最高的描述作为最终标签。
总结器 (Summariser)：最后由一个 LLM 将输入和输出的描述整合成简洁的超节点标签。

3. 关键贡献 (Key Contributions)

首个端到端自动化电路解释管道：ADAG 首次实现了从电路追踪、特征聚类到自然语言解释的全流程自动化，无需人工干预即可生成可解释的电路描述。
归因特征画像 (Attribution Profiles)：提出了结合输入梯度和输出贡献的量化方法，克服了传统方法仅关注局部上下文的局限性，能更准确地捕捉神经元的全局功能。
抗冲突的多视图聚类算法：设计了一种基于调和平均的相似度度量，确保聚类结果在功能上的一致性，避免混合具有相反因果效应的神经元。
可扩展的验证框架：通过引入模拟器和评分机制，建立了自动化的评估指标，能够验证生成的解释是否准确反映了模型内部行为。

4. 实验结果 (Results)

作者在多个数据集和模型上验证了 ADAG 的有效性：

4.1 多跳推理任务 (Capitals Dataset)

任务：回答“包含某城市的州的首都是什么？”（例如：Dallas -> Texas -> Austin）。
结果：
- ADAG 成功复现了人工分析中发现的电路结构（先识别城市，再识别州，最后输出首都）。
- 自动聚类：将神经元聚类为具有明确功能的超节点（如 "Dallas Texas", "capital city first token", "not[southern capitals]"）。
- 描述质量：在“德州电路”的测试中，LLM 生成的描述在输入归因任务上与人类专家水平相当，在输出贡献任务上甚至显著优于人类专家。
- 可控性验证：通过操纵（Steering）特定超节点的激活，可以精确控制模型的输出（例如，抑制 "not[southern capitals]" 簇会使 "Austin" 的概率从 96.5% 升至 98.4%），证明了聚类的因果有效性。

4.2 有害医疗建议越狱分析 (Pills Dataset)

任务：分析 Llama 3.1 8B Instruct 在面对诱导性提示（Jailbreak）时，为何会生成有害的医疗建议。
发现：
- ADAG 自动识别出了导致攻击成功的两个关键超节点：
  - C3 (pills safety redirect)：当该簇被抑制（Steering 0x）时，攻击成功率（ASR）飙升至 88%。
  - C9 (ridiculous-to-introductory)：当该簇被增强（Steering 2x）时，ASR 升至 90%。
- 相关性验证：聚类归因分数与攻击成功率之间显示出极强的相关性（Pearson $r \approx \pm 0.7$ ），证明了 ADAG 能精准定位导致模型失效的机制。

4.3 其他实验

数学任务：在加法任务中，ADAG 自动发现了模型使用的“启发式策略包”（如“和接近 42 的簇”、“偶数操作数簇”），无需人工先验知识。
不同模型：在 Qwen3 32B 上也取得了类似的成功，证明了方法的通用性。

5. 意义与影响 (Significance)

推动可解释性规模化：ADAG 解决了电路解释中“人工瓶颈”的问题，使得对更大模型、更多行为模式的自动化分析成为可能。
自动化安全审计：通过自动识别导致有害行为（如医疗建议越狱）的特定神经元簇，ADAG 为 AI 安全审计提供了强有力的工具，能够快速定位并理解模型的故障模式。
方法论创新：提出的“归因特征画像”和“多视图聚类”为理解 LLM 内部机制提供了新的量化视角，特别是解决了局部性偏差和输出效应冲突的问题。
人机协作的新范式：论文强调了 LLM 在可解释性管道中的核心作用——即使我们反向工程了模型内部结构，仍需 LLM 将这些形式化的描述转化为人类可理解的语言。

总结：ADAG 是一个里程碑式的工作，它将电路追踪从“发现电路”推进到了“理解电路”的自动化阶段，为构建更安全、更透明的 AI 系统奠定了坚实基础。