CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles

CIRCUS 通过构建基于多种分析配置的归因图集成并提取严格共识，提出了一种无需重新训练且开销极小的不确定性量化框架，从而在大型语言模型中生成鲁棒、可信且可审计的机制电路。

要点

这篇论文介绍了一种名为 CIRCUS 的新方法，旨在解决人工智能（AI）模型“黑盒”解释中的一个核心难题：当我们试图理解 AI 是如何做决定时，不同的分析方式往往会得出完全不同的结论，我们该相信哪一个？

为了让你轻松理解，我们可以把 AI 模型想象成一个巨大的、复杂的交响乐团，而我们要找的是“谁在演奏这首曲子的主旋律”（即电路或关键路径）。

1. 以前的困境：像“盲人摸象”

在 CIRCUS 出现之前，研究人员（分析师）就像一群盲人摸象。

• 问题：每个人摸大象的方式不同（比如设定不同的“修剪阈值”或选择不同的“特征字典”）。
  • 分析师 A 说：“大象是柱子（腿）！”
  • 分析师 B 说：“大象是扇子（耳朵）！”
  • 分析师 C 说：“大象是绳子（尾巴）！”
• 后果：每次分析只能得到一张“一次性”的草图。如果你稍微改变一下分析参数，得到的“大象”就完全不同了。这导致解释非常脆弱，而且没有一种科学的方法来判断哪些是真正的大象结构，哪些只是分析时的“幻觉”或噪音。

2. CIRCUS 的解决方案：组建“专家陪审团”

CIRCUS 的核心思想是：不要只问一个人，要问一群人，然后找大家的“最大公约数”。

想象一下，你不是只找一个侦探去破案，而是找了一个由 25 位侦探组成的陪审团。

• 步骤一（多重视角）：这 25 位侦探用稍微不同的方法（不同的参数设置）去检查同一个案件（AI 模型的一次运行）。
• 步骤二（打分稳定性）：
  • 如果侦探 A、B、C……直到 Z 都指认“这根柱子”是关键的，那么这根柱子的稳定性得分就是 100%（25/25）。
  • 如果只有侦探 A 说“那是关键”，其他人没看到，那它的得分就很低。
• 步骤三（达成共识）：
  • 核心电路（Strict Consensus）：只保留那些所有侦探都同意的部分。这部分虽然很小，但极其可靠，是真正的“主旋律”。
  • 备选方案（Contingent）：那些大部分侦探同意，或者虽然只有部分人同意但影响力很大的部分，作为“备选解释”展示出来。
  • 噪音（Noise）：那些只有个别侦探看到，且没什么影响力的部分，直接标记为“噪音”并剔除。

3. 这个方法有多厉害？（用数据说话）

论文在 Gemma-2-2B 和 Llama-3.2-1B 这两个 AI 模型上进行了测试，结果非常惊人：

• 极度精简：如果把所有侦探看到的所有线索加起来（并集），会有 25,000 多条边（线索）。但 CIRCUS 找出的“核心共识”只有 625 条边。

  • 比喻：就像从 25,000 页的杂乱笔记中，提炼出了最核心的 625 个关键句子。
  • 效果：虽然只保留了 1/40 的线索，但它解释了 AI 决策中 78% 的影响力。相比之下，如果强行从 25,000 条里只挑 625 条最重要的（传统的做法），只能解释 73%。
  • 结论：CIRCUS 找到的“核心”不仅更小，而且更精准、更可靠。

• 因果验证（Activation Patching）：

  • 为了证明这些“核心线索”真的有用，研究人员做了一个实验：把 AI 大脑中这些“共识节点”关掉，再重新激活它们。
  • 结果：当激活这些共识节点时，AI 恢复正确回答的能力显著增强（统计显著性 p=0.0004）。这证明了 CIRCUS 找到的不是巧合，而是真正起作用的“电路”。

4. 为什么这很重要？

• 不再“碰运气”：以前，分析师可能因为选错了参数，得出一个完全错误的结论。现在，CIRCUS 明确告诉你：“这部分结构在所有参数下都成立（核心），这部分有争议（备选），这部分是噪音（忽略）。”
• 零成本：这个方法不需要重新训练 AI 模型，也不需要额外的计算资源。它只是对已经算好的结果进行了一次“投票统计”。
• 可审计：对于需要高度信任的 AI 应用（如医疗、金融），CIRCUS 提供了一份可审计的、去除了不确定性的“核心解释报告”。

总结

CIRCUS 就像是一个“去噪过滤器”和“共识凝聚器”。

它告诉我们：在理解 AI 时，不要纠结于某一次分析得出的单一结论。通过让多种分析视角“投票”，我们可以剥离掉那些随参数变化的“噪音”，提炼出那个无论你怎么看都坚不可摧的“核心真相”。这让 AI 的解释从“盲人摸象”变成了“众口一词”。

技术摘要

CIRCUS 论文技术总结

论文标题：CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles（基于稳定性集成实现不确定性的电路共识）
作者：Swapnil Parekh (Intuit)
核心领域：机械可解释性（Mechanistic Interpretability）、不确定性量化、电路发现

---

1. 研究背景与问题定义 (Problem)

在机械可解释性领域，电路发现（Circuit Discovery） 旨在识别模型计算图中支持特定行为因果关系的稀疏子图。然而，现有的电路发现流程存在显著的脆弱性和不确定性：

• 分析师选择敏感：最终生成的电路高度依赖于人为设定的剪枝阈值（pruning thresholds）和特征字典（feature dictionaries，如不同的 transcoder 检查点）。
• “一次性”解释的缺陷：传统的“单次运行”方法通常产生一个单一的图，缺乏对结果不确定性的量化。不同的参数选择会导致完全不同的边和解释，且没有原则性的方法将稳定的结构与人为产生的伪影（artifacts） 区分开来。
• 缺乏不确定性感知：目前的框架无法告诉用户哪些电路部分是可信的（稳定的），哪些是依赖于特定参数选择的（偶然的）。

核心问题：如何利用这些由分析师选择引起的变异性，来识别哪些电路结构是真正稳定的，哪些是伪影？

---

2. 方法论 (Methodology)

作者提出了 CIRCUS（Circuit Consensus under Uncertainty via Stability Ensembles），将电路发现重新定义为不确定性量化问题。该方法不重新训练模型，而是基于单次原始归因运行，通过配置集成（Config-bagging） 来构建稳定性集成。

2.1 核心流程

1. 配置采样（Config-bagging）：
   • 在单次原始归因运行（Raw attribution run）的基础上，应用 $B$ 种不同的剪枝配置（例如不同的节点/边累积影响阈值）。
   • 生成 $B$ 个视图（Views），每个视图是一个剪枝后的归因图。
2. 稳定性评分（Stability Score）：
   • 对于图中的每条边 $e$，计算其稳定性分数 $s(e)$，定义为该边在 $B$ 个视图中被保留的比例：
     $$s(e) = \frac{1}{B} \sum_{b=1}^{B} \mathbb{I}[e \in E^{(b)}]$$
   • $s(e) = 1$ 表示该边在所有配置下均存在（严格共识）。
3. 共识提取（Consensus Extraction）：
   • 严格共识电路 ($C_{\tau=1}$)：仅包含 $s(e)=1$ 的边。这是阈值鲁棒的“核心”电路。
   • 探索性电路：可以设定 $\tau < 1$（如 2/3）以包含更多边缘情况。
   • 不确定性分解：
     • 核心 (Core)：$s(e)=1$，稳定且可信。
     • 偶然 (Contingent)：中等稳定性但高边际影响，代表替代路径。
     • 噪声 (Noise)：低稳定性且低影响，可被拒绝。
4. 增强（Boosting）：
   • 如果核心共识电路的解释力（Influence Retained, IR）不足，构建残差图（将核心边置零），提取剩余的高影响边作为 $C_2$。
   • 最终电路为 $C_1 \cup C_2$，提供核心与覆盖率的平衡。

2.2 关键指标

• 保留影响 (Influence Retained, IR)：子图保留的总输出影响比例，用于衡量解释力。
• 一致性检查：
  • Sanity Check：共识电路的 IR 应至少等于最差单配置图的 IR。
  • Pareto 紧凑性：共识电路在保留大部分 IR 的同时，边数远少于单配置图。

---

3. 主要贡献 (Key Contributions)

1. 方法论创新：
   • 提出了基于配置集成的电路发现管道，将电路发现从“点估计”转变为“不确定性量化”。
   • 定义了基于频率的稳定性分数，无需重新训练模型，仅聚合已有剪枝图的结构。
   • 建立了核心/偶然/噪声的电路分类学，使不一致性变得可操作（Actionable）。
2. 实证结果：
   • 在 Gemma-2-2B 和 Llama-3.2-1B 模型上验证。
   • 规模缩减：严格共识电路的大小约为所有配置并集（Union）的 1/40（即缩小了约 40 倍），同时保留了相当的解释力。
   • 性能超越：在相同的边数预算下，共识电路的表现优于“先取并集再剪枝”的基线。
3. 因果验证：
   • 通过激活修补（Activation Patching） 实验验证，共识识别的节点在因果干预中显著优于匹配的非共识控制组（$p = 0.0004$），证明了其因果相关性。
4. 实用性与效率：
   • 无需重新训练模型，计算开销极低（毫秒级），可直接应用于现有的归因流水线。

---

4. 实验结果 (Results)

• 规模与效率：
  • 在 $B=3$ 的配置下，并集包含 25,478 条边，而严格共识（$\tau=1$）仅包含 625 条边（缩小约 40 倍）。
  • 共识电路的 IR 为 0.78，而同等边数预算的并集剪枝基线 IR 仅为 0.73。
  • 在 20 个不同提示（Prompts）的测试中，共识电路在所有情况下均通过了“合理性检查”（Sanity Check）。
• 稳定性与影响力的关系：
  • 高稳定性边（出现在所有配置中）的平均影响力比低稳定性边高出约 70 倍。
  • 随着阈值 $\tau$ 增加，电路规模急剧下降，但 IR 在严格共识点之前保持相对稳定。
• 因果验证（Activation Patching）：
  • 在 20 个提示中，共识节点在修补实验中恢复预测的能力显著高于随机节点和匹配的非共识节点。
  • 配对检验显示 $p = 0.0004$，强有力地支持了共识结构具有因果重要性。
• 增强（Boosting）效果：
  • 核心电路 ($C_1$) 提供了紧凑的解释（625 边，IR 0.78）。
  • 加入残差电路 ($C_2$) 后，总 IR 提升至 0.96，但边数增加。提供了“紧凑版”和“后剪枝版”作为权衡选择。

---

5. 意义与局限性 (Significance & Limitations)

意义

• 可信赖的归因：CIRCUS 提供了一种原则性的方法来区分“稳定结构”和“参数敏感伪影”，使机械解释更加可信和可审计。
• 决策支持：通过显式地表征不确定性（核心 vs. 偶然），帮助分析师在报告电路时做出更明智的决策，避免过度解读偶然出现的边。
• 通用性：该方法适用于任何产生剪枝图的归因流水线，不依赖于特定的模型架构或训练过程。

局限性

• 忠实度（Faithfulness）：目前主要使用“保留影响”作为内部代理指标，并使用激活修补进行因果验证。基于替换模型掩码（Replacement-model masking）的完全忠实度验证尚未实现。
• 增强电路规模：虽然核心电路很紧凑，但包含残差的完整电路（$C_1 \cup C_2$）可能仍然很大，需要额外的剪枝策略。
• 未来工作：包括在多提示下的稳定性置信区间、多 Transcoder 检查点的集成（Multi-CLT alignment）以及更复杂的干预验证。

总结

CIRCUS 通过引入稳定性集成概念，解决了机械可解释性中因分析师主观选择（如阈值）导致的电路发现不稳定性问题。它不仅能生成更紧凑、更鲁棒的核心电路，还能量化不确定性，区分可信结构与噪声，为构建可审计、可信赖的 AI 解释系统提供了实用的框架。