💻 computer science

LLM Explainability with Counterfactual Chains and Causal Graphs

本文提出了一种利用因果图和受 MCMC 启发的反事实增强来对大语言模型内部推理进行建模的四阶段方法，从而生成关于模型如何感知和组织信息以产生预测的透明、概念层面的解释。

原作者： Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明但神秘的黑匣子（一个大语言模型或 LLM）。你给它讲一个故事，它给出一个答案。但你完全不知道它为什么会选择那个答案。这就像问一位厨师：“为什么这汤这么咸？”而他只是回答说：“因为就是这样，”却没告诉你是因为他加了盐、用了咸味高汤，还是仅仅忘了尝味道。

这篇论文提出了一种打开这个黑匣子的方法，不是通过观察内部过于复杂的微小齿轮（人类无法理解），而是通过使用一个简单的流程图来绘制出厨师的思考过程。

以下是他们是如何实现的，通过日常类比进行解释：

1. 目标：绘制“思维地图”

作者并不试图理解计算机内部数以百万计的微小数字，而是想找到模型使用的大概念（concepts）。

类比： 想象模型是一个正在侦破案件的侦探。“概念”就是线索（例如：“泥泞的鞋子”、“破碎的窗户”、“丢失的钥匙”）。这篇论文想要绘制一张地图，展示侦探如何连接这些线索来破案。
地图： 他们创建了一个因果图（Causal Graph）。这是一个用箭头表示因果关系的图表。例如：泥泞的鞋子 $\rightarrow$ 嫌疑人在室外 $\rightarrow$ 判定有罪。这张地图解释了模型如何组织信息来做出决策。

2. 问题：“稀疏图书馆”

为了绘制准确的地图，你需要观察侦探查看每一种可能的线索组合。但在现实世界中，你只有少量的案卷。你可能有 100 个故事，但它们碰巧都带有“泥泞的鞋子”。你从未见过一个既有“泥泞的鞋子”但又没有“破碎窗户”的案例。

问题： 如果你只观察现有的这少量故事，你的地图将会是不完整且摇摆不定的。你可能会认为“泥泞的鞋子”总是会导致“有罪”，但实际上，这取决于你尚未看到的其他线索。

3. 解决方案：“如果……会怎样”机器 (MCMC)

这是该论文最大的创新点。既然他们无法等待现实生活中的案例发生，他们就利用 AI 本身来想象新的案例。

类比： 想象一台“如果……会怎样”机器。你告诉 AI：“拿这个关于雨天的故事，但如果当时没下雨会怎样？保持其他一切不变。”
过程：
1. AI 获取一个真实的故事。
2. 它问道：“如果我把‘柔软度’的概念从‘黏糊’改为‘坚实’会怎样？”
3. 它重写故事以符合这一变化（例如：“今天我吃了一个坚实的木瓜”而不是“黏糊的”）。
4. 它检查：“我是否成功改变了‘柔软度’的概念，而没有意外改变‘颜色’或‘气味’？”
5. 如果成功，它保留这个新故事。如果失败，它再次尝试。
结果： 他们创造了数千个这样的“如果……会怎样”故事。这填补了他们图书馆中的空白，让他们能够全面观察模型对每种可能的线索组合是如何反应的。

4. 发现：绘制最终地图

一旦他们拥有了这个庞大的真实及“如果……会怎样”故事库，他们就会使用一种特殊的数学工具（称为 $\sigma$ -CG）来绘制最终的地图。

结果： 地图展示了模型在意哪些概念以及这些概念如何连接。
- 例子： 在一项医疗诊断任务中，地图可能会显示“发烧”和“疲劳”都指向“流感”，但仅凭“发烧”本身并不指向流感。
- 惊喜： 他们发现不同的 AI 模型（如 Gemini 与 Qwen）使用不同的地图。一个模型可能高度依赖“语气”，而另一个可能依赖“具体细节”，即便它们给出了相同的答案。

5. 是否奏效？（证明）

由于不存在可以用来对比的“正确”地图（因为我们无法读取 AI 的大脑），他们通过两种方式测试了这些地图：

预测能力： 如果你将地图的“父级”线索交给一个简单的计算器，它能否比随机猜测更好地预测 AI 的答案？是的，地图表现得非常好。
稳定性： 如果他们让“如果……会怎样”机器再运行几次，地图会发生变化吗？没有，地图保持不变，证明它是稳固的，而不仅仅是一个巧合。

总结

这篇论文通过以下方式引入了一种使 AI 可解释的方法：

询问 AI 它使用了哪些“大概念”。
利用 AI 想象数千个“如果……会怎样”的情景来填补空白。
绘制这些想法的因果关系图。

这为人类提供了一个清晰、高层级的视角，去理解 AI 是如何思考的，而不仅仅是看到最终答案。这就像是从厨师那里得到了一张食谱卡，而不仅仅是品尝那碗汤。

技术摘要：基于反事实链与因果图的大语言模型（LLM）可解释性

问题陈述

大语言模型（LLM）展现出广泛的能力，但其推理机制仍是不透明的。决策因素是不可观测的，且生成的解释往往缺乏忠实度（faithfulness），这在医疗和法律等高风险领域构成了风险。虽然现有的解释性方法（如注意力分析、特征归因）提供了相关性见解，但它们无法提供实现忠实解释所需的因果证据。此外，机械解释性（mechanistic interpretability）侧重于底层组件（神经元、电路），这些组件往往与利益相关者需要理解的高层概念不匹配。

目前的 LLM 因果研究通常建模现实世界结构（例如，改变作者的性别如何影响预测）或假设一个固定的因果图（概念 $\to$ 文本 $\to$ 预测）。目前存在一个关键的方法论空白，即如何恢复 LLM 推理因果图本身：即一个映射模型如何组织人类可解释概念，从而将输入文本简化为预测的结构（文本 $\to$ 概念 $\to$ 预测）。该恢复过程的一个主要瓶颈是数据覆盖率；可靠的因果发现需要对概念组合进行密集采样，而这在现实世界环境中通常是不可能或不符合伦理的。

方法论

作者提出了一个完全自动化、由模型驱动的四阶段流水线，用于构建分类任务的概念级因果图。该方法利用目标 LLM 本身来提取概念、表示数据并生成用于稳健因果发现的反事实样本。

1. 标签预测

数据集中的地面真值（ground-truth）标签被替换为目标 LLM 自身的预测值 ( $\hat{y}$ )。这确保了生成的图反映的是模型的内部推理逻辑，而非数据集的真实情况。

2. 判别式概念发现与标注

该框架迭代地识别出一组能够区分不同预测类别的、人类可解释的概念 ( $C$ )。

提取： LLM 根据文本批次和预测标签提出候选概念。
过滤： 只有当概念既具有相关性（存在于文本中）又具有判别性（与严格的子集类别对齐，而非针对所有或不针对任何类别）时，才会被保留。
标注： 每段输入文本被映射到一个概念向量 $\phi(x)$ ，其中每个概念 $c_i$ 被分配一个类别值，代表模型感知到的该概念所支持的类别子集。

3. 受 MCMC 启发的数据扩增

为了解决潜在概念空间中观测数据稀疏的问题，作者引入了一种受马尔可夫链蒙特卡洛（MCMC）启发的反事实增强程序。

过程： 从原始文本开始，算法迭代地提出文本扰动，以使特定概念的对齐方向向目标类别偏移或远离目标类别。
接受标准： 只有当提议的反事实实现了预期的概念偏移（目标对齐）并最小化了对非目标概念的无意改变（最小副作用）时，该反事实才会被接受。
精炼： 失败的提议会经历递归精炼，即通过提示 LLM 来纠正特定的违规情况。
结果： 这生成了一个更密集的数据集 ( $D_{mcmc}$ )，覆盖了多样化的概念状态组合，从而实现了稳定的因果发现。

4. 通过 $\sigma$ -CG 进行因果发现

扩增后的标注数据集被输入到 $\sigma$ -CG 算法中，这是一种能够处理离散变量和潜在循环结构的因果发现方法。生成的有向图 $G$ 捕捉了从输入文本经过 LLM 感知的概念到最终预测的因果流，并设有约束以确保文本是根节点，预测是汇节点。

核心贡献

面向全局可解释性的因果范式： 本文引入了一个框架，将 LLM 的推理映射为人类可解释概念上的因果图，超越了局部的、以输入为中心的解释，转向对推理机制的全局描述。
受 MCMC 启发的数据扩增： 一种新型算法，通过生成反事实样本来密集填充潜在概念空间，克服了黑盒模型因果发现中固有的数据覆盖瓶颈。
评估协议： 在缺乏地面真值推理图的情况下，建立了一套严谨的协议来评估结构稳定性与预测忠实度，证明了被发现的因果父节点在预测节点方面优于其他概念子集。

结果

该框架在三个任务（合成疾病诊断、IMDB 情感分析、Reddit LLM-as-a-Judge）上对三个 LLM（Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B）进行了评估。

预测忠实度： 在所有设置中，因果图的父集在预测最终标签和中间概念状态方面均优于随机概念子集。在大多数情况下，基于图的父节点位列前三名预测者，证实了所发现的结构捕捉到了有意义的依赖关系。
模型特定推理： 在合成任务上，不同的模型收敛于相似的解释性概念（恢复了地面真值变量）。然而，在自然数据上，模型开发出了截然不同的潜在启发式方法和因果拓扑结构，这表明模型选择不仅需要理解性能，还需要理解推理对齐。
收敛性与稳定性： MCMC 扩增展示了分布收敛性，随着链条接近完美重叠的理论下界，KL 散度趋于稳定。通过观察连续图拓扑之间的汉明距离降至零，确认了结构的稳定性。
扩增的影响： 反事实扩增显著提高了相对于原始数据的预测准确性，证明了扩增阶段对于稳健因果发现的必要性。

意义与主张

本文将这项工作定位为 LLM “概念级可解释性”的基础。通过将推理过程建模为人类可解释概念上的因果图，作者认为这种表示形式为开发者和领域专家提供了一种更易获取且更具操作性的解释形式。

作者谦虚地声称，这项工作为新一代面向过程的可解释性方法奠定了基础。他们强调，其方法通过 MCMC 启发的扩增解决了潜在空间中的数据稀疏挑战，从而实现了此前难以获取的全局因果结构的恢复。该工作并不声称解决了所有的可解释性问题，而是建立了一个有效的流水线，用于发现模型如何组织概念以做出决策，从而区分出那些虽然表现相似但推理方式不同的模型。