🤖 machine learning

Local Causal Attribution of Chain-of-Thought Reasoning

本文介绍了 AttriCoT，这是一种黑盒算法，它通过构建结构因果模型对思维链推理的单个组件进行局部因果归因，证明了其对模型行为具有更高的忠实度，并揭示了不同模型和领域之间截然不同的思维结构。

原作者： Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下一个大型语言模型（比如一个超级聪明的 AI）正在解决一个困难的数学问题或逻辑谜题。它不仅仅是直接给你答案，而是先写下一段长长的“思考过程”，一步步地进行。这被称为思维链（Chain-of-Thought, CoT）。

把这段思维链想象成侦探的笔记本。侦探在破案前会写下线索、理论和计算过程。但问题在于：有时侦探写下的内容听起来很有逻辑，但实际上对解决案件并没有帮助。也许他们写了一段关于“红鲱鱼”（误导性信息）的长篇故事，或者忽略了一个关键线索。我们想要知道：笔记本中哪些具体的笔记真正导致了最终的解决方案？

这篇论文介绍了一个名为 AttriCoT 的新工具来回答这个问题。

问题：“虚假”推理

目前，我们并不真正了解 AI 写下的文字是否真的是它得出正确答案的真实原因。有时，AI 可能是靠运气猜对了答案，然后写出一个冗长且华丽的故事来为之辩解。还有时，它可能在脑海中跳过了某个步骤，但还是把它写了下来。

科学家们曾尝试通过以下方式来研究这个问题：

询问 AI： “嘿，你的思考过程中哪一部分最重要？”（这就像让学生给自己的作业评分；他们可能会撒谎或感到困惑）。
擦除部分内容并观察结果： 如果你从思考过程中删掉一句话，AI 是否会答错？这是一个好主意，但如果对每一句话都这样做，会消耗巨大的计算能力，就像试图通过逐块拆除并重建房子来观察哪块砖头支撑着屋顶一样。

解决方案：AttriCoT（“因果侦探”）

作者创建了 AttriCoT，一种方法，它充当了 AI 思想的“法务会计师”。

类比：食谱测试
想象一下，你试图弄清楚在一个复杂的蛋糕配方中，哪些成分真正让蛋糕变得美味。

旧方法： 你为想要测试的每一种成分都重新烤一个完整的蛋糕。如果配方有 50 种成分，你就得烤 50 个蛋糕。这既慢又昂贵。
AttriCoT 的方法： 你只烤一次蛋糕。然后，你使用一种特殊的数学技巧来模拟如果移除了糖、或者面粉、或者鸡蛋会发生什么，而无需每次都实际去烤一个新蛋糕。你测量当你在模拟缺少某种成分时，“味道得分”（即 AI 的置信度）下降了多少。

AttriCoT 的工作原理（3 个步骤）：

“假设”游戏： 它获取一个特定的思维链（AI 的笔记本），并将其分解成称为“单元”（句子或短语）的小块。然后它创建一个“假设”场景列表：“如果我们移除单元 1 会怎样？”“如果我们移除单元 2 会怎样？”
快速检查： 它不是重新烘焙整个蛋糕（重新运行整个 AI），而是运行一个非常快速、轻量级的检查，看看当缺少一个单元时，AI 对下一步的置信度下降了多少。
数学地图： 它使用一个简单的数学公式（线性模型）来连接各个点。它计算每一对步骤之间的得分。例如，它可能会说：“步骤 3 对步骤 7 的责任是 80%，但步骤 2 对步骤 7 几乎没有影响。”

他们的发现

研究人员在 5 种不同类型的谜题（数学、逻辑、科学）和 4 种不同的 AI 模型上测试了该方法。

它更准确： AttriCoT 比其他方法更能找到真正的重要步骤。当他们检查移除一个“关键”步骤是否真的会导致 AI 出错时，AttriCoT 的预测是最可靠的。
它很高效： 它不需要运行 AI 几千次。它只需要运行与思考过程中的步骤数量相等的次数。这使得它足以应对长而复杂的推理链。
新的见解： 通过观察 AttriCoT 生成的“得分”，他们发现了有趣的模式：
- 开头和结尾最重要： 最初的想法（AI 阅读问题的地方）和最后的想法（AI 检查答案的地方）往往具有最大的影响力。
- 回溯： 在解决难题的过程中，AI 经常会回到最初的问题并重新阅读，以确保自己没有忘记细节。
- 模型差异，习惯不同： 有些模型在整个过程中都高度依赖原始问题，而有些模型则更多地依赖于自己之前的步骤。

核心结论

这篇论文并不是声称要修复 AI 或让它变得更聪明。相反，它给了我们一把手电筒，让我们能看到 AI “黑盒”推理内部的情况。它允许我们逐步了解，AI 的哪些思考过程真正引导了答案，而哪些部分仅仅是噪音。这有助于我们理解 AI 是在进行真正的推理，还是仅仅在随性发挥。

技术摘要：思维链推理的局部因果归因

问题陈述

大型推理模型（LRMs）的成功高度依赖于思维链（Chain-of-Thought, CoT）推理，即模型生成长序列的中间步骤。然而，这些显式表达的 CoT 与模型底层潜在推理过程之间的忠实度（faithfulness）仍然是一个关键问题。研究表明，CoT 文本有时可能会忽略输入的操纵，或者构建看似合理但错误的论证，尤其是在模型面对错误提示时。虽然以往的工作在内部表示（白盒）或推理轨迹分布（通过重采样）层面探索了因果结构，但目前需要一种针对特定 CoT 轨迹进行高效、局部分析的方法。现有的黑盒方法通常侧重于答案层面的归因，或者未能考虑到中间步骤对后续推理步骤的影响。

方法论：AttriCoT

作者提出了 AttriCoT，一种用于估计特定 CoT 轨迹内局部因果归因的黑盒方法。该方法基于结构因果模型（SCM），且其计算复杂度相对于推理单元的数量呈线性关系。

1. 结构因果模型公式化

该方法将 CoT 轨迹及其输入视为一系列“单元”（对于输入为 $x_1, \dots, x_S$ ；对于输出步骤和最终答案为 $y_1, \dots, y_T$ ）。其核心假设是一个自回归属性，即生成一个单元 $y_t$ 的对数概率取决于先前单元的存在或缺失。

标量化： 使用条件对数概率对单元 $y_t$ 进行标量化： $S_t(y_t) = \log P(y_t | x, y_{<t})$ 。
线性结构方程： 通过线性方程建模先前单元的影响：
$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$
这里， $I(\cdot)$ 是指示函数（存在为 1，移除为 0），系数 $\alpha_{s,t}$ 和 $\beta_{\tau,t}$ 分别代表输入和先前输出单元的因果重要性。

2. AttriCoT 算法

该算法通过以下三个步骤估计这些系数：

干预： 该方法通过从序列中移除特定单元来进行干预。默认策略是“留一法”（Leave-One-Out, LOO），即每次移除一个单元（ $N = S + T$ 次干预）。增强变体（“AttriCoT-2x”）包含了“留二法”（Leave-Two-Out）干预。
测量： 对于每个扰动后的序列，模型进行一次前向传播以计算剩余输出单元的对数概率。目标单元 $y_t$ 的对数概率变化作为回归的目标值。
回归： 进行线性回归（可选 L1 正则化）以估计系数 $\alpha$ 和 $\beta$ 。此过程需要 $O(N)$ 次前向传播，保持了相对于单元数量的线性复杂度。

3. 评估指标

归因质量使用**行为忠实度（Behavioral Faithfulness）**进行评估，通过扰动曲线下面积（AUPC）来衡量。

流程： 将先前单元按其归因分数进行排序。移除前 $k$ 个单元，并测量由此产生的目标单元对数概率的下降程度。
指标： AUPC 汇总了当 $k$ 从 0 变化到先前单元总数的 20% 时的这些下降值。较高的 AUPC 表示归因方法能够正确识别对生成后续步骤具有因果关键性的单元。

核心贡献

AttriCoT 框架： 提出了一种黑盒、局部的解释方法，利用结构因果模型将 CoT 步骤归因于先前的单元，仅需线性数量的前向传播（ $O(S+T)$ ）。
卓越的忠实度： 实证证据表明，与包括句子到句子的掩码（Thought Anchors）以及基于提示（prompting）的基准方法在内的其他方法相比，AttriCoT 生成的归因更忠实于模型行为。
分析指标： 引入了源自归因矩阵的指标（例如，得分密度、平均影响、输入比例），以揭示不同模型和领域间推理结构的差异。

实验结果

该方法在 5 个数据集（GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic）和 4 个推理模型（DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B）上进行了评估。

性能： AttriCoT 在所有模型和数据集上均一致取得了最高的 AUPC 分数。在 GSM8K 上，它比 Thought Anchors 提升了 15–30%，比基于提示的基准方法提升了 70–165%。
效率： 与基于重采样的方法不同，AttriCoT 避免了生成新 CoT 轨迹的高昂计算成本，而是依赖于非生成性的前向传播。
对比分析：
- Thought Anchors： 虽然具有竞争力，但 Thought Anchors（使用 Token 分布的 KL 散度）的表现通常逊于 AttriCoT，这可能是因为它没有以同样的局部方式测量对生成单元对数概率的直接影响。
- 提示（Prompting）： 即使使用上下文学习（In-Context Learning），让 LLM 对单元进行排序也得到了显著较低的忠实度分数。
- 白盒注意力（White-box Attention）： 一种对注意力权重进行干预的探索性白盒方法显示出了一定的潜力，但并未超越因果干预方法。

推理结构分析

通过分析归因矩阵，作者观察到了明显的模式：

影响衰减： 重要性通常随步骤间的距离增加而迅速衰减，但会进入一个长尾阶段。
输入依赖： “输入比例”指标显示，模型在追踪开始阶段高度依赖输入单元。有趣的是，这种依赖在中间到后期阶段（约 50–80% 处）往往会再次增加，这表明模型会回溯输入上下文以进行验证或得出最终答案。
模型差异： 较大或经过蒸馏的模型（如 DS-Llama-8B）表现出更高的得分密度和不同的影响模式，与非蒸馏版本相比，这表明它们在处理推理时存在结构性差异。

重要性与主张

论文声称，将 CoT 轨迹视为因果对象，为透明度和安全性提供了一个至关重要的框架。通过将 CoT 拆解为用户定义的单元并拟合结构方程，AttriCoT 提供了一种计算高效的方法，用以理解为什么会产生特定的推理步骤，以及中间推理是否具有实质性意义。

作者强调，他们的工作解决的是“局部”层面的因果关系（特定的轨迹），而非内部机制或轨迹分布。他们总结道，所得出的归因矩阵揭示了具有启发性的模式，例如初始步和最终步的特殊影响，以及模型在验证过程中重新审视输入的倾向。作者承认了局限性，包括线性结构方程的表达能力以及默认 LOO 干预的简单性，并将未来的工作方向定位为开发计算廉价的白盒方法，并研究推理结构如何随模型家族和问题难度而变化。