💬 NLP

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

本文介绍了逐步置信度归因（SCA），这是一个通过应用信息瓶颈原理、基于共识结构为各步骤分配置信度分数，从而诊断黑盒大语言模型多步推理故障的框架，进而实现比传统答案级反馈更有效的自我修正。

原作者： Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你请一位非常聪明但略显散漫的朋友解决一道复杂的数学题或回答一个棘手的问题。他们不会只给你一个最终答案，而是像侦探破案一样，一步步写下整个思考过程。

问题所在：
有时，你的朋友会碰巧得出正确答案，或者因为逻辑中间出现了一个微小失误而得出错误答案。问题在于，当他们把最终结果交给你时，你很难轻易判断哪里出了问题。是第一步就错了？还是最后一步？或者他们只是运气好？

当前的方法就像问你的朋友：“你答对了吗？”他们只能就最终答案回答“是”或“否”。他们无法指出笔记本中哪一句具体的话导致了逻辑崩溃。

解决方案：逐步置信度归因（SCA）
本文作者开发了一种名为**逐步置信度归因（SCA）**的新工具。你可以把它想象成一个“逻辑探测器”，它会阅读你朋友一步步写下的笔记，并在每一句话旁边标注一个置信度分数。

高置信度（绿色对勾）： “这一步看起来很扎实。它符合其他聪明人解决此类问题通常采用的方法。”
低置信度（红色警示）： “等一下。这一步看起来很奇怪。它不符合正确解答的模式。错误很可能就发生在这里。”

它是如何工作的？（“共识”类比）
其中的秘诀在于共识。想象你请 20 位不同的聪明朋友解决同一个问题。

尽管他们可能会以不同的顺序写下步骤或使用不同的措辞，但正确的解答都会共享几个关键的“路标”或“锚点”。例如，在数学题中，在计算总价之前，每个人都必须先计算铅笔的成本。
本文的系统会审视所有 20 份解答。它会找出“共同点”——即所有答对者都认同的那些步骤。
如果你朋友的解答遵循了这些共同路标，系统就会给这些步骤打上高置信度分数。
如果你朋友走了奇怪的弯路或跳过了必要的路标，系统就会将其标记为低置信度。

他们构建的两个工具
本文介绍了两种实现这种“探测”的方法：

NIBS（“词语匹配器”）： 这是一个简单、快速的工具。它只查看每一步的词语和含义。如果某一步听起来像“正确”组中的步骤，它就会获得高分。这就像检查食谱中的一句话是否与成千上万份成功食谱中的步骤相匹配。
GIBS（“地图阅读器”）： 这是一个更高级、更复杂的工具。它不仅查看词语，还查看逻辑的结构。它将推理过程转化为一张地图（图），其中步骤由箭头连接，显示一步如何引导至下一步。然后，它会找出所有正确解答共有的“通用地图”。如果你朋友的地图上有一座在通用地图中不存在的桥梁，GIBS 就会将其标记出来。这对于步骤顺序至关重要的复杂问题更为有效。

这为何重要？（“自我修正”的魔力）
本文表明，这不仅仅是为了发现错误，更是为了修正它们。

旧方法： 你告诉你的朋友：“你的最终答案是错的。再试一次。”他们往往只是换个方式猜测，或者再次犯同样的错误，因为他们不知道为什么失败了。
新方法： 你告诉你的朋友：“你的最终答案是错的。另外，看看第 3 步和第 5 步；我们的系统认为这些步骤不太可靠。”
结果： 当本文进行测试时，当 AI 模型被指出具体的薄弱步骤，而不仅仅是被告知最终答案错误时，它们修正自身错误的能力显著提高（成功率最高提升了 13.5%）。

简而言之
本文提供了一种方法，让我们无需打开盒子就能窥探 AI 思维这个“黑箱”的内部。通过将 AI 的推理步骤与正确解答的“共识”进行比较，系统可以精确定位逻辑崩溃的确切位置。这将模糊的“你错了”转变为有帮助的“你在这里偏离了轨道”，从而使 AI 能够从具体错误中学习并进行自我修正。

技术摘要：通过逐步置信度归因诊断黑盒大语言模型中的多步推理失败

1. 问题陈述

大语言模型（LLMs）通过生成逐步解决方案（例如思维链）在推理任务上展现了强大的性能。然而，诊断多步推理轨迹中何处发生失败仍然是一个重大挑战。现有方法主要分为两类：需要昂贵人工标注的监督分类器，或继承偏见与不一致性的“大语言模型即裁判”方法。此外，标准的置信度估计（CE）方法通常仅在最终答案层面运行，提供的可靠性信号过于粗略，无法 pinpoint 具体的错误步骤。

将置信度估计扩展到逐步设置的一个关键挑战，在于区分合法变异性（在顺序、表达或细节上不同但正确的解决方案）与真正的推理错误。正确的推理路径通常收敛于特定的“逻辑不变量”（关键中间状态），而错误则代表偏离了这一共识。本文针对**逐步置信度归因（SCA）**的需求提出了解决方案：这是一个专为闭源（黑盒）大语言模型设计的框架，仅利用生成的轨迹和最终答案的正确性标签，为各个推理步骤分配置信度分数，无需访问模型内部或进行步骤级标注。

2. 方法论

作者提出了一个基于**信息瓶颈（IB）**原理的框架。其核心直觉是：通过丢弃非本质变异性，同时保留关于底层正确推理模式的最大信息量，来压缩输入推理轨迹。

该框架将输入 $X$ 定义为推理轨迹，将压缩表示 $Z$ 定义为带有步骤置信度权重的轨迹，将目标 $Y$ 定义为正确性信号。其目标是最小化 $I(X; Z) - \beta I(Z; Y)$ ，从而鼓励选择与正确性高度相关的稀疏步骤子集。

本文介绍了该原理的两种互补实现：

A. 逐步置信度的非参数信息瓶颈（NIBS）

NIBS 是一种无需训练、具有闭式解的方法。它假设在正确解决方案中一致出现的步骤是最具信息量的。

机制：它聚合来自正确解决方案的多个解轨迹，形成“共识锚点”。
评分：对于轨迹中的给定步骤，通过测量其与正确轨迹集合中步骤的语义相似度来计算置信度。
实现：它使用语义相似度函数（例如句子嵌入的余弦相似度或自然语言推理蕴含关系）和聚合策略（最大值或平均值）来计算分数，无需参数学习。

B. 逐步置信度的图信息瓶颈（GIBS）

GIBS 解决了 NIBS 忽略步骤间结构依赖性的局限性。

表示：推理轨迹被建模为有向图，其中节点代表中间结果，边代表逻辑操作或子问题。
共识构建：通过聚合候选图与正确解图之间的最大公共子图（MCS），构建共识图（ $G_{MC}$ ）。
学习：GIBS 学习一个可微掩码 $p_\theta$ 以选择与共识结构对齐的子图 $G^*$ 。
优化：使用变分方法近似信息瓶颈目标：
- 压缩：通过预测掩码与稀疏先验之间的 KL 散度最小化（鼓励二值化选择）。
- 相关性：通过最小化预测掩码与源自正确解决方案的共识掩码之间的交叉熵来最大化。
架构：该模型使用 BERT 编码器提取语义步骤特征，并使用图卷积网络（GCN）处理结构上下文，以预测软选择概率。

3. 主要贡献

SCA 框架：引入了逐步置信度归因，这是首个专为黑盒大语言模型设计的框架，仅利用生成的轨迹和最终答案标签提供细粒度的步骤级可靠性信号。
基于信息瓶颈的公式化：将信息瓶颈原理应用于推理轨迹，形式化了压缩输出变异性与保留逻辑不变量之间的权衡。
两种新颖方法：
- NIBS：一种非参数、无需训练的方法，利用语义共识。
- GIBS：一种基于图的可学习方法，通过子图选择捕捉结构依赖性和逻辑变异性。
诊断与修正效用：证明了步骤级置信度信号不仅能诊断错误，还能有效指导自我修正，其表现优于答案级反馈。

4. 实验结果

该方法在三个基准测试上进行了评估：GSM8K（数学应用题）、Math（竞赛级数学）和MoreHopQA（多跳问答），使用了三个大语言模型（Llama-3.1-8B、Phi-4-Reasoning、DeepSeek-R1-Distill-Qwen-32B）。

准确性（RQ1）：GIBS 始终优于强大的白盒基线（例如 Token 熵、序列似然）和适配的黑盒方法。在 MoreHopQA 上，GIBS 在 DeepSeek 模型上实现了 0.8084 的 AUROC，显著高于基线。NIBS 变体在无需训练的情况下也取得了具有竞争力的性能，证明了共识对齐的鲁棒性。
自我修正（RQ2）：利用步骤级置信度指导自我修正，相比仅使用答案级反馈，将修正成功率提高了多达13.5%。这对于能够利用局部错误信号的更强推理模型尤为有效。
消融与鲁棒性（RQ3）：
- 移除 GIBS 中的边编码器或图编码器均导致性能显著下降，证实了局部和全局结构信号的必要性。
- 无标签泛化：当使用“自一致性”（多数投票的伪正确轨迹）构建共识锚点时，该框架在无标签设置中仍然有效，尽管性能与伪标签的质量相关。
- 领域偏移：在 MoreHopQA（文本）上训练的 GIBS 在未重新训练的情况下很好地泛化到了 Math 数据集，表现优于 NIBS 和白盒基线，这表明基于图的建模捕捉到了与特定领域词汇关联较少的抽象推理模式。

5. 意义与主张

本文主张，SCA 提供了一种可扩展、可靠的机制，用于审计黑盒大语言模型，无需访问内部信息或昂贵的人工标注。通过透过逻辑不变量的视角区分合法变异性与真实错误，该框架实现了：

细粒度诊断：识别导致推理失败的具体步骤。
提高可靠性：通过突出低置信度步骤引导模型自我修正，从而提高最终答案的准确性。
泛化性：该方法在不同推理格式（数学 vs. 文本）和模型架构上均表现鲁棒。

作者将这项工作定位为“辅助人类监督的审计工具”，而非人类判断的替代品，旨在提高大语言模型推理在高 stakes 决策场景中的可解释性和可靠性。