🤖 AI

Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty

本文引入了“结构不确定性”（structural uncertainty）这一框架，通过分析采样解之间自我偏好排序的稳定性，来量化大型语言模型在逻辑推理中的一致性，从而揭示了该指标如何作为传统答案离散度的补充，以更好地识别演绎任务中不可靠的推理，并区分出此类一致性评估具有有效性的情形。

原作者： Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在要求一位非常聪明但有时过于自负的学生去解决一道很难的数学题。你要求他尝试解题五次。

旧方法：计数答案
传统上，为了观察这个学生的可靠性，我们只需查看他们的五个答案。

如果他们五次都说“10”，我们会想：“太棒了！他们很一致。”
如果他们说出“10, 12, 9, 10, 11”，我们会想：“噢，糟了，他们糊涂了。”

但这里有一个问题。如果学生每次出错的原因都不同，但最终答案却是一样的呢？

答案 1：“10”（因为他们漏掉了一个负号）。
答案 2：“10”（因为他们把加法做成了减法）。
答案 3：“10”（因为他们看错了数字）。

对于旧方法来说，这个学生看起来表现得非常一致，因为最终答案始终是“10”。但这些答案背后的思维过程其实一团糟。旧方法忽略了这种内在的混乱。

新方法：“自我评判”锦标赛
这篇论文介绍了一种检查该学生的新方法，称为结构化不确定性（Structural Uncertainty）。我们不再仅仅观察最终答案，而是要求学生充当自己的裁判。

流程如下：

生成： 学生写下五个不同的解题过程（其中一些可能是正确的，一些可能是错误的）。
锦标赛： 我们要求学生进行两两对决来比较这些解题过程。“方案 A 是否比方案 B 更好？”
排名： 我们根据所有的比较结果构建一个排名。谁是“最好”的方案？谁是“最差”的方案？
转折点： 我们多次进行这种锦标赛，但我们会改变选手之间对决的顺序（就像绘制一张随机的连接图）。

两种信号
通过观察学生如何对自己的工作进行排名，作者发现了两个能够告诉我们推理是否稳定的不同信号：

“反复横跳”信号（跨试验不稳定性）：
- 想象一下： 在一次锦标赛中，学生说方案 A 是最好的。在下一次锦标赛中（由于对决组合发生了变化），他们突然说方案 C 是最好的。
- 含义： 这个学生实际上并不知道什么是“好”的解题过程。他们的内在指南针正在乱转。这是一个巨大的警示信号，即使这五个答案的最终数值完全相同。
- 类比： 这就像一位评委，今天在几部电影中选出了“最佳”，明天却选出了完全不同的另一部，尽管电影本身并没有改变。这位评委是不可靠的。
“平局”信号（试验内歧义性）：
- 想象一下： 在单次锦标赛中，学生看着所有五个方案说：“它们都挺好的，我实在选不出胜者。”排名呈现出一条平坦的直线。
- 含义： 对于复杂的数学问题来说，这实际上是一个好迹象！这意味着存在多种有效的解题路径，并且学生识别出了这一点。这表明他们理解其中的细微差别。
- 类比： 这就像一位美食评论家说：“这五种披萨都非常出色，我无法只选一种。”这体现了高水平的鉴赏力，而非困惑。

“图书馆” vs. “数学课”
这篇论文发现，这种新方法的效果取决于任务类型的不同：

在数学/逻辑领域（“数学课”）： 该方法表现卓越。如果学生感到困惑，他们的排名会发生剧烈的“反复横跳”。如果学生很聪明，他们能够区分出好的路径和坏的路径。
在事实核查领域（“图书馆”）： 该方法会撞上南墙。想象一下，你要求学生在图书馆的书中寻找某个特定的事实。如果书里没有答案，学生每次都会说“我不知道”。
- 因为答案是“我不知道”，学生的内在排名会变成一个完美的平线（所有人并列最后一名）。
- 论文称之为**“坍缩（Collapse）”**。信号消失了。该方法意识到：“哦，这不是一个推理问题，而是一个检索问题。”在这种情况下，旧方法（仅仅检查答案是否不同）实际上效果更好。

核心结论
这篇论文不仅仅是在问：“AI 是否得到了正确答案？”或者“它是否给出了五个相同的答案？”

相反，它在问：“AI 是否拥有一种稳定、一致的方式来评判自己的工作？”

如果 AI 的内在排名不稳定且反复横跳，那么它很可能推理能力较差，即使最终答案看起来是对的。
如果 AI 的排名是稳定的，那么它很可能推理得很好。
如果 AI 的排名坍缩成平坦的平局，那么它处理的可能是一个推理并不重要的任务（比如寻找一个不存在的事实）。

这有助于我们识别那些“听起来很聪明”的失败案例——即 AI 虽然表现得很有信心，但其内在逻辑是不一致的，而这是旧方法完全无法察觉的问题。

技术摘要：通过结构不确定性量化大语言模型（LLM）逻辑推理的一致性

问题陈述

大语言模型（LLM）在多步演绎推理中经常表现出一种失效模式：它们通过不同且内部存在缺陷的推理路径，最终得出相同的错误结论。现有的后验评估方法主要通过输出离散度（测量采样答案的语义变化或熵）来评估可靠性。虽然这种方法很有用，但它忽略了一个关键的互补信号：即模型在竞争性推理候选方案之间的结构一致性（structural consistency）。

基于离散度的现有方法无法检测“系统性但内部不稳定”的推理。例如，如果一个模型生成的五个候选方案都指向同一个错误答案，基于离散度的指标会报告低不确定性（零熵），从而掩盖了模型对其内部候选方案的排序可能具有高度不稳定的事实。本文旨在解决一种评估框架的需求，该框架不仅衡量答案有何不同，还衡量模型对于同一查询如何一致地对竞争性推理方案进行排序。

方法论：结构不确定性框架

作者提出了结构不确定性（Structural Uncertainty），这是一个一致性感知评估框架，用于量化自偏好诱导的排序在采样候选解上的稳定性。该框架在一个完全黑盒的设置下运行，不需要访问模型的内部信息（如 logits 或隐藏状态）。

1. 流程概述

给定查询 $x$ ：

候选生成： 模型使用随机解码和不同的提示词模板（例如：逐步思考、出声思考、苏格拉底式、分解法、类比法）生成 $N$ 个多样化的候选推理方案（ $N=5$ ）。
自偏好诱导： 同一个模型充当评判者，确定其自身输出之间的两两偏好关系。为了将计算成本从 $O(N^2)$ 降低到 $O(N)$ ，作者为每次试验采样了一个关于 $N$ 个候选方案的均匀随机生成树（uniform random spanning tree），仅查询 $N-1$ 条边。
偏好聚合：
- Bradley-Terry 建模： 使用带有 $L_2$ 正则化的 Bradley-Terry (BT) 框架对两两判断进行建模，以推断潜在效用 $\theta_i$ 。
- PageRank 归一化： 将推断出的两两胜率转换为转移矩阵，并计算平稳分布（PageRank 分数 $\pi$ ），从而产生该次试验的全局排序分布。
- 鲁棒性检查： 还实现了一种 TrueSkill 变体（基于置信权重更新的贝叶斯技能评分），其结果与上述方法高度相似。
不确定性分解： 该过程针对 $M$ $M$ 个独立的试验（跨越不同的生成树样本）重复进行。由此产生的排序分布系综 $\{\pi^{(m)}\}_{m=1}^M$ ${π^{(m)}}_{m = 1}^{M}$ 被分解为两个基于熵的分量：
- 单次试验内的候选歧义性 ( $StructU_{within}$ )： 单次试验内排序分布的平均熵。高值表示模型甚至无法在单个比较集中明确区分候选方案。
- 跨试验的排序不稳定性 ( $StructU_{across}$ )： 平均排序分布的总熵与单次试验内平均熵之差。高值表示模型的偏好排序会根据所采样的特定比较集（生成树）而发生显著波动。

2. 与自一致性的集成

该框架将结构不确定性与标准的自一致性不确定性（答案分布的熵）相结合。作者提出了一个固定的经验融合规则：

由于 $StructU_{across}$ 与准确率呈负相关（不稳定性 $\to$ 失败），因此将其加到自一致性熵中。
由于 $StructU_{within}$ 在推理任务上与准确率呈正相关（在合理的路径之间存在歧义），因此将其从自一致性熵中减去。

核心贡献

一种后验一致性框架： 一种模型无关的方法，通过自偏好排序的稳定性来量化推理一致性，为输出离散度提供了一个补充信号。
结构分解： 通过 Bradley-Terry/TrueSkill 和 PageRank，将不确定性分解为跨试验的不稳定性（标志着不可靠的推理）和单次试验内的歧义性（标志着具有竞争力的合理路径）。
机制分析： 对结构信号何时具有信息量以及何时发生坍缩进行了表征。论文识别出了一个“机制边界”，在该边界处，推理层级的一致性评估变得不再具有信息量。

实验结果

该框架在 5 个 LLM（包括 Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B）和 8 个基准测试（Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA）上进行了评估。

1. 在推理任务上的互补性

在数学和逻辑推理基准测试（如 Math-Synth, MATH-500, AMC-23）中，将结构不确定性与自一致性结合使用，显著提高了识别不可靠推理实例的能力（通过选择性预测 AUC 和 AUROC 来衡量）。

性能提升： 混合估计器（$StructU + SelfConsU$）在大多数推理任务上达到了最高或第二高的性能，在处理困难竞赛题目时，对于较弱的模型，性能提升高达 +13.4%。
与准确率的相关性：
- 跨试验不稳定性显示出与正确性之间的强负相关（不稳定性预示失败）。
- 单次试验内的歧义性在数学任务上显示出与正确性的正相关，这符合存在多个有效解题路径的情景。

2. 在检索任务上的坍缩

在事实检索任务（特别是 HotpotQA）中，结构信号发生了坍缩。

观察结果： 正确和错误的查询都表现出接近于零的跨试验不确定性和接近最大值的单次试验内不确定性（均匀的 PageRank 分布）。
机制： 基于固定文档的事实检索无论使用何种提示词模板，都会引发结构同质化的推理链。模型的自偏好判断变得难以区分（如同抛硬币），使得结构信号失去信息量。
启示： 在这种机制下，基于离散度的方法（如自一致性或语义离散度）优于结构化方法。这种坍缩本身作为一个诊断特征，表明了缺乏推理层级结构多样性的情况。

3. 消融实验与验证

随机化： 用随机比较代替真实的自偏好比较导致 AUROC 降至接近随机水平，这证实了该信号依赖于真实的模型偏好，而非流水线的人为产物。
后端鲁棒性： Bradley-Terry 和 TrueSkill 后端产生了高度一致的排序（ $\rho > 0.95$ ），验证了该分解是排序分布的属性，而非特定模型选择的结果。

重要性与主张

本文声称，结构不确定性最好被理解为一种对逻辑推理一致性的机制敏感型评估器，而非通用的置信度估计器。

重构评估： 它将问题从“响应有多不同？”（离散度）转向“模型对竞争性推理方案的排序有多一致？”（结构）。
诊断效用： 该框架为从业者提供了一个实用的诊断工具。“HotpotQA 特征”（接近零的跨试验不确定性 + 高单次试验内熵）表明了一个推理层级一致性评估无效的任务机制，建议切换到基于离散度的方法。
局限性： 作者坦诚地指出，该方法增加了推理成本（ $N \times M$ 次比较），且自偏好会继承模型特定的偏差。该分解是基于固定协议的可观测经验结果，而非对底层数据不确定性的基本识别。当响应差异仅在于风格，或者任务结构（如确定性检索）抑制了推理多样性时，该方法的效果会减弱。

总之，本文证明了测量模型对其自身输出的内部偏好排序的稳定性，可以提供一个关于推理可靠性的关键且互补的视角，特别是在检测那些仅凭答案层级的一致性无法揭示的系统性错误方面。