💬 NLP

Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework

本文介绍了 GRAPHEVAL，这是一个通过一种新颖的图推理连贯性得分（GRCS）来量化推理不确定性的图基框架，并利用图自一致性（GSC）通过优先考虑逻辑有效性而非简单的答案一致性来提高推理保真度，从而揭示了标准解码策略的局限性并暴露了关键推理路径的鲁棒性。

原作者： Riccardo Revalor, Jalees Rehman, Debjit Pal

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Riccardo Revalor, Jalees Rehman, Debjit Pal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一场魔术表演，魔术师（一个人工智能）从帽子里变出了一只兔子。有时，这只兔子是真实的；有时，它只是一个看起来完全像兔子的纸板剪影，但如果你去戳它，它就会散架。长期以来，我们判断魔术师的标准仅仅是看最后出来的兔子。如果它看起来像只兔子，我们就鼓掌，并假设这个魔术完美地完成了。

但一篇名为 GRAPHEVAL 的新论文指出，用这种方式来评判魔术师是非常糟糕的。来自伊利诺伊大学芝加哥分校的研究团队认为，我们需要窥视帽子内部，看看这只兔子是如何被制造出来的。他们发现，有时人工智能得到了正确的答案（兔子），但使用的是一个完全破碎、虚假或幻觉出来的过程（纸板剪影）。而旧的检查方法——被称为“自一致性”（Self-Consistency）的方法——由于过于忙于计数出现了多少只兔子，以至于无法注意到其中有一半其实都是纸板做的。

问题：“幸运猜测”陷阱

该论文反对一种被称为自一致性 (SC) 的流行方法。把 SC 想象成让 20 个人去解决一道数学题。如果 12 个人说答案是“42”，8 个人说“43”，那么人群会选择“42”。旧理论认为：“如果大多数人达成共识，他们就是正确的。”

作者说：别高兴得太早。
他们发现，在较小的 AI 模型中，可能会发生“幸运猜测”。想象一下这样一个场景：一群人中，有 12 个人都在产生同样的幻觉，从而得到了正确的答案。他们可能会说：“答案是 42，因为我看到了一只蓝色的鸟！”（这简直是胡说八道），而另外 8 个聪明人则说：“答案是 42，因为 21 加 21 等于 42。” 人群最终选择了“42”，是因为那群“蓝鸟派”的支持，尽管其逻辑完全是垃圾。论文明确排除了“只要多数票代表正确，其推理过程就是可靠的”这一观点。

解决方案：“承重”路径

为了解决这个问题，该团队构建了一个名为 GRAPHEVAL 的新框架。他们不再仅仅观察最终答案，而是将 AI 思考的每一步都转化为一张地图（图谱）。他们在事实之间建立连接，以观察这条路径是一座坚固的桥梁，还是一根摇晃的绳索。

他们引入了一个新的评分指标，称为 GRCS（图推理连贯性得分）。

类比： 想象你有 20 张由 20 位不同的探险家绘制的地图，他们都在寻找宝藏。
- 如果 15 位探险家画的地图看起来完全不同，但最终都到达了同一个地点，那么他们可能都在瞎猜。
- 如果 15 位探险家的地图看起来几乎一模一样，拥有相同的桥梁和隧道，那么这就是一条连贯的路径。
- GRCS 衡量这些地图的“凝聚力”。如果地图杂乱无章且充满矛盾，得分就会上升，从而提醒我们：“嘿，这个 AI 正在感到困惑或者在撒谎！”

论文在五种不同类型的谜题（从简单的数学到复杂的医学问题）中测量了这一点，并测试了三种不同的 AI 模型（一个小模型、一个中型模型和一个非常聪明的模型）。他们发现，GRCS 是唯一能够持续识别 AI 在高置信度下进行“幻觉”（编造事实）的工具。事实上，在 15 个测试设置中，有 14 个设置显示，更高的 GRCS 得分意味着 AI 的推理能力更不可靠。

“中心点”与对抗性攻击

团队还创建了一种挑选最佳答案的新方法，称为图自一致性 (GSC)。GSC 不仅仅是挑选最受欢迎的答案，它还会寻找**“中心点 (Medoid)”**。

类比： 想象一群朋友在讨论去哪里吃饭。所谓的“中心点”不仅仅是投票数最多的餐厅，它是整个群体共识的“中心”。它是其他所有人都在向其靠拢的那个餐厅，即使他们还没有全部投出票来。它是最“核心”且得到最多支持的想法。

为了测试这个“中心点”路径是否真的重要，作者进行了一场“提示词投毒”游戏。他们拿走了 AI 最好的路径（即中心点），并告诉 AI：“严禁使用这条路径。你必须找到一种全新的方式来解决问题。”

结果： 当他们对较小的 AI 模型这样做时，有趣的事情发生了。AI 通常仍然能得到正确的答案（兔子出现了），但其推理过程却崩溃了。论文表明，这证明了“中心点”是一个**“承重路径”**。它是支撑起逻辑的主要支柱。如果没有它，AI 只是在黑暗中跌跌撞撞，纯粹靠运气猜中了。
数据： 对于较小的模型（Llama 3.1 8B），当移除中心点后，推理的忠实度显著下降。在某些情况下，例如医学考试题目 (MedQA)，当被迫放弃其核心路径时，AI 的准确率下降了 9.0 个百分点，这揭示了它之前的“成功”其实是建立在不稳固的地基之上的。

那么大型、聪明的 AI 呢？

论文也观察了超级聪明的 AI（DeepSeek R1）。在这里，情况有所不同。聪明的 AI 非常灵活，它可以找到许多条通往正确答案的不同路径。当作者移除中心点时，聪明的 AI 并没有崩溃得那么厉害。这表明，虽然中心点对于较小的模型来说是一根“承重”梁，但大模型拥有更广泛、更多样化的“梁网”。然而，即便对于聪明的 AI，中心点路径依然持有最可靠的逻辑。

总结

这篇论文并不声称已经“解决了”AI 的信任问题。相反，它通过严格的测试建议并证明了我们不能仅仅信任最终答案。

他们排除了什么： 他们证明了简单的多数投票制（自一致性）经常会被“幸运猜测”所蒙蔽，即 AI 虽然得到了正确答案，但过程却是错的。
他们发现了什么： 通过将推理过程映射为图谱并找到共识的“中心”（中心点），我们可以过滤掉虚假的逻辑。
代价： 这种新方法比旧方法需要更多的计算资源。这就像是有一支检查小组去检查每一块砖头，而不是仅仅看一眼墙上的油漆。作者指出，对于最大的、最聪明的模型来说，“幸运猜测”的问题并不严重，但对于较小的、成本较低的模型，这种基于图谱的新检查对于避免被自信的胡言乱语所欺骗至关重要。

简而言之：如果一个 AI 给出了正确答案，不要只是鼓掌。请让它展示它的地图。如果地图看起来像是一团乱涂乱画，那么这个答案可能只是一个幸运的猜测，你不应该在重要事情上信任它。

技术总结：我们能否信任 LLM 的逻辑？通过基于图的框架量化不确定性、连贯性与鲁棒性

1. 问题陈述

大语言模型（LLMs）经常产生看似合理但并不忠实的推理过程，这通常被称为“幻觉”，即虽然结果看起来正确，但逻辑却是错误的。目前的解码策略，特别是自一致性（Self-Consistency, SC），依赖于对最终答案进行多数投票以提高准确率。然而，SC 仅评估最终输出的一致性，忽略了中间步骤的逻辑有效性。这导致了“幸运猜测”（lucky guesses）现象——即错误的、不合逻辑或矛盾的推理路径可能在偶然间收敛到正确的答案，从而人为地抬高了准确率指标。在任务关键型领域（如医疗、法律、金融）中，这种推理保真度的缺失构成了重大风险。

本文识别了三个核心挑战：

不确定性量化 (Uncertainty Quantification, UQ)： 如何可靠地量化 LLM 推理过程中的不确定性，使其能够捕捉结构性崩溃和自信的幻觉，而非仅仅是 token 级别的概率。
忠实解码 (Faithful Decoding)： 语义和结构感知是否能过滤掉那些被朴素多数投票所忽略的、不忠实的“幸运猜测”。
鲁棒性 (Robustness)： 在对抗条件下（特别是当主导推理路径被移除时），推理拓扑结构的鲁棒性如何。

2. 方法论：GRAPHEVAL

作者提出了 GRAPHEVAL，这是一个基于图的推理框架，它将原始文本生成转化为可分析的拓扑结构，从而全面评估推理保真度。该流水线包含五个阶段：

A. 因果事实分解与 DAG 构建

生成 (Generation)： 生成式 LLM ( $G_{LLM}$ ) 在高温度设置下生成 $N$ 条思维链（CoT）轨迹，以捕捉推理的多样性。
标注 (Annotation)： 每个步骤都通过直接因果依赖关系进行标注（例如 [depends_on: 0, 1]）。
分解 (Decomposition)： 一个独立的分解式 LLM ( $D_{LLM}$ ) 在确定性温度下运行，将粗粒度的步骤分解为细粒度的“主-谓-宾”原子事实，同时保留原始的因果依赖关系。
图表示 (Graph Representation)： 输出被映射为一个有向无环图 (DAG) $G = (V, E)$ ，其中节点是原子事实，边代表因果依赖。

B. 语义-结构距离计算 (SS-GED)

为了衡量推理流形（reasoning manifold）上的一致性，该框架使用扩展的图编辑距离 (Graph Edit Distance, GED) 计算所有 DAG 之间的两两距离。

优化： 为了避免 NP 难的 A* 搜索，作者使用匈牙利算法 ( $O(m^3)$ ) 进行高效的双向匹配。
代价函数： 替换代价基于节点/边的余弦距离。
改进措施：
- 公平归一化 (Fair Normalization)： 通过平均图规模来缩放编辑代价，以处理不同长度的情况。
- 语义-结构融合 (Semantic-Structural Blending)： 将结构相似性与终端节点（结论）的语义相似性相结合。最终相似度得分 $S(G_i, G_j)$ 是终端节点余弦相似度与归一化编辑距离的径向基函数 (RBF) 变换的加权融合。

C. 图推理连贯性得分 (Graph Reasoning Coherence Score, GRCS)

GRCS 是一种新型的 UQ 指标，定义为推理流形上平均两两距离的倒数：
$\text{GRCS} = \frac{1}{1 + \mu(D(q))}$
其中 $D(q)$ 是两两距离的集合。GRCS 量化了语义-结构共识。它旨在检测模式崩溃 (mode collapse)（重复且有缺陷的捷径）和自信的幻觉 (confident hallucinations)（导致不连贯结论的伪造事实），这些现象会增加平均两两距离。

D. 图自一致性 (Graph Self-Consistency, GSC)

GSC 是一种解码策略，它选择中心点 (medoid) CoT——即在语义-结构图流形中最中心且得到最多支持的路径——而不是频率最高的最终答案。

选择标准： 中心点 $z^*$ 最大化结合了结构中心性 (Structural Centrality)（与其它图的总相似度）和图级共识 (Graph-level Consensus)（包含语义相似节点的其他图的比例，对终端节点进行加权）的得分。
目标： 以牺牲名义准确率为代价来换取推理保真度，从而过滤掉那些虽然得到了正确答案但推理过程不忠实的路径。

E. 对抗性中心点消融 (Adversarial Medoid Ablation)

为了测试鲁棒性，该框架采用了一种提示词污染攻击，明确禁止模型重用经由 GSC 选择的中心点路径。这迫使模型生成替代的推理路径，从而允许作者测量：当主要的“承重路径”被移除时，准确率是下降了还是出现了“幸运猜测”。

3. 核心贡献

GRCS 指标： 一种基于 SS-GED 的分布不确定性指标，它在不同模型规模下始终与推理保达性呈负相关，有效地捕捉了传统指标（如离散度、熵、Topo-UQ）无法捕捉到的缺陷推理路径中的隐藏不确定性。
GSC 解码策略： 一种结构化解码方法，能够隔离“幸运猜测”。实验结果表明，它显著降低了较小模型（如 Llama 3.1 8B）中的不忠实推理，同时保持或提高了更强大模型（如 DeepSeek R1）的准确率。
对抗鲁棒性发现： 研究表明，GSC 选择的中心点充当了“承重路径”。强制模型偏离此路径通常会导致推理保真度下降，即使准确率通过错误的捷径暂时维持住了。

4. 实验结果

该框架在五个数据集（GSM8K, BoolQ, StrategyQA, MedQA, GPQA）和三个模型（Llama 3.1 8B, Phi-4, DeepSeek R1）上进行了评估。

不确定性量化： GRCS 是唯一在 93% (14/15) 的配置中与保真度保持负相关的指标。基准指标如离散度和熵往往表现出正相关或弱相关，误将重复的错误推理视为信心。
解码性能：
- 小模型 (Llama 3.1 8B)： 与 SC 相比，GSC 导致了显著的准确率下降（例如在 GSM8K 上下降 7.6%，在 MedQA 上下降 9.0%）。这表明 SC 的高准确率是由不忠实的“幸运猜测”虚增的，而 GSC 成功地过滤掉了这些路径。
- 强力模型 (DeepSeek R1)： GSC 在所有数据集上维持或略微提高了准确率，这表明对于较大的模型，结构中心路径与正确答案更趋于一致。
分歧审计： 在 SC 和 GSC 产生分歧的情况下，GSC 选择的答案在统计上更可能是保真的（79.5% 对比 SC 的 57.6%）。
对抗性消融： 当中心点路径被消融时，较小的模型表现出准确率提升与保真度下降之间的强负相关性，这从经验上证实了“幸运猜测”现象。较大的模型相关性较弱，但在保持准确率的同时仍表现出保真度退化的现象。

5. 重要性与主张

本文认为，判断 LLM 的可信度不能仅凭答案的一致性。 通过将采样的 CoT 建模为 DAG，作者证明了推理结构揭示了传统指标（如最终答案共识）所掩盖的关键不确定性和鲁棒性信号。

范式转移： 这项工作推动了从评估最终输出频率向推理层面分析的转变，特别是在错误可能导致灾难性后果的任务关键型场景中。
中心点的角色： GSC 选择的中心点不仅是一个统计平均值，更是一个对于可靠演绎至关重要的“承重”结构。
局限性： 作者承认 GRAPHEVAL 的时间复杂度（ $O(N^2 \cdot m^3)$ ）高于 SC，且其统计强度在极大规模、高性能的模型（如 DeepSeek R1）上会减弱，因为这些模型表现出更广、更高熵的推理拓扑。该框架目前针对短程基准测试（3–6 步）进行了优化，其在长上下文、高度组合性任务上的可扩展性仍是一个开放性问题。

总之，GRAPHEVAL 提供了一种严谨的基于图的机制来量化推理保真度，为确保可信 LLM 的部署提供了一种比标准解码策略更可靠的替代方案。