💬 NLP

How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

本文识别并表征了语言模型中两种截然不同的标记级推理失败模式——以早期路径锁定为特征的“承诺型失败”（committed failure），以及以怀疑感累积为特征的“持续不确定性”（persistent uncertainty）——并证明这些特征在多种配置下均具有可复现性，且能够指导诸如自一致性等失败检测策略的优化。

原作者： Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在观看一位侦探破解谜案。有时，侦探在早期犯了一个错误，锁定了一个错误的嫌疑人，然后接下来的整个过程中，他都在自信满满地论证为什么这个嫌疑人是有罪的，尽管那个人是清白的。另一些时候，侦探全程都处于真正的困惑中，翻阅着线索，在最后一秒之前都对答案拿不定主意。

这篇论文旨在研究，仅仅通过观察大语言模型（LLM）在撰写答案时的“思考过程”（思维链），就能判断出它犯了哪种类型的错误。研究人员发现，模型的失败并非只有一种方式；它们存在两种截然不同的模式，而识别出这种模式会改变我们捕捉错误的方法。

以下是使用简单类比对他们研究结果的拆解：

1. 两种错误类型

研究人员发现，当模型给出错误答案时，通常会出现以下两种情况之一：

类型 A：“过早承诺”（固执的侦探）

发生了什么： 模型在推理过程的极早期就选择了一条错误的路径。一旦选择了这条路径，它就会“锁死”。它不再探索其他可能性，而是不断编写更多的句子来支持那个错误的观点。
特征： 如果你观察模型在写作过程中的“不确定性”（它有多么不确定），你会看到不确定性在早期出现一个峰值，然后下降。模型变得过快地变得过于自信。
教训： 你不需要等整个故事讲完才知道它错了。事实上，阅读故事的结尾可能会让你感到困惑，因为模型对那个错误的答案如此自信，以至于看起来像是一个正确的答案。捕捉这种错误的最佳时机是在模型做出第一个重大错误之后。

类型 B：“持续不确定”（困惑的侦探）

发生了什么： 模型从未真正选定立场。它在推理中徘徊，全程都拿不定主意。直到最后一个字，它都在不断改变主意或犹豫不决。
特征： 模型的不确定性始终保持在高位，或者从头到尾缓慢上升。它从未锁定单一路径。
教训： 你必须读完整个故事才能知道它是否失败了。如果你在中途停止，你可能会认为它只是在表现得谨慎。只有当你看到整个混乱的思路轨迹时，错误才会变得清晰。

2. 他们是如何发现这一点的（“不确定性计量器”）

研究人员不需要进入模型的“大脑内部”（对于许多流行的 AI 模型来说，这是不可能的）。相反，他们观察了 log probabilities——这是一种技术性的说法，即“模型对它输入的每一个词有多大的把握”。

他们把模型的推理过程看作一部电影。他们观察“不确定性计量器”随着模型逐词输入而产生的跳动。

对于类型 A，计量器在早期显示出一个明显的峰值，然后趋于平缓。
对于类型 B，计量器会一直攀升或保持高位直到结束。

他们在 23 种不同的 AI 模型与任务组合（如数学、编程和科学）上进行了测试。在 23 种情况中的 20 种情况下，他们的理论都完美成立。他们仅通过观察这些模式，就能区分出是“固执”的错误还是“困惑”的错误。

3. 为什么这很重要：“第二意见”策略

论文还研究了一种被称为**自一致性（Self-Consistency）**的常用技巧。这指的是当你向 AI 提出同一个问题 10 次，并采用出现次数最多的那个答案。

对于“固执型”模型（类型 A）： 向它提问 10 次是徒劳的。如果模型很固执，它会连续 10 次给出同一个错误答案。“多数投票”只会确认那个错误的答案。在这种情况下，观察单个答案的不确定性实际上比多次询问更有效。
对于“困惑型”模型（类型 B）： 向它提问 10 次是非常有帮助的。由于模型是真的不确定，它每次给出的答案都会不同。它无法达成一致这一事实，就是一个巨大的警示信号。

核心结论

论文指出，我们不应该使用“一刀切”的方法来捕捉 AI 的错误。

如果 AI 在早期就锁定了错误的观点，我们应该通过观察其早期的置信水平来快速捕捉它，并且不要费力去寻求它的“第二意见”（因为它只会重复错误）。
如果 AI 是真的感到困惑，我们应该让它完成思考过程，然后要求它提供多个意见，看看它是否能达成一致。

通过了解 AI 是如何失败的，我们可以选择正确的工具来捕捉错误，从而节省时间并提高可靠性。

技术摘要：语言模型如何失败：承诺型与持续型推理失败的标记级特征

问题陈述

检测大语言模型（LLM）何时会在复杂推理任务中失败，仍然是部署可靠性面临的关键挑战。现有的失败检测方法，如自一致性（通过对思维链进行多次采样）和不确定性量化，通常将失败视为一种二元预测任务。这些方法假设失败的涌现是一个单一的过程，这限制了调整检测策略的能力。具体而言，当模型在早期就“承诺”（commit）了一条错误的推理路径时，自一致性会失效，因为它会在多次采样中一致地重复相同的错误答案。相反，对于在整个轨迹中表现出真实不确定性的模型，单样本不确定性信号可能不足以进行有效判断。本文认为，推理失败通过不同的过程发展，需要不同的检测策略，然而当前的方法无论底层失败模式如何，都采用统一的方法。

方法论

作者提出了一个框架，利用源自思维链（CoT）轨迹的标记级不确定性信号来表征推理失败。该框架仅需要单个模型生成的对数概率（log probabilities），因此适用于无法获取内部权重的闭源 API 前沿模型（如 GPT-4o、Gemini）。

核心概念

失败模式： 该框架识别出两种性质截然不同的失败模式：
- 承诺型失败（Committed Failure）： 模型在推理轨迹的早期就锁定了错误的推理路径。不确定性信号在轨迹的早期前缀部分最具预测性；随着后续标记的增加，信号会被稀释。
- 持续不确定型（Persistent Uncertainty）： 模型从未锁定单一路径。不确定性在整个轨迹中单调累积，且需要完整的轨迹才能区分失败完成与成功完成。
承诺点（ $T^*$ ）： 定义为推理轨迹中不确定性信号对失败最具预测性的标记位置。超过此点后，后续标记代表的是下游噪声而非关于最终结果的信号。
不确定性特征： 作者在推理轨迹的前缀窗口（ $W_T$ ）上计算了五种标记级信号：
- 熵（Entropy）： 前 $K$ 个分布的离散程度。
- 边际（Margin）： 前两个概率之间的差异。
- 负对数似然（NLL）： 对前 $k$ 个标记的置信度。
- 核（Nucleus）： 捕获 0.9 概率阈值所需的标记。
- 近乎持平（Near-Tie）： 前 $K$ 个标记中处于前 1 个概率 90% 以内的比例。
- 聚合方式： 对于每种信号，都会计算每个窗口内的平均值和最大值。
诊断指标（PR-AUC）： 框架使用精确率-召回率曲线下面积（PR-AUC）来量化不同前缀窗口大小下的失败检测能力。
- 承诺型特征： PR-AUC 曲线呈倒 U 型。预测能力在 $T^*$ 处达到顶峰，并随着窗口扩大而下降。
- 持续型特征： PR-AUC 曲线单调上升，其中完整轨迹的表现始终优于任何早期窗口。
预处理分析： 为了控制轨迹长度这一混淆变量（失败的模型往往会生成更长的轨迹），框架在计算不确定性信号之前，会剔除所有出现在最终答案标记之后的标记。

实验设置

该框架在 23 个模型-数据集配置上进行了评估，涉及：

模型： 五个家族（Qwen、Llama、GPT-OSS、Gemma、GPT-4o/Gemini），参数规模从 2B 到 122B 不等，涵盖开源和前沿模型。
数据集： 四个推理领域（GSM8K、MATH-500、GPQA Diamond、LiveCodeBench）。
约束： 实验仅限于失败率在 15% 到 60% 之间且具有足够失败样本以保证统计可靠性的配置。前沿模型的分析被限制在前 20 个对数概率内。

关键结果

失败模式的可复现性： 框架的可证伪预测在 23 个案例中的 20 个中得到了验证，显著高于随机水平。
- 承诺型失败： 在 14 个配置中观察到（例如，LiveCodeBench 上的 Gemma4-31B，MATH-500 上的 GPT-OSS-20B）。这些配置表现出预期的倒 U 型 PR-AUC 曲线，并具有明显的承诺点。
- 持续不确定型： 在 9 个配置中观察到（例如，MATH-500 上的 Llama3.1-8B，GPQA 上的 Qwen3.5-122B）。这些配置显示出单调递增的 PR-AUC 曲线，其中完整轨迹的信息量严格大于任何前缀。
统计验证： 元分析汇总确认了双向预测：
- 针对承诺型配置的符号检验：14/14 一致（ $p = 6.1 \times 10^{-5}$ ）。
- 跨所有配置的联合符号检验：20/23 一致（ $p = 2.4 \times 10^{-4}$ ）。
- 承诺型案例的合并效应量（ $\hat{\Delta}$ ）为 $+0.013$ （95% CI $[+0.005, +0.020]$ ）。
对自一致性的启示：
- 承诺型机制： 自一致性在此类情况下无效，因为模型会重复相同的错误答案。此时，单次生成的确定性信号（特别是早期窗口特征）能提供更优的检测效果。作者证明，对于承诺型模型，可以在不牺牲失败召回率的情况下，跳过前 30% 高置信度输入的自一致性步骤。
- 持续型机制： 自一致性仍然有效，因为失败表现为不同生成结果之间的分歧。
- 互补性： 将单次生成的确定性信号与自一致性的一致率相结合，可以持续提高所有测试机制下的 PR-AUC，捕捉到仅靠一致率无法发现的生成内推理质量。

重要性与主张

本文声称提供了一个理解 LLM 推理失败何时以及如何变得可检测的基础框架。通过将失败特征化为“承诺型”或“持续型”，作者认为应当根据具体的失败模式来调整检测策略，而非一律采用统一方法。

主要贡献包括：

标记级特征： 证明了仅使用外部对数概率，即可通过标记级不确定性信号区分两种不同的失败过程。
识别承诺点： 定义并经验性地验证了推理轨迹中一个特定的点，在该点模型锁定了路径，标志着从信号向噪声的转变。
实际部署指导： 提供了一种机制，用于权衡何时需要自一致性，以及何时可以有选择性地跳过自一致性，并展示了不确定性特征如何补充现有的验证方法。

作者对其主张保持了审慎态度，指出该框架运行在可见的 CoT 轨迹之上（并未断言这些轨迹能完美反映内部计算），并且受到 API 对对数概率访问权限的限制。他们强调，该框架需要适度的失败率才能可靠运行，且承诺点是在窗口大小而非精确标记位置的粒度上进行识别的。