🤖 AI

Reasoning or Fluency? Dissecting Probabilistic Confidence in Best-of-N Selection

本文挑战了概率置信度指标能有效衡量 Best-of-N 选择中推理质量的假设，通过跨步因果扰动证明了这些指标主要捕捉的是表层流畅度而非逻辑结构，并提出了一种对比因果度量作为一种更忠实的输出选择替代方案。

原作者： Hojin Kim, Jaehyung Kim

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hojin Kim, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：模型是在“思考”，还是仅仅在“说话”？

想象一下，你正在雇佣一名学生来解决一道难题。你要求他在给出最终答案之前，先写下他一步步的思考过程（思维链，Chain-of-Thought）。

为了决定哪位学生最优秀，你会观察他们说话的自信程度。

旧有的假设： 如果一个学生写得非常有信心（表达流畅、连贯，没有结巴），那么他的推理一定正确。
本文的挑战： 本文的作者提出了质疑：“如果这个学生只是个‘能言善辩’的人呢？如果他说话很流利，但逻辑其实是破碎的呢？”

他们想知道：目前的计算机程序究竟是在衡量“推理质量”，还是仅仅在衡量“流畅度”（即文字组合得有多顺畅）？

实验：打破逻辑链

为了测试这一点，研究人员提取了 AI 模型生成的“思考步骤”，并在保持句子听起来完美无缺的前提下，刻意破坏了步骤之间的逻辑连接。他们通过三种创意方式实现了这一点：

“失忆症”测试（注意力干扰）：
- 类比： 想象你在读一个故事，每一句新句子都像是作者完全不记得前文一样。作者无法回顾自己刚刚写了什么。
- 技术实现： 他们强制 AI 在计算置信度分数时，不允许它“回顾”之前的步骤。
- 结果： AI 的置信度分数几乎没有变化。即使在看不见自己的逻辑链时，它依然表现得同样自信。
“幼儿大脑”测试（参数干扰）：
- 类比： 想象你请一位天才来批改一篇复杂的论文，但随后把阅卷人换成了一个幼儿园小朋友。这个小朋友能看懂单词并发现拼写正确，但他无法理解其中复杂的数学或逻辑。
- 技术实现： 他们使用一个微小、弱小的 AI 模型来为一个庞大、聪明的 AI 模型的推理过程打分。
- 结果： 这个微小的模型给出了与大模型几乎相同的“高置信度”分数。这表明该评分是基于简单的特征（如句子结构），甚至连一个“婴儿模型”都能理解，而非基于深层的逻辑。
“乱序拼图”测试（数据干扰）：
- 类比： 想象一份食谱写着：“1. 预热烤箱。2. 混合面粉。3. 烘焙。”研究人员将其打乱为：“3. 烘焙。1. 预热烤箱。2. 混合面粉。”单词本身依然是完美的英语，但逻辑已经断了。
- 技术实现： 他们打乱了推理步骤的顺序，或者用不同的措辞重写了它们（改写）。
- 结果： 置信度分数依然很高。系统并不在意逻辑是否被打乱，它只在意句子听起来是否顺畅。

令人震惊的发现

研究人员发现，破坏逻辑并没有真正损害筛选过程。

即使他们完全破坏了步骤之间的逻辑流，AI 挑选“最佳”答案的能力依然和之前一样出色。事实上，有时破坏逻辑反而让筛选效果变得稍微好了一点。

这意味着什么？
这意味着目前用于 AI 的“置信度计”更像是流畅度检测器，而非逻辑检测器。它们非常擅长识别句子是否平滑自然，但在检查步骤之间是否真的有逻辑联系方面却表现糟糕。它们测量的是推理的“风格”，而非“实质”。

提出的解决方案：“逻辑过滤器”

由于旧有的测量工具存在缺陷，作者提出了一种名为**对比因果性度量（Contrastive Causality Metric）**的新工具。

运作方式： 想象你有一个学生的作文得分：
1. 得分 A： 这篇作文听起来有多好（正常情况下）？
2. 得分 B： 如果我们假装这个学生患有失忆症，无法连接上下文，这篇作文听起来会有多好？
新指标： 你用得分 A 减去得分 B。
结果： 如果文章只是“流利但空洞”，这两个分数会非常接近，差值趋于零。如果文章具有“真正的逻辑”，得分 A 会很高，但得分 B 会崩塌（因为失去了连接，逻辑就会瓦解）。两者的差值将会很大。

这种新方法成功地分离出了答案中的“逻辑”部分，过滤掉了“流利说话”的部分。

总结

本文指出，我们一直被一种错觉所欺骗：认为 AI 正在进行良好的推理，仅仅是因为它表达得非常流利。通过破坏 AI 思考过程中的逻辑链接，作者证明了目前的置信度评分完全忽略了逻辑。他们认为，我们需要一种新的衡量 AI 的方法，这种方法应专门检查步骤之间是否真的相互关联，而不仅仅是看句子看起来多么优美。

技术摘要：推理还是流畅度？剖析 Best-of-N 选择中的概率置信度

问题陈述

近期，大型语言模型（LLMs）通过利用 Best-of-N 选择策略来增强其推理能力。这种方法涉及采样多个推理轨迹（通常通过思维链，即 CoT），并基于评分函数选择最优的一个。虽然存在外部奖励模型，但近期的趋势倾向于直接从 LLM 输出的标记分布（例如自确定性、对数似然、熵）中提取概率置信度指标，因为其计算效率更高。

这些指标背后的核心假设是：较高的概率置信度反映了较高的推理保真度（reasoning fidelity）以及有效的步骤间因果依赖关系。然而，先前的研究表明，CoT 轨迹可能是不忠实的，仅作为事后合理化的解释，而非其内部决策过程的真实反映。本文挑战了这一基本假设，即当前的概率指标是否真正捕捉到了有效推理所需的逻辑结构和因果依赖，并质疑这些指标是否仅仅是在测量表层流畅度或分布内先验（in-distribution priors）。

方法论

为了调查概率置信度指标是依赖于步骤间的因果关系还是局部流畅度，作者引入了一个**因果扰动（causality perturbations）**框架。这些扰动在保持局部句子流畅度和语义合理性的同时，系统性地破坏了推理步骤之间的逻辑流和依赖关系。

该研究在五个推理基准测试（MATH-500, GPQA-Diamond, GSM8K, LogiQA, AR-LSAT）和三个 LLM 系列（Qwen, Llama, Phi）上评估了三类不同的扰动：

注意力级扰动（Attention-Level Disruptions）：
- 掩码（Masking）： 在计算指标期间，在推理步骤之间应用硬注意力掩码。这迫使模型独立评估每个步骤（即 $p(s_k | x, s_{<k})$ 变为 $p(s_k | x, s_{<k}^{local})$ ），从而打破了第 $k$ 步依赖于第 $k-1$ 步的自回归因果链。
- 查询掩码（Query Masking）： 一种极端情况，即同时移除对输入查询的条件化，仅根据其内部标记历史来评估步骤。
参数级扰动（Parameter-Level Disruptions）：
- 使用显著较小的模型（例如 Qwen2.5-0.5B）作为评估器，而生成器为较大的模型（例如 Qwen3-8B）。较小的模型保留了对常见答案格式和局部流畅度的强先验，但缺乏建模复杂、长程因果依赖的能力。
数据级扰动（Data-Level Disruptions）：
- 改写（Paraphrasing）： 独立重写每个推理步骤，在保留语义含义的同时，改变连接步骤的句法和词汇信号。
- 打乱（Shuffling）： 随机化推理步骤的顺序，破坏序列因果进展，同时保持单个步骤的流畅性。
- 截断（Truncation）： 移除推理轨迹的后半部分，测试是对完整的多步链条的依赖，还是对初始前缀的依赖。

作者测量了在这些扰动条件下的选择准确率（即所选输出正确的题目比例），并将其与原始的、未受干扰的指标进行对比。

核心贡献

不敏感性的实证证据： 本文提供了强有力的证据，表明最先进的概率置信度指标对步骤间因果结构的破坏基本是不敏感的。在不同的模型和基准测试中，当因果依赖被切断时，选择准确率仅略微下降（通常 <1%），甚至有所提升。
流畅度 vs. 推理： 研究结果表明，目前的指标主要捕捉的是局部流畅度和答案格式先验，而非推理过程的有效性。即使在逻辑连贯性被破坏的情况下，这些指标依然保持稳健。
对比因果度量（Contrastive Causality Metric）： 为了填补这一空白，作者提出了一个新的指标 $R_{causal}$ ，定义为：
$R_{causal}(y) = R(y) - \alpha \cdot \hat{R}(y)$
其中 $R(y)$ 是原始指标，而 $\hat{R}(y)$ 是在注意力级掩码下计算的指标（代表局部流畅度）。通过减去流畅度成分，该指标明确分离出了归因于步骤间因果依赖的信号。

结果

注意力级： 掩码跨步骤注意力导致准确率损失极小。对于 Qwen，掩码甚至带来了轻微的提升（0.75%）。即使对于表现出较大下降（约 6-7%）的 Phi，其性能仍远高于随机基准。
参数级： 使用较小的评估器模型（0.5B 对比 8B）对选择准确率的影响微乎其微（例如，Qwen 的平均变化仅为 0.7%），这表明这些指标并不需要精细的推理能力即可有效运作。
数据级：
- 打乱： 随机化步骤顺序并未导致系统性的退化；在某些情况下，准确率反而提高了。
- 改写： 保留句子含义的词汇变化导致性能下降微乎其微。
- 截断： 移除轨迹末尾多达 30k 个标记（仅保留短前缀）并未实质性地降低准确率，这表明完整的推理链对于有效的排序并非必要。

意义与主张

本文声称，依赖概率置信度指标进行 Best-of-N 选择可能会高估这些指标作为推理正确性代理指标的可靠性。对因果扰动表现出的显著不敏感性意味着，这些指标并未忠实地捕捉到多步推理的连贯性。

因此，作者认为该领域必须超越简单的基于概率的选择。所提出的对比因果度量证明，通过显式地分离因果依赖，可以获得更忠实的输出选择。这项工作强调了当前评估实践与生成式 AI 实际逻辑结构之间的严重失配，呼吁重新评估如何衡量生成式 AI 中的“推理质量”。