💬 NLP

Inference Time Optimization with Confidence Dynamics

本文介绍了置信度动态增益（CDG），这是一种新颖的推理时优化方法，它利用正确与错误推理轨迹在置信度变化模式上的显著差异，从而在多个大语言模型和数学基准测试中大幅提升答案选择效果与整体性能。

原作者： Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你让一位非常聪明但有时过于自信的学生去解一道难题。你要求他在脑海中尝试解题 500 次，并为每次尝试写下每一步的思考过程。然后，你必须从这 500 次尝试中选出唯一最佳答案。

传统上，你会直接使用“多数投票”法。如果有 200 名学生说答案是"42"，而 199 名学生说答案是"43"，你就会选择"42"，并假设群体通常是对的。但如果那 199 名说"43"的学生在结束时实际上对自己更有把握，而那 200 名说"42"的学生起初自信，但随着解题过程变得困惑和不确定呢？

本文介绍了一种名为**置信度动态增益（Confidence Dynamic Gain, CDG）**的新方法来选出优胜者。以下是其工作原理，使用简单的类比说明：

1. 问题：“静态”记分卡

现有方法将学生的最终置信度视为单一快照。它们可能会问：“平均而言，你有多确定？”或者“在最终时刻你有多确定？”

缺陷： 这忽略了过程。一名学生可能起初非常自信，但在中途意识到自己犯了错误，最终变得非常不确定。另一名学生可能起初不确定，通过逻辑推理，最终变得非常自信。传统方法往往忽略了这种差异。

2. 发现：“置信度曲线”

研究人员观察了同一道问题在多个不同 AI 模型中产生的 500 条不同思维路径（traces）。他们发现了一个令人惊讶的模式：

正确路径： 当 AI 得出正确答案时，其置信度通常从第一步到最后一步增长。它从“也许”开始，以“肯定”结束。
错误路径： 当 AI 得出错误答案时，其置信度往往会下降或保持平稳。它可能起初自信，但随着推理深入，变得“怀疑”或困惑，即使它仍然输出错误答案。

类比： 这就像一名登山者攀登高山。

正确的登山者： 从山脚（低置信度）出发，找到正确的路径，随着海拔升高，视野变得清晰，他们对自己走在正确路径上变得更加确信。
错误的登山者： 从山脚出发，走错了方向，随着攀登升高，路径变得模糊和混乱。他们意识到自己迷路了，但尽管如此仍继续前行，最终带着低置信度到达错误的顶峰。

3. 解决方案：“动态增益”评分

本文提出了一种新的投票系统，它不仅统计票数，还关注置信度的变化。

工作原理： 对于每个答案，系统计算“置信度动态增益”。这很简单：（结束时的置信度）减去（开始时的置信度）。
规则： 如果一个答案的置信度在思考过程中显著上升，它就会获得加分。如果置信度下降，则会受到惩罚。

4. 结果：更优的优胜者

当研究人员在 AIME 和 HMMT 等高难度数学竞赛中测试这种方法时，这种新方法比旧的“多数投票”或其他置信度检查方法更频繁地选出了正确答案。

它成功过滤掉了“幻觉”（听起来很自信但错误的答案），因为这些错误答案通常在推理变得复杂时显示出置信度下降。
它提升了正确答案，因为它们显示出确定性的稳步上升。

为什么会发生这种情况？（理论）

作者认为，这种现象的发生是因为这些 AI 模型的训练方式。

“群体”效应： 在模型训练时，它了解到只有一个正确答案（真实标签）。因此，所有“正确”的思维路径最终都会汇聚到那个唯一的答案上，使得模型在结束时非常自信。
“混乱”的错误路径： 有无数种方法可以得出错误答案。“错误”的思维路径是分散且多样的。因为它们并不都导向同一个错误点，模型从未获得一个强烈、统一的信号来在结束时保持自信。它保持困惑或失去信心。

总结

简而言之，这篇论文告诉我们，AI 的置信度随时间变化的方式，比仅仅看它在结束时的置信度更能反映真相。 通过奖励那些“逐渐确立”其确定性的答案，并惩罚那些“迷失方向”的答案，我们可以在无需重新训练模型的情况下，从 AI 推理中获得更好的结果。

技术摘要：基于置信度动态的推理时间优化

问题陈述

尽管 Best-of-N 采样和重复采样等推理时间优化技术显著增强了大语言模型（LLM）的推理能力，但现有策略往往忽视了模型不确定性动态的关键作用。当前最先进的方法（如多数投票或置信度加权投票，例如 DeepConf）依赖于静态置信度度量，这些度量聚合了整个推理轨迹的信息（例如平均困惑度或序列级概率）。这些方法要么平等对待所有轨迹，要么基于单一聚合分数对其进行加权，从而可能掩盖关于模型确定性在推理过程中如何演变的宝贵信号。本文认为，从推理链开始到结束的置信度轨迹包含目前未被充分利用的判别性信息，可用于答案选择。

方法论：置信度动态增益（CDG）

本文提出了一种名为**置信度动态增益（Confidence Dynamic Gain, CDG）**的新型投票机制，该机制明确纳入了推理轨迹上置信度的演变过程。

1. 实证观察

通过在四个不同的开源架构（DeepSeek-R1、gpt-oss、Gemma-3、Qwen-QwQ）上针对数学基准（AIME、HMMT、BRUMO）进行大量实验，作者发现了一个独特的模式：

正确轨迹： 表现出系统性的正向置信度增益，即随着推理链从初始 token 推进到最终结论，模型的置信度逐渐增加。
错误轨迹： 表现出减弱或负向的置信度增益，即在推理进行过程中，置信度呈现下降或停滞状态。

2. 置信度度量与轨迹分箱

为了量化这一现象，作者基于前 K 个 token 的概率，使用截断的 Kullback-Leibler (KL) 散度近似来定义 token 级置信度（ $C_t$ ）。为了比较不同长度的轨迹，他们采用了一种位置归一化分箱方法：

将每条轨迹划分为 $N$ 个等大小的分箱（默认 $N=10$ ）。
“头部”（Head）分箱代表前 $P\%$ 的 token，“尾部”（Tail）分箱代表后 $P\%$ 的 token。
置信度动态增益（ $\Delta C_\ell$ ） 计算为尾部分箱的平均置信度与头部分箱的平均置信度之差：
$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$
正的 $\Delta C_\ell$ 表示置信度增加；负值表示置信度降低。

3. CDG 投票算法

轨迹 $\ell$ 的最终答案选择分数（ $s_\ell$ ）结合了平均轨迹置信度（ $\bar{C}_\ell$ ）与动态增益：
$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$
其中， $\beta$ 是控制动态信号影响程度的超参数。

候选答案 $a$ 的最终分数聚合了这些轨迹分数，并引入了计数阻尼因子，以防止多数投票淹没置信度信号：
$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$
其中 $|T_a|$ 是答案 $a$ 的轨迹数量， $\alpha \in [0, 1]$ 用于阻尼计数的主导地位， $\mu_a$ 是生成答案 $a$ 的轨迹的平均分数。

4. 理论依据

本文提供了理论分析，将这一现象与**组相对策略优化（Group Relative Policy Optimization, GRPO）**联系起来，GRPO 是推理模型常用的训练算法。

假设： 正确轨迹收敛于单一真实答案（尾部出现频率高），而错误轨迹发散为多种失败模式（尾部出现频率低）。
机制： GRPO 为正确轨迹分配正优势，为错误轨迹分配负优势。这导致正确轨迹具有更高的“尾部对头部”集中度比率，从而推动置信度（logits）在序列末尾急剧上升。缺乏这种收敛性的错误轨迹则不会表现出相同的置信度激增。

主要贡献

实证发现： 识别出一种系统性模式，即在多种 LLM 架构中，与错误轨迹相比，正确推理轨迹表现出更高的置信度增益（从头到尾）。
新方法（CDG）： 提出了一种无需训练的投票方法，利用置信度动态作为判别信号，该方法概括了多数投票和基于静态置信度的方法。
理论洞察： 理论分析将观察到的置信度梯度与 GRPO 的训练动态及可验证奖励联系起来，解释了为何正确轨迹自然地在尾部形成“置信度激增”。
实证验证： 在具有竞争力的数学推理基准测试中，证明了其相对于最先进基线的一致性能提升。

实验结果

作者在四个模型（DeepSeek-R1-8B、gpt-oss-20B、Gemma-3-27B、Qwen-QwQ-32B）上评估了 CDG，测试数据集涵盖 AIME 2024/2025、HMMT 2025 和 BRUMO 2025。

性能： CDG 在所有模型和数据集上实现了最高的平均准确率。
- 相比多数投票，平均提升了 5.4%。
- 相比 DeepConf-Mean，提升了 4.8%。
- 优于 DeepConf-Tail（仅使用尾部置信度）1.7%，证明了动态方面（从头到尾的差异）至关重要，而不仅仅是尾部置信度本身。
消融研究：
- 计数阻尼（ $\alpha$ ）： 移除计数阻尼（ $\alpha=1$ ）显著降低了性能，证实了需要在轨迹数量与置信度信号之间取得平衡。
- 动态权重（ $\beta$ ）： 当 $\beta$ 针对模型的置信度分离度调整到特定范围时，性能达到峰值，证实动态信号提供了与静态置信度互补的信息。
- 轨迹长度： 无论轨迹长度如何，CDG 均保持优势，表明该信号对序列长度变化具有鲁棒性。
- 格式伪影： 排除 \boxed{} token（通常是末尾的高置信度格式 token）并未改变结果，证明该信号源于推理动态而非格式伪影。

意义与主张

本文主张，CDG 为改进 LLM 推理中的答案选择提供了一种鲁棒的、无需训练的判别信号。通过利用模型在推理过程中置信度的自然动态，CDG 提供了一种原则性的方法，无需重新训练模型或额外的奖励模型即可选择正确答案而非幻觉答案。

作者指出，虽然该方法在数学推理的 Best-of-N 扩展中非常有效，但它继承了生成多条轨迹的计算成本。他们还承认了局限性，包括需要针对特定模型调整 $\beta$ 参数，以及需要访问 token 级的对数概率（这在某些闭源 API 中可能不可用）。这项工作表明，关于置信度动态的这些见解可能推广到其他具有可验证奖励的优势加权策略梯度方法。