💬 NLP

From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation

本文介绍了 CARE-PPO，这是一个强化学习框架，它利用置信度对齐奖励（Confidence-Aligned Reward），通过将 PPO 评论家（critic）重新定义为鲁棒的置信度估计器，来共同优化基于语言的定量预测及其可靠性，从而在医疗保健和金融领域中，在准确性和不确定性校准方面均优于现有基准。

原作者： Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它能读懂一段关于你午餐的凌乱描述，并准确猜出其中含有多少克碳水化合物。这对于需要知道胰岛素剂量的糖尿病患者来说非常棒。但问题在于，有时这个机器人会对一个完全错误的答案表现得极其自信。它可能会说：“我100%确定这个披萨含有5克碳水化合物！”而实际上它可能有40克。这是很危险的。

这篇论文介绍了一种名为 CARE-PPO 的新训练方法来解决这个问题。把这个过程想象成有两个大脑在协同工作：一个执行者（Actor）（即猜测者）和一个评论家（Critic）（即评判者）。

旧方法 vs. 新方法

通常，当我们训练这些机器人时，我们只是告诉它们：“你对了”或者“你错了”。这就像老师给学生打一个红色的“X”或绿色的“对勾”。学生学会了如何把数字变对，但他们并没有学会何时该信任自己。他们可能会因为运气好而得到一个绿色的对勾，从而进行盲目的猜测，或者即使自己是对的也会感到不确定。

作者认为，这种“二元化”（对/错）的方法是不够的。他们明确排除了仅仅使用机器人自身的内部“置信度”评分（例如基于其自身思维产生的确定感），也排除了让它用语言表达“我有80%的把握”这种方法，因为这些方法往往会导致机器人过度自信且出错。

CARE-PPO 的魔力

CARE-PPO 通过给机器人配备一个严格但公正的教练——评论家，改变了游戏规则。以下是它的工作原理：

奖励机制： 评论家不再只是给出一个“对/错”的对勾，而是根据猜测与实际情况的偏差程度给出分数。如果机器人猜的是44克，实际也是44克，它会得到巨大的奖励。如果它猜的是17克，它会得到较小的奖励（或惩罚）。猜测越接近，分数越高。
评论家的秘密任务： 在执行者试图把数字猜对的同时，评论家正在学习预测执行者的猜测会有多好。论文指出，通过训练评论家去预测这些分数，它自然而然地成为了一个置信度计。
- 如果评论家看到某种情况下执行者经常犯大错，它就会给出较低的“置信度分数”。
- 如果情况很简单，执行者通常能答对，评论家就会给出较高的“置信度分数”。

这就像电子游戏，评论家不仅仅是在观察玩家，它还在学习预测玩家未来的表现。随着时间的推移，评论家变得如此出色，以至于它的预测本身就是置信度分数。你不需要问机器人：“你有多确定？”因为评论家已经知道了。

数据说明

作者在两个现实任务上测试了该方法：

营养学： 从饮食描述（如“一片意大利腊肠披萨”）中猜测碳水化合物。
金融： 从产品描述（如“一台搅拌机”）中猜测产品价格。

他们使用了两个版本的 Qwen-3 模型（一个拥有 40亿 参数，另一个拥有 80亿 参数）。

结果令人鼓舞：

准确性： CARE-PPO 模型的准确率几乎达到了其他最佳方法的水平。
置信度： 这是它闪光的地方。评论家的置信度分数在匹配现实情况方面比其他方法都要好。在测试中，当模型出错时，评论家给出了低分；当模型正确时，则给出了高分。
鲁棒性： 即使在测试从未见过的东西（如不同语言的饮食描述——西班牙语、意大利语等；或不同类别的产品——电子产品而非家用电器）时，该方法依然有效。

“任务过拟合”问题

一个很有趣的发现是，这种方法有助于让机器人保持“任务感知”。如果你要求一个接受过食物训练的机器人写一首诗，一个使用旧有的“监督微调”（SFT）方法训练的机器人可能会感到困惑，并试图计算这首诗里的碳水化合物！然而，CARE-PPO 机器人则能更好地意识到：“嘿，这不是食物，我不应该猜测碳水化合物。”它们在保持擅长特定工作的同时，保留了通用的“我无所不能”的个性。

总结

这篇论文表明，通过在训练过程中将预测的“置信度”与预测的“误差”直接挂钩，我们可以构建出不仅能给出更好数字，而且知道何时该说“对此我不确定”的 AI。这是向在医疗和金融等高风险场景下更安全、更可靠的 AI 迈出的一步，且无需额外的步骤或要求 AI 用语言来猜测自己的置信度。作者发现这在模拟和现实世界数据集中都表现良好，尽管他们也提到目前仍在探索如何将其扩展到更大的模型。

技术摘要：用于基于语言的定量预测的 CARE-PPO

问题陈述

大语言模型（LLMs）已展现出从非结构化自然语言输入中进行定量预测的能力，例如从饮食描述中估算碳水化合物含量或预测产品价格。然而，这些模型仍然容易受到幻觉和过度自信错误的影响，这是在医疗保健和金融等高风险领域的一个关键局性。现有的 LLM 置信度估计方法主要集中在分类或开放式生成，通常依赖于事后方法（例如，言语化置信度、Token 概率或熵），而这些方法在训练期间并未得到优化。此外，目前的定量预测方法优先考虑准确的点估计，却忽略了可靠置信信号的生成，导致用户在何时应当信任预测结果时缺乏指导。

方法论：CARE-PPO

作者引入了 CARE-PPO（基于 PPO 的置信度对齐奖励），这是一个强化学习框架，它在用于不确定性估计的损失预测与 Actor-Critic 近端策略优化（PPO）微调之间建立了全新的联系。

核心洞察

该框架建立在一个洞察之上：模型在给定输入下的预测不确定性可以被表征为预测器所产生的预期损失。通过将 Actor-Critic 设置中的奖励定义为预测误差的函数，Critic 的价值函数会自然地收敛于对 Actor 预期误差的估计。这使得 Critic 能够直接作为置信度估计器，而无需显式的置信度监督或单独的校准阶段。

框架架构

Actor-Critic 设置： 系统将语言生成建模为一个马尔可夫决策过程（MDP）。Actor ( $\pi_\theta$ ) 生成推理轨迹和最终的数值估计。Critic ( $V_\phi$ ) 估计给定状态下的预期回报。
置信度对齐奖励： 终止奖励 $R(s_T)$ $R (s_{T})$ 被定义为绝对预测误差 $\xi = |\hat{y} - y|$ $ξ = ∣ \overset{y}{^} - y ∣$ 的单调函数，其中 $\hat{y}$ $\overset{y}{^}$ 是预测值， $y$ $y$ 是地面真值（Ground Truth）。作者提出了两种实例化方式：
- 线性奖励： $h(\xi) = -\xi$ ，提供一种稠密且无界的信号。
- 高斯奖励： $h(\xi) = \alpha \exp(-\xi^2 / 2\sigma^2)$ ，提供一种有界且可解释的信号，其中 $\sigma$ 控制误差容忍度。
训练目标： 通过 PPO 优化 Actor 以最大化预期回报（最小化误差），同时训练 Critic 回归到经验回报。
推理： 在推理阶段，Critic 的价值估计被直接重新利用为置信度分数。高值表示低预期误差（高置信度），低值表示高预期误差（低置信度）。

核心贡献

理论联系： 本文建立了损失预测理论与 Actor-Critic 强化学习之间的联系，证明了当奖励与预测误差对齐时，PPO Critic 会自然地学习估计 Actor 的预期损失。
CARE-PPO 框架： 一个统一的框架，通过联合训练一个用于准确数值估计的 Actor 和一个用于误差对齐置信度估计的 Critic，消除了对显式置信度监督的需求。
全面评估： 该方法在两个现实任务（营养估算和产品价格预测）上使用 Qwen-3 4B 和 8B 模型进行了评估。
鲁棒性分析： 研究表明，CARE-PPO 在现实的分布外（OOD）设置下（包括语言偏移——多语言输入，以及领域偏移——不同的产品类别）仍能保持性能和置信度对齐。

实验结果

作者将 CARE-PPO 与包括基础模型（Base Models）、监督微调（SFT）以及带有二元奖励的 PPO 变体（PPO-Binary）在内的基准模型进行了对比。置信度估计则针对基于 Logit 的方法（答案概率 Answer Probability、熵倒数 EntropyInv）和言语化方法（Verb-1S、Verb-2S）进行了比较。

预测准确度： CARE-PPO 变体实现了具有竞争力的平均绝对误差（MAE），显著优于基础模型和 PPO-Binary。虽然 SFT 在某些情况下达到了最低的 MAE，但其置信度对齐效果较差。
置信度对齐： 通过稀疏化误差面积（AUSE）进行衡量，CARE-PPO 中的基于 Critic 的置信度估计器在所有任务、模型规模和设置下，均一致优于所有基准模型（包括言语化和基于 Logit 的方法）。
- 即使使用二元奖励（PPO-Binary），Critic 实现的 AUSE 也低于言语化基准，这表明 Actor-Critic 动态本身就会促进置信度感知表示的产生。
- 使用误差对齐奖励（线性/高斯）的 CARE-PPO 进一步放大了这些增益。
鲁棒性：
- 语言偏移： 在多语言营养估算任务中，CARE-PPO 保持了较低的 MAE 和显著更好的置信度对齐（更低的 AUSE），优于 SFT 和基础模型。
- 领域偏移： 在价格预测（从家电转移到电子产品）中，基于 Critic 的置信度保持稳健，而 SFT 和基础模型表现出了对齐能力的退化。
任务意识： 与 SFT 模型经常过拟合任务并对无关查询（如写一首五行诗）错误生成碳水化合物估算不同，CARE-PPO 模型保留了通用的指令遵循行为。作者指出，CARE-PPO-Linear 表现出比高斯变体略高的过拟合倾向，这可能是由于线性奖励的无界性质导致的。

意义与主张

论文声称 CARE-PPO 代表了使 LLM 在安全关键领域实现可靠定量预测的重要进展。其主要意义在于：

涌现置信度： 它证明了当奖励与预测误差对齐时，可靠的置信度估计可以作为标准 Actor-Critic 强化学习训练的副产品自然涌现，从而无需复杂的后验校准或辅助模型。
高效性： 该方法引入了极小的推理开销（延迟增加约 2.4%），因为 Critic 仅在完成响应后进行一次前向传播。
泛化能力： 与 SFT 相比，该框架减少了针对特定任务的过拟合，在实现定量任务专业化的同时，保留了模型的通用能力。

作者总结道，置信度感知的语言化定量预测是一个充满前景的方向，CARE-PPO 提供了一种将预测准确性与可靠的不确定性估计相结合的可扩展且高效的解决方案。