💬 NLP

CAMEL: Confidence-Gated Reflection for Reward Modeling

CAMEL 是一种基于置信度门控的反思框架，它将高效单 token 偏好决策与针对低置信度实例的选择性、强化学习驱动的自修正相结合，以更少的参数实现了最先进的奖励建模精度，并展现出更优的精度与效率权衡。

原作者： Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一位法官来决定两个答案中哪一个更好。你有两类法官：

快手：这位法官查看两个答案后，立刻大喊"A 更好！”或"B 更好！”！他们速度极快，雇佣成本极低，但有时会因为思考不够深入而猜错。
深思者：这位法官需要很长时间。他们会写一篇详细的文章，逐步检查事实和逻辑，解释为什么一个答案更好。他们通常非常准确，但为每个问题都雇佣他们既缓慢又昂贵。

长期以来，研究人员不得不在快手（快但偶尔出错）和深思者（准确但缓慢）之间做出选择。

CAMEL 登场：基于“置信度门控”的法官

这篇论文介绍了一个名为CAMEL（用于奖励建模的置信度门控反思）的新系统。它就像聘请了一位兼具两者优势的法官：他们起初像快手，但如果感到不确定，就能瞬间切换为深思者。

以下是其工作原理，使用一个简单的类比：

1. “直觉检查”（置信度门控）

当 CAMEL 看到一个问题和两个答案时，它首先做出一个快速的“直觉”判断，立即选出胜者。

但这里的魔法在于：它知道自己有多确定。

想象你正在走过一座桥。

如果桥看起来很坚固，且你感到 100% 自信，你会快速走过。
如果桥看起来摇晃，且你感到不安，你会停下来仔细检查后再过桥。

CAMEL 也是如此。它会测量自己的“置信度分数”（基于它偏好一个答案胜过另一个答案的强烈程度）。

高置信度：如果它感到非常确定，它会立即停止并给出答案。这节省了时间和金钱。
低置信度：如果它感到摇晃或不确定，它会按下“暂停”按钮。它会说：“等等，我对这个不太确定”，然后开始反思。

2. “反思”（自我修正）

当系统决定需要反思时，它不会只是再次猜测。它会花点时间大声思考。它可能会说：“我最初选了 A，但让我再核实一下事实。哦，我发现 A 有一个错误。实际上，B 更好。”

这种“反思”是系统在给出最终答案之前，修正自身潜在错误的过程。

3. 他们如何训练这位法官

你可能会问：“如何教会计算机知道它何时不确定？”

研究人员使用了一种巧妙的训练方法，称为反事实前缀增强。

想象你在训练一名学生。通常，你会向他们展示正确答案。
但在这里，研究人员“欺骗”了学生。他们强迫学生先给出错误的答案（例如：“你必须说 A 更好”）。
然后，他们要求学生重新思考。如果学生意识到：“哦，等等，我是被迫说 A 的，但实际上 B 才是对的”，并改变了主意，他们就会得到奖励。
如果他们固执地坚持错误的答案，则得不到奖励。

这教会了模型诚实地面对最初的疑虑，并在意识到错误时真正改变主意，而不是仅仅重复它最初所说的话。

结果：快速、经济且更聪明

论文声称，这个新系统 CAMEL 是一个游戏规则改变者：

它是小巨人：它使用了一个相对较小的模型（140 亿参数），但在准确性上击败了更大的模型（700 亿参数）。
它高效：因为它只在困难问题上“深入思考”（反思），所以节省了巨大的计算资源。对于简单问题，它像快手一样快；对于困难问题，它像深思者一样准确。
得分：在三项主要测试中，它达到了**82.9%**的平均准确率，显著超越了之前的最佳模型。

总结：
CAMEL 是一位清楚自身局限的聪明法官。它不会在简单问题上浪费时间去过度思考，但也绝不在未先完成功课的情况下对难题进行猜测。这使得它既能极其快速，又能极其准确，实现了以往系统无法达到的完美平衡。

技术摘要：CAMEL——用于奖励建模的置信度门控反思

1. 问题陈述

奖励模型（RMs）对于将大语言模型（LLMs）与人类偏好对齐至关重要，通常通过预测两个候选回复中哪一个更受青睐来实现。现有方法通常遵循两种范式，每种范式都有独特的权衡：

标量判别模型：这些模型为每个回复分配一个标量分数，并诱导成对偏好概率（例如，通过 Bradley-Terry 模型）。它们计算效率高且稳定，但缺乏可解释性，并且在处理需要事实核查或细微指令遵循的复杂实例时往往表现不佳。
生成式评判模型：这些模型在输出判决之前生成文本判断（通常包含推理过程）。虽然它们提供了更丰富的透明度，并且在困难比较中往往表现更好，但由于它们为每个实例（包括简单的实例）生成 token，因此会产生显著的计算开销。

核心解决的问题是效率与表达力之间的权衡：如何在避免为每个查询生成推理轨迹所带来的高昂成本的同时，实现生成式模型的高准确性和推理能力。本文认为，许多成对比较是直截了当的，不需要深度反思，但当前的模型却同等对待所有实例。

2. 方法论：CAMEL

作者提出了CAMEL（置信度门控反思），这是一个两阶段框架，通过仅在必要时调用反思来桥接标量和生成式范式。

2.1. 核心洞察：置信度作为难度的代理

该方法基于一个经验观察：两个可能判决 token（例如， $A$ 与 $B$ ）之间的对数概率差值与预测正确性高度相关。

置信度分数（ $c(x)$ ）：定义为两个判决 token 对数概率之间的绝对差值：
$c(x) = |\log P_\theta(v=A|x) - \log P_\theta(v=B|x)|$
相关性：跨多个模型和基准的分析揭示了一种强单调关系：高置信度的预测更可能是正确的，而错误集中在低置信度区域。这使得模型能够利用其自身的预测分布作为实例难度的可靠代理，而无需额外的推理成本。

2.2. 推理流程（算法 1）

CAMEL 采用置信度门控推理过程：

初始判决：模型首先生成一个单 token 的初始判决（ $v_0$ ）。
置信度检查：根据 $v_0$ 的对数概率差值计算置信度分数 $c(x)$ 。
门控规则：
- 如果 $c(x) \geq \tau$ （其中 $\tau$ 是阈值），模型立即终止，返回 $v_0$ 作为最终判决。
- 如果 $c(x) < \tau$ ，模型调用反思阶段。它生成一个简短的推理轨迹（ $J$ ）以重新考虑比较，然后生成最终判决（ $v_1$ ）。

这种方法自适应地分配计算资源：简单案例通过单个 token 解决，而模糊案例则触发更深层的推理。

2.3. 通过强化学习进行训练

为了使模型有效利用这一两阶段过程，作者采用了组相对策略优化（GRPO）。

目标：最大化基于最终判决（ $v_1$ ）正确性的奖励，同时通过 KL 散度对参考策略（ $\pi_{ref}$ ）进行正则化。
奖励设计：使用简单的二元奖励：如果最终判决与真实标签匹配，则为 $+1$ ，否则为 $-1$。不需要辅助格式奖励。
反事实前缀增强：这是训练策略的关键组成部分。对于每个训练实例，模型会接触两个增强示例，它们具有相同的输入，但强制的初始判决不同（一个强制为 $A$ $A$ ，一个强制为 $B$ $B$ ）。
- 这防止了反思阶段退化为简单地复述初始判决。
- 它迫使模型学习是否应根据反思来确认或修改其初始判断，从而实现真正的自我修正。

3. 主要贡献

实证表征：本文识别并表征了单 token 对数概率差值与成对评判正确性之间的强相关性，确立了其作为实例难度稳健代理的地位。
CAMEL 框架：引入了一种两阶段框架，通过置信度门控反思桥接标量和生成式奖励建模。这包括“评判者”提示的具体设计，将决策因素化为初始判决、可选反思和最终判决。
训练创新：提出在强化学习训练期间进行反事实前缀增强，以诱导有效的自我修正，确保模型学会修正错误的初始判断，而不仅仅是重复它们。
最先进性能：证明 CAMEL 在三个主要基准测试中实现了卓越的性能，同时建立了严格更优的精度 - 效率帕累托前沿。

4. 实验结果

作者在三个广泛使用的基准测试上评估了 CAMEL（基于 140 亿参数的 Qwen3 模型）：RewardBench、RM-Bench和JudgeBench。

准确性：CAMEL 实现了**82.9%**的平均准确率，超过了最佳先前模型（INF-ORM-Llama3.1-70B）3.2%。值得注意的是，它仅使用 140 亿参数就超越了 700 亿参数的模型。
效率与准确性（帕累托前沿）：
- CAMEL-Fast（无反思）仅生成单个 token，就匹配或超过了基线准确率。
- CAMEL-Reflection（始终反思）取得了最高分数，但成本更高。
- 完整 CAMEL（置信度门控）建立了比强生成式基线（例如 RM-R1-DeepSeek-32B）严格更优的帕累托前沿。在中等置信度阈值下，CAMEL 在生成显著更少 token 的同时实现了更高的准确性。
消融研究：
- 反思：添加反思 consistently 提高了所有变体的准确率，证实了其作为测试时细化机制的价值。
- 反事实增强：未进行此增强训练的模型（标准 GRPO）表现不如 CAMEL，突显了让模型接触多样化的初始判决以学习有效自我修正的必要性。
- 置信度偏移：训练后分析显示，模型整体变得不那么自信（分布向左偏移），表明它学会了更加保守，更好地识别对奖励至关重要的 token，而不是过度自信地猜测。

5. 意义与主张

本文声称，CAMEL 通过解决效率与表达力之间的张力，代表了奖励建模的重要进步。

原则性分配：通过利用置信度与难度之间的强耦合，CAMEL 避免了对简单案例生成推理的“浪费”，同时确保困难案例得到必要的审查。
可扩展性：该方法通过优化推理预算而不仅仅是增加参数数量，使得较小的模型（140 亿参数）能够超越更大的模型（700 亿参数）。
泛化性：置信度 - 准确性相关性在多种基础模型（Qwen、Llama、Gemma、Mistral 等）和数据集中均被观察到，表明门控机制是一种与模型无关的策略。
实际部署：该框架提供了灵活的权衡，用户可以在不重新训练模型的情况下调整置信度阈值（ $\tau$ ）以匹配特定的资源约束（例如，延迟与准确性要求）。

作者得出结论，由置信度门控驱动并通过反事实增强训练的选择性反思，是下一代奖励模型可行且优越的策略。