💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

本文介绍了 CARE-RFT，这是一种采用偏斜反向 KL 散度的新型强化微调方法，旨在解决推理性能与模型可信度之间的权衡，在实现无约束 RFT 的高推理能力的同时，保留了基座模型的校准性和可靠性。

原作者： Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位非常聪明、博学多才的学生（即 AI 模型）如何解决复杂的谜题。你希望他们成为一名推理大师，能够进行步步拆解的思考，并找到创造性的解决方案。然而，你也希望他们在不确定时保持诚实，不要编造事实。

这篇名为 CARE-RFT 的论文，探讨了当我们试图使用一种称为“强化微调”（Reinforcement Finetuning, RFT）的方法来训练这些学生时所遇到的特定问题。

问题所在：“过度自信的梦想家” vs. “谨慎的官僚”

作者发现，目前的训练方法迫使你在两个糟糕的选项中做出选择：

无约束方法（过度自信的梦想家）： 如果你让学生纯粹通过试错来学习，而不设定严格规则，他们会变得非常擅长解决难题。他们会开始跳出框架思考！但同时，他们也会开始产生幻觉。他们会对自己的答案过度自信，甚至会自信满满地捏造虚假事实或在不知道的情况下撒谎。他们失去了“校准度”，这意味着他们的信心水平与其真实的准确性并不匹配。
- 类比： 这就像一个背下了数学考试答案集的学生，但他并不理解数学本身。如果考试题目稍有变化，他就会开始盲目且自信地乱猜，虽然可能靠运气得到正确答案，但却无法做到可靠。
RKL 约束方法（谨慎的官僚）： 为了阻止撒谎，研究人员通常会添加一个被称为“反向 KL 散度”（Reverse KL, RKL）的“安全牵引绳”，强迫学生紧贴其原始的、预训练时的个性。这能让他们保持诚实和事实准确。
- 代价： 这条牵引绳太紧了。它惩罚学生尝试任何新事物或不同路径的行为。因为害怕偏离“安全”路径，他们停止了学习如何解决复杂难题的能力。他们保持了诚实，但也失去了智慧。

解决方案：CARE-RFT（“以信心为锚”的教练）

作者提出了一种名为 CARE-RFT 的新方法。你可以把它想象成一位聪明的教练，他知道何时该放松牵引绳，何时该拉紧。

CARE-RFT 没有使用单一、僵化的规则，而是使用了一个特殊的工具，叫做偏斜反向 KL（Skew Reverse KL）。以下是利用一个简单的隐喻来解释它的工作原理：

“锚”的概念： 想象学生是一艘船，而原始的、训练良好的模型是一个沉重的锚。
标准 RKL（旧方法）： 锚是一个巨大且不可断裂的铁链。如果船试图稍微漂移到新的、未知的海域（探索新的推理路径），铁链就会猛烈地将它拉回。船很安全，但永远无法进行探索。
无约束 RFT（另一种方法）： 锚被切断了。船可以去任何地方，但它可能会撞上岩石（产生幻觉）或漂向悬崖（失校）。
CARE-RFT（新方法）： 锚是一个智能的可调节系留装置。
- 当学生不确定时： 如果船正漂向雾气弥漫、充满不确定性的海域，系留装置会用力拉紧，让学生立足于基础模型的安全、事实性知识之上。这能防止幻觉的产生。
- 当学生充满信心并获得奖励时： 如果学生尝试了一条新路径并且成功了（获得了高奖励），系留装置就会放松。它允许学生向外漂移得更远以进行探索和学习复杂的推理，但前提是他们已经证明自己走在了正确的轨道上。

使用 CARE-RFT 会发生什么？

论文在不同的 AI 模型（如 Qwen2.5）上进行了实验，发现 CARE-RFT 实现了“两全其美”：

保留了“梦想家”的智慧： 这些模型在解决数学和推理难题方面的表现，与那些容易产生幻觉的无约束模型一样出色。
保留了“官僚”的诚实： 这些模型与那些戴着紧箍咒的谨慎模型一样值得信赖且事实准确。它们不再编造事实，且其信心水平与其真实表现相符。

“熵”的秘密

作者还观察了模型在训练过程中的“熵”（衡量不确定性的指标）：

无约束模型变得非常“脆弱”——它们的确定性过快地坍缩至零，导致它们过度自信且容易出错。
RKL 模型则显得过于“模糊”和不确定，以至于无法学习复杂的任务。
CARE-RFT 找到了一个“金发姑娘区”（意指完美的中间地带）。它允许模型变得足够自信以解决难题，但又不会过度自信到不再质疑自己。

总结

简而言之，CARE-RFT 是一种新的训练技术，它扮演着智能安全网的角色。它允许大语言模型在探索新的、复杂的推理策略时，不会脱离现实。它证明了你不需要在成为一名卓越的推理者和一名可靠的事实核查者之间做选择；通过这种正确的“以信心为锚”的方法，你可以两者兼得。

技术摘要：CARE-RFT

问题陈述

强化微调（Reinforcement Finetuning, RFT）已成为解锁大语言模型（LLM）涌现推理能力的关键范式，例如 DeepSeek-R1-Zero 等模型。然而，作者指出在推理性能与模型可信度之间存在一个关键的权衡：

无约束 RFT： 虽然像没有约束的组相对策略优化（Group Relative Policy Optimization, GRPO）这类算法可以实现卓越的推理准确度，但它们严重损害了模型的可靠性。缺乏约束会导致“无差别强化”，即如果最终结果正确，模型会对整个思维链（包括逻辑有误的中间步骤）进行强化。这导致了幻觉率上升、检索基准上的事实性下降以及校准度变差（高预期校准误差，即 ECE）。
RKL 约束的 RFT： 为了减轻幻觉，标准方法通过引入反向 Kullback–Leibler（Reverse KL, RKL）散度惩罚来使训练后的策略（ $\pi_\theta$ ）保持接近参考策略（ $\pi_{ref}$ ）。虽然这保留了校准度和事实性，但 RKL 惩罚是无界的。它会对参考模型分配低概率的 token 施加无限大的惩罚，从而抑制了对偏离基座模型的新颖、高奖励推理路径的探索。因此，与无约束 RFT 相比，其推理增益受到了限制。

核心挑战在于设计一种既能允许推理所需的探索，又能防止导致幻觉和失校的无锚定偏差的正则化方法。

方法论：CARE-RFT

作者提出了 CARE-RFT（置信度锚定正则化强化微调），它使用**偏斜反向 KL（Skew Reverse KL, SRKL）**散度取代了标准的 RKL 惩罚。

理论基础

标准 RKL 散度（ $D_{RKL}$ ）会惩罚 $\pi_\theta$ 向 $\pi_{ref}$ 认为不太可能的 token 分配概率的行为。当 $\pi_{ref}(o_t) \to 0$ 时，该惩罚会趋于无穷大，从而阻止模型探索那些概率虽低但可能正确的推理策略。

CARE-RFT 引入了一个偏斜参数 $\alpha \in (0, 1)$ 来定义一个混合分布。SRKL 散度定义为：
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

核心机制

置信度锚定惩罚： SRKL 惩罚是置信度敏感的。
- 向上偏差（探索）： 当模型具有高置信度（ $\pi_\theta$ 较高）且持续获得奖励时，增加某个 token 概率的惩罚是有界的。项 $\log(1/\alpha)$ 起到了有限上限的作用。这允许模型在不受参考模型低概率抑制的情况下，在新的、高奖励的推理模式上累积概率质量。
- 向下偏差（保留）： 当模型试图降低参考模型所青睐的 token 的概率（或当模型不确定时），惩罚仍然是无界的（当比例趋近于 0 时趋向于 $-\infty$ ）。这确保了模型不会偏离基座模型的良好校准先验，从而保留了事实性的基础。
梯度稳定性： 对于向上移动，SRKL 的梯度系数是有界的，这缓解了当参考模型对采样 token 分配近乎零概率时，标准 RKL 常出现的“梯度爆炸”和估计器方差问题。

实验设置

作者在多种模型规模（Qwen2.5-3B 和 7B）以及三种不同的 RFT 算法上评估了 CARE-RFT：

GRPO： 基础的组相对策略优化。
DAPO： 一种激进的、无约束的变体。
GSPO： 一种近期的序列级优化方法。

基准测试：

推理： MATH 和 GSM8K（以 Pass@4 衡量）。
可信度/事实性： TruthfulQA 和 SelfAware（以 Pass@1 衡量）。
校准度： TruthfulQA 上的预期校准误差（ECE）。

关键结果

实验表明，CARE-RFT 成功打破了准确度与校准度的权衡：

推理性能： CARE-RFT 达到了与无约束 RFT 相当的推理性能。例如，在使用 GRPO 处理 Qwen2.5-3B 时，CARE-RFT 的 MATH 得分为 0.600，几乎与无约束版本（0.610）持平，且显著高于 RKL 约束的 GRPO（0.510）。
可信度与校准度： 与无约束 RFT 导致的 TruthfulQA 准确度严重下降和高 ECE 不同，CARE-RFT 恢复了基座模型的可信度。
- TruthfulQA： CARE-GRPO 得分为 0.465，接近基座模型（0.489）和 RKL-GRPO（0.480），而无约束 GRPO 则降至 0.350。
- ECE： CARE-RFT 保持了较低的 ECE（0.132），与 RKL 约束方法（0.125）相当，且明显优于无约束方法（0.210）。
训练动态： 对 token 熵的分析显示，无约束 RFT 会导致熵的灾难性坍缩（过度自信），而 RKL 虽然维持了高熵，但限制了分布的锐化。CARE-RFT 实现了一种受控的熵减，允许模型在不陷入过度自信的情况下，通过锐化分布来实现推理。

意义与主张

论文声称，细致的、具备置信度感知的正则化是构建既强大又可靠的推理模型的关键。

解决权衡： CARE-RFT 通过引入一种单侧的有界惩罚，解决了探索需求（以解锁推理）与约束需求（以防止幻觉）之间的紧张关系。
泛化性： 该方法被呈现为一种“即插即用”的正则化层，兼容多种 RFT 算法（GRPO、DAPO、GSPO）和模型规模。
机制洞察： 本研究确立了无约束 RFT 的失败不仅在于缺乏约束，更在于结果级奖励的无差别性。通过转向基于 token 级别、置信度锚定的约束，模型可以在不牺牲基座模型事实先验的情况下学习复杂的推理模式。

作者总结道，他们的方法使模型能够在保持高风险应用所需可靠性的同时，实现展现“顿悟时刻”（aha moment）的涌现推理，而无需依赖于会阻碍学习的传统 RKL 约束中的无界惩罚。