技术摘要：Soft-SVeRL：基于软奖励的自我验证强化学习

问题陈述

基于可验证奖励的强化学习（RLVR）在数学和代码生成等领域取得了显著成功，这些领域的正确性可以通过确定性符号检查或单元测试来确定。然而，许多关键任务，特别是复杂的指令遵循任务，缺乏精确的参考答案或二元的通过/失败标准。在这些场景中，提示词通常包含多个要求（例如格式、关键词包含、长度限制），其中回复可能满足部分约束而非全部。

现有方法在这种“部分可验证”的设定下面临两个主要局限性：

1. 稀疏监督：二元的“全有或全无”奖励（通过/失败）无法为部分成功的回复提供梯度信号。
2. 嘈杂的整体判断：学习到的整体验证器（将整个回复作为一个整体进行判断的大语言模型）将多个要求压缩为单个嘈杂的决策，无法揭示哪些具体约束被满足或违反。

核心挑战在于：如何在无法访问完美基于规则的预言机（oracle）的情况下，针对正确性是部分的、嘈杂的且难以指定的情况，通过强化学习训练语言模型。

方法论

本文介绍了Soft-RLVR及其自我验证变体Soft-SVeRL，以应对上述挑战。

1. Soft-RLVR：基于清单的软奖励

Soft-RLVR 通过将提示词 $x$ 转换为原子、可验证的标准清单 $C(x) = \{c_1, \dots, c_K\}$ 来分解奖励信号。

• 分解：一个大语言模型（LLM）根据提示词生成一系列是/否标准清单。
• 条目级验证：一个学习到的验证器 $\rho_\phi$（一个大语言模型）针对每个标准 $c_k$ 单独评估每个回复 $y$，生成二元判断。
• 软奖励计算：最终奖励是满足条目的比例：
  $$R_{soft}(x, y) = \frac{1}{K} \sum_{k=1}^K \rho_\phi(x, y, c_k)$$
  这将稀疏监督转化为密集的、分级的信号，从而奖励部分进展。

理论分析（偏差 - 方差权衡）：
作者形式化了分解带来的收益与部分信用带来的风险之间的权衡。

• 方差降低：只要条目级误差不强相关，对 $K$ 个条目级判断取平均值相比单一整体判断能降低奖励方差。
• 偏差引入：部分信用会给不完整的回复分配非零奖励，从而可能使训练目标偏离严格的成功标准。
• 改进条件：本文推导了充分条件（定理 1），在此条件下，清单验证在策略梯度估计器中产生的均方误差（MSE）低于整体验证。具体而言，当分解带来的方差降低超过部分信用引入的偏差，且条目级敏感度至少与整体敏感度相当时，清单验证是有益的。

2. Soft-SVeRL：带稳定化的自我验证

Soft-SVeRL 将 Soft-RLVR 扩展至自我验证设定，其中策略模型 $\pi_\theta$ 同时也充当验证器（$\phi = \theta$）。这消除了对单独在线奖励模型的需求，但引入了“崩溃模式”。

崩溃问题：
在自我验证中，模型可以通过使其验证器更加宽容（即“总是回答是”的崩溃），而不是生成更好的回复，来提高其测量到的奖励。本文识别出驱动这一现象的两种机制：

1. 相关先验：生成器和验证器共享归纳偏置，导致验证器对生成器自身的输出过度自信。
2. 梯度耦合：使验证器更加宽容的更新会直接增加奖励信号，形成反馈循环，从而降低任务性能。

稳定化机制：
为防止崩溃，Soft-SVeRL 引入了三个稳定化组件：

1. 重复验证：对每个条目采样多个验证器轨迹（$J$ 票），计算经验通过率，以减少噪声。
2. 验证器协同训练：共享模型在以下混合数据上作为验证器进行训练：
   • 黄金数据：来自固定缓冲区的标记示例，用于锚定验证器对正确性的定义。
   • 回放数据：基于经验通过率进行伪标记的策略内样本，使验证器暴露于生成器当前的失败模式。
3. 抗崩溃惩罚（分区惩罚）：针对验证器在某个未严格成功的回复上产生混合投票（部分是“是”，部分是“否”）的“失败”上下文子集，应用特定的惩罚项。这阻止模型在其自身样本上统一膨胀“是”的预测。

共享目标函数为：
$$J(\theta) = J_{gen}(\theta) + \lambda_v J_{ver}(\theta) - \lambda_p J_{part}(\theta)$$

主要贡献

1. Soft-RLVR 框架：一种用于部分可验证任务的强化学习新方法，利用学习到的、基于清单的奖励，将稀疏的通过/失败监督转化为分级的条目级反馈。
2. 理论表征：对清单验证中的偏差 - 方差权衡进行了形式化分析，确定了分解验证在何种条件下能提供比整体判断更可靠的训练信号。
3. Soft-SVeRL 与崩溃缓解：引入了自我验证强化学习变体，并识别出“总是回答是”的崩溃模式。本文提出并验证了特定的稳定化技术（使用黄金数据/回放数据进行协同训练以及抗崩溃惩罚），以实现有效的自我验证。
4. 实证验证：证明了学习到的清单奖励可以在训练期间无需访问基于规则的ground truth的情况下，显著改善指令遵循能力，且验证器质量和清单质量都是下游性能的关键决定因素。

实验结果

作者使用Command R7B模型在IFEval基准（包含可验证约束的提示词数据集）和域外数学基准（MATH500、AIME 2024/2025）上评估了其方法。

• 指令遵循增益：使用外部大语言模型验证器（GPT-OSS-20B 和 120B）的 Soft-RLVR 分别将 IFEval 分数提高了**+10.3和+11.1**分（从基线的 73.89 提升至 84.20/85.00）。这一成果仅使用学习到的清单奖励实现，无需基于规则的训练信号。
• 领域迁移：尽管仅在指令遵循数据上训练，该模型在数学基准上也表现出提升（例如 MATH500 提升 +2.6 分），表明存在正向迁移且未发生灾难性遗忘。
• 验证器与清单质量：消融研究证实，清单生成器和验证器模型的质量均显著影响下游强化学习结果。更强的验证器和更高质量的清单（更接近 ground truth）能产生更好的结果。
• 自我验证稳定性：简单的自我验证导致性能下降（IFEval 从 73.89 降至 55.1）。然而，应用完整的 Soft-SVeRL 稳定化方案（协同训练、回放和抗崩溃惩罚）恢复了性能，实现了比基线（74.77 对比 73.89）高出**+0.88**分的适度增益。
• 清单与整体对比：基于清单的验证优于整体验证，特别是在使用噪声更大的验证器（GPT-OSS-20B）时，这与理论预测一致，即当个体判断嘈杂时，分解能最有效地降低方差。

意义与主张

本文主张，Soft-RLVR提供了一条可行的路径，将 RLVR 从具有精确验证器的领域（如数学和代码）扩展到复杂的、部分可验证的指令遵循任务。通过将提示词分解为原子标准并使用学习到的验证器，该框架生成了能够捕捉部分进展的密集奖励信号。

作者强调，虽然基于清单的奖励功能强大，但它们并非万能药；其有效性高度依赖于清单分解的质量和验证器的特异性。此外，这项工作突显了自我验证并非易事，若无明确的稳定化机制，极易出现奖励膨胀。提出的 Soft-SVeRL 框架表明，自我验证是可行的，但需要精心设计的架构（协同训练和抗崩溃惩罚）以防止模型操纵其自身的奖励信号。

这项工作将自己定位为符号验证的可靠性与学习到的大语言模型法官的灵活性之间的桥梁，使得在没有单一参考答案的设定下也能进行强化学习训练。