技术摘要：弱批评者成就强学习者

问题定义

随着大语言模型（LLM）能力的提升，依赖人类或弱模型监督的传统对齐方法面临着可扩展性的瓶颈。当一项任务过于复杂，以至于监督者（人类或弱模型）无法直接解决或验证时，标准的弱到强泛化（weak-to-strong generalization）和可扩展监督（scalable oversight）方法就会陷入困境。现有方法通常要求弱监督者提供直接标签、偏好信号或对完整答案的最终判断。当任务超出监督者的能力范围时，这些信号会变得具有噪声、不完整或存在系统性错误，从而限制了对更强模型进行引导的能力。

本文通过改变弱监督者的角色，来解决可扩展监督和弱到强泛化的挑战。作者提出，弱模型不应仅仅作为标签提供者或评判者，而应作为批评者（critic）。其核心假设是：弱模型不需要提供正确的答案或详细的错误分析，它只需要提供一个非误导性的修订方向（例如，建议缺少某个条件、推理不完整或需要检查边界情况），以帮助更强的模型更好地利用其自身知识。

方法论：在策略批评蒸馏（On-Policy Critique Distillation, OPCD）

作者提出了一个名为**弱批评强监督（Weak-Critic Strong Oversight）的框架，并通过一种名为渐进式在策略批评蒸馏（Progressive On-Policy Critique Distillation, OPCD）**的方法将其具体化。

1. 推理时验证

在训练之前，作者在推理阶段验证了核心假设。该流程包括：

1. 生成： 强模型（$S$）针对提示词（$x$）生成初始答案（$a$）。
2. 批评： 弱模型（$W$）基于 $x$ 和 $a$ 生成批评意见（$c$）。
3. 精炼： 强模型在给定 $x, a, c$ 的条件下生成精炼后的答案（$r$）。

结果表明，即使是通用的修订方向，弱模型的批评也能在性能上优于仅进行多次采样而不使用批评的做法。至关重要的是，批评的质量至关重要：高质量的批评能提升性能，而误导性的批评则会导致性能下降至基准线以下。

2. 训练时蒸馏（OPCD）

为了将这些推理阶段的增益内化，OPCD 采用了一个迭代的在策略（on-policy）训练循环：

• 在策略生成： 在每个 epoch 中，当前的强模型（$\pi_\theta$）为一组输入生成一批在策略答案（$y_i$）。
• 弱批评： 弱模型（$\pi_w$）对每个答案进行批评。
• 批评过滤： 由于弱模型的批评可能会产生误导，因此应用了过滤步骤。对于每个三元组 $(x, y_i, f_i)$，强模型尝试利用批评意见来精炼答案。只有满足以下条件时，批评才会被保留：
  1. 结果检查： 精炼后的答案是正确的（$r_{out}$）。
  2. 准则检查： 该批评被认为是相关的且作为修订指导是有用的（$r_{rub}$）。
• 自我教师蒸馏： 过滤后的集合用于蒸馏。
  • 教师（Teacher）： 以批评意见为条件的强模型（$\pi_\theta(\cdot | x, f, y_{<t})$）。
  • 学生（Student）： 不再访问批评意见的同一强模型（$\pi_\theta(\cdot | x, y_{<t})$）。
  • 目标： 最小化学生分布与教师分布之间的 Token 级 KL 散度。这使得强模型能够内化来自批评引导推理的“稠密 Token 级信号”，而无需在测试时使用批评意见。
• 渐进式更新： 该过程是渐进式的；在每次更新后，强模型会生成带有新错误模式的新答案，从而促使弱批评者提供新鲜且具有适应性的批评。

核心贡献

1. 基于批评的弱监督： 本文指出，“批评”是一种比标注或评判更易实现的弱监督形式。它引入了弱批评强监督设置，其中弱监督者提供的是修订方向而非完整的解决方案。
2. 推理时验证： 作者证明了即使是通用的批评，也能提高冻结强模型在推理和对齐任务上的表现。他们确定了批评质量是实现可靠提升的核心因素。
3. OPCD 算法： 他们引入了一种渐进式的在策略蒸馏策略，通过过滤高质量的批评并将其作为自适应的弱反馈来训练强模型，从而避免了对地面真值（ground-truth）标签的需求。
4. 实验结果： 在推理（GPQA, AIME）和对齐（IFEval）基准测试中的实验表明，OPCD 随训练轮数增加而逐步提升了强模型的性能。

实验结果

论文在两个主要场景下评估了该方法：

• 推理（GPQA Diamond, AIME 2024/25）：

  • 推理阶段： 使用 Phi-4-14B（强模型）和 Phi-4-mini（弱模型），“批评并精炼”流程将 GPQA Diamond 的 pass@16 准确率从 83.84%（仅使用 S）提升至 90.40%。在 AIME 任务中使用 Qwen 模型也观察到了类似的提升。
  • 训练阶段： 使用 Qwen3-4B（强模型）和 Qwen3-1.7B（弱模型）在 GPQA 上进行实验，OPCD 将 mean@8 准确率从 38.22% 提升至 42.67%，将 pass@8 从 70.25% 提升至 76.86%。训练动态显示出比对齐任务更高的方差，表明推理任务对批评质量更为敏感。

• 对齐（IFEval）：

  • 推理阶段： 在 IFEval 上，“批评并精炼”流程将 pass@16 从 77.82% 提升至 90.76%。
  • 训练阶段： 使用 Phi-4-14B（强模型）和 Phi-4-mini（弱模型）在 Magpie 对齐语料库上，OPCD 将 mean@8 从 61.60% 提升至 68.74%，将 pass@8 从 75.97% 提升至 80.41%。训练损失稳步下降，表明在此类监督下优化过程稳定。

结果表明，虽然推理任务产生的训练信号比对齐任务噪声更大，但 OPCD 在这两个领域中依然有效。

意义与主张

本文声称，基于批评的弱监督为可扩展监督和弱到强泛化提供了一条可行的路径。通过降低弱监督者对完全解决或评判任务的要求，该方法减轻了监督者的认知负担，同时仍能提供有效的引导。

作者将这项工作定位为解决“当任务超出监督者能力时，监督信号变得不可靠”这一局限性的方案。通过专注于“修订方向”而非“最终答案”，该方法允许强模型更有效地利用自身的知识。论文总结道，这种方法是一个极具前景的研究方向，未来可以与其他机制（如辩论或过程监督）相结合，并建议未来的研究应侧重于改进批评质量的评估以及将其扩展到更广泛的任务领域。