🤖 machine learning

Le Critique: Privileged Value Functions for LLM Reinforcement Learning

本文介绍了“Le Critique”，这是一个通过结合用于注入任务相关标记级信号的特权价值函数（PVF）以及用于在组相对基准与价值基准之间进行自适应插值的 TETHER，从而增强大语言模型强化学习的框架，该框架实现了优于标准价值函数基准的性能，并取得了与 GRPO 相当且具有竞争力的结果，同时缓解了诸如落后者展开（straggler rollouts）和高方差等问题。

原作者： Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一种如何教计算机程序更好地思考的持续斗争。想象一个正在参加考试的学生。如果他们得到了正确的最终答案，就会得到好成绩；如果错了，就会得到差成绩。许多现代人工智能系统就是这样学习的：它们尝试许多不同的方法来解决问题，然后计算机根据最终结果是成功还是失败来调整其大脑。这种方法被称为强化学习。然而，这里有一个陷阱。如果学生写了一篇长篇且复杂的文章，而最终成绩不理想，计算机并不知道是哪一个具体的句子导致了错误。它只知道整篇文章表现很差。这使得学习变得缓慢且低效，就像试图通过猜测哪个零件坏了来修理汽车引擎，却没有任何工具辅助一样。

为了解决这个问题，研究人员长期以来一直试图构建一个“评论家”（critic）来辅助人工智能。这是第二个计算机程序，它会在学生写作时观察他们，并逐句预测最终答案的表现如何。如果评论家能在早期就猜出最终成绩，它就能在学生走错路时立即告知，从而实现更快、更精准的学习。长期以来，这种方法并不受欢迎，因为构建和训练这个第二个程序非常困难且往往不可靠。最近，该领域转向了完全跳过评论家的方案，转而依赖于将不同组的答案进行相互比较。但这一篇新论文表明，使用评论家的旧想法并没有过时，它只是需要一种看待世界的新方式。

来自 Mistral AI 及其他机构的研究人员发现，评论家之所以失败，并不是因为这个想法不好，而是因为它经常被要求去做不可能完成的任务。他们发现，如果给评论家一些主 AI 学生无法看到的额外信息，评论家就会变得极其准确。他们称之为“特权价值函数”（privileged value function）。要理解这如何运作，请想象一个正在做数学测试的学生。学生正在逐步解题，而评论家在旁观察。通常情况下，评论家只能根据学生目前为止所写的内容来猜测最终得分。但在这种新设置中，评论家被秘密地递交了正确的答案解析。它并不会把答案展示给学生看，但它利用这些秘密知识来更准确地判断学生的当前进度。如果学生的当前步骤偏离了正确路径，评论家会立即察觉并给出清晰的信号以改变航向。这个信号能帮助学生比盲目猜测的评论家学得更快。

团队在几个困难的推理任务上测试了这个想法，包括解决逻辑谜题和编写计算机代码。在一个实验中，他们使用了一个数独谜题，AI 需要逐个填入网格中的数字。主 AI 只能看到它已经放置的数字。然而，特权评论家被展示了完全解出的网格。这使得评论家能够立即告诉 AI 某个动作是否正导致死胡同，即使 AI 才刚刚做了几步操作。结果令人瞩目。在他们尝试的每一个任务中，使用这种“特权”评论家都帮助 AI 学得更快，并达到了更高的分数。AI 不仅仅是运气好，它学会了做出更好的决策，因为它拥有了一张更清晰的通往目标的地图。

研究人员还意识到，有时评论家本身仍在学习阶段，并不完美。如果评论家过于自信却判断错误，它会误导 AI。为了解决这个问题，他们构建了第二个工具，称为“Tether”。这个系统就像一个智能开关。在训练开始阶段，当评论家还很新且不可靠时，系统主要依赖于对各组答案进行比较，这是一种安全但较慢的方法。随着评论家变得越来越好并开始给出准确的建议，Tether 系统会逐渐将信任转向评论家。它将两种方法融合在一起，在两者之间平滑过渡，而不需要人类工程师去调整参数。这确保了 AI 始终能获得最佳指导，无论评论家是新手还是专家。

这项研究表明，使用第二个程序来引导学习的旧想法不仅有效，而且更优越，前提是给予它正确的工具。通过允许评论家看到主 AI 看不到的信息，研究人员消除了学习过程中的猜测环节。他们还证明了这种方法可以变得稳健且自动化，能够随着评论家自身技能水平的提升而进行调整。虽然这项工作需要巨大的计算能力和精细的工程设计，但结果表明了一条清晰的前路。与其放弃评论家，教导人工智能进行推理的未来可能在于给予它一个更好的视角，让它能以一种此前无法企及的清晰度，从错误中学习。

技术摘要：用于大语言模型强化学习的特权价值函数

问题陈述

目前大语言模型（LLM）的强化学习（RL）主要由无评论家（critic-free）、组相对（group-relative）方法主导，例如 GRPO（组相对策略优化）。虽然这些方法通过对每个提示词采样多个响应并进行比较来降低梯度方差，但它们存在两个主要局限性：

序列级信用分配（Sequence-Level Credit Assignment）： 它们仅提供序列级的优势（advantages），无法提供在理论上更优的 Token 级粒度，从而难以实现更佳的时间信用分配。
拖后效应与离策性（Straggler Effects and Off-Policyness）： 训练会被组内最慢的展开（rollout）阻塞，从而降低吞吞吐量。在异步设置中，这会增加离策性，因为策略会在等待慢速响应时发生漂移。

**学习到的价值函数（Learned value functions）**在理论上可以解决这两个问题，因为它们能提供 Token 级的优势，并在无需大规模分组的情况下运行。然而，它们的采用受到了以下因素的阻碍：

基础设施复杂性： 维护一个单独的价值模型会增加工程开销。
拟合敏感性： 如果评论家（critic）拟合不良，价值基线可能会引入噪声或偏差，其表现往往不如简单的组平均值。
缺乏合理性证明： 无评论家方法的实际成功使得为价值函数增加成本变得难以证明。

方法论

本文提出了两种互补的策略来改进基于价值函数的强化学习，旨在通过增强性能和鲁棒性来证明其引入的合理性。

1. 特权价值函数 (Privileged Value Functions, PVF)

核心洞察在于，价值函数可以以**特权信息（privileged information）**为条件——即在训练期间可用但在推理期间对策略隐藏的信息——而不会违反策略梯度的无偏性。

机制： 特权价值函数 $V_\phi(h_{i,t}, z_{i,t})$ 将评论家建立在标准策略历史 $h_{i,t}$ 和额外上下文 $z_{i,t}$ 的基础上。
容许性（Admissibility）： 为了确保策略梯度保持无偏，特权信息 $z_{i,t}$ 在给定历史 $h_{i,t}$ 的条件下必须与当前 Token $y_{i,t}$ 条件独立。它不能包含当前轨迹生成的未来 Token 或奖励。
特权信息的形式：
- 参考解（Reference Solutions）： 专家答案、证明草图或黄金补丁（例如在数独或代码修复中）。
- 留一法（Leave-One-Out, LOO）组信息： 来自同一提示词组的其他采样响应及其奖励。这将组信息视为评论家的上下文学习提示。
- 验证器细则（Verifier Rubrics）： 策略无法获得的详细任务规范。
理论收益： 以更丰富的信息为条件可以减少价值预测的方差（ $E[(R - E[R|H, Z])^2] \le E[(R - E[R|H])^2]$ ），从而降低策略梯度的方差。

2. TETHER (自适应组-价值基线)

为了应对评论家拟合不良的风险，作者引入了 TETHER，这是一种在组相对基线和基于价值的基线之间进行自适应插值的基线。

机制： TETHER 计算混合基线 $b^{TETHER}_{i,t} = (1-\rho)b^{LOO}_i + \rho V_{i,t}$ ，其中 $b^{LOO}_i$ 是留一法组平均值， $V_{i,t}$ 是学习到的 Token 价值。
自适应系数 ( $\rho$ )： 混合比例 $\rho$ $ρ$ 不是一个固定的超参数。它是通过最小二乘法进行拟合，以最小化已完成组的蒙特卡洛回报（ $R_i$ $R_{i}$ ）的预测误差。
- $\rho = 0$ ：恢复组基线（可靠，但没有 Token 级信用）。
- $\rho = 1$ ：恢复纯价值基线（具有 Token 级信用，但对评论家拟合程度敏感）。
- 中间值：在两者之间进行平滑权衡。
训练动态： 系数 $\rho$ 使用指数移动平均（EMA）在计算完该批次（batch）的策略更新后进行更新，确保该批次的基线不依赖于其自身的返回值（从而保持无偏性）。

核心贡献

特权价值函数 (PVF)： 一种正式机制，利用对策略隐藏的任务相关 Token 级信号来增强价值函数。这提高了价值估计并降低了梯度方差，且不会改变策略目标。
TETHER： 一种自适应基线，能够根据评论家的当前准确性，在组平均值的可靠性和价值函数的粒度之间进行动态平衡，消除了管理从组基线向价值函数过渡时需要手动调参的需求。
实证验证： 证明了在多种重推理任务中，两种策略均能一致地优于标准的价值函数基线，并且与均值基线 GRPO 相比具有竞争力和优越性。

实验结果

作者在四个任务上评估了他们的方法：Reasoning Gym（程序化推理）、CodeIO（程序推理）、Sudoku（多轮网格填充）和 MiniF2F（形式化数学）。

PVF 性能：
- 在所有设置下，PVF 始终优于标准价值函数 (VF) 和组平均值 (MEAN) 基线。
- Sudoku： 表现出最大的增益。访问已解出的网格（特权信息）简化了评论家验证中间步骤的任务，否则这需要隐式求解谜题。
- CodeIO： PVF 利用 LOO 组响应和奖励作为特权信息，优于 VF 和 MEAN，表明即使没有专家答案，也可以有效地利用组信息。
- 解释方差： PVF 解释的收益方差始终高于 VF，这与更高的最终奖励相关联。
TETHER 性能：
- TETHER 在所有任务中始终优于标准的 VF 基线。
- 它成功缓解了在训练早期由于评论家拟合不良而导致的 VF 性能下降问题。
- 在 Reasoning Gym 和 MiniF2F 中，TETHER 优于 MEAN 基线。在 Sudoku 中，它缩小了与 MEAN 的差距，而在 CodeIO 中，它与 MEAN 持平。
- 系数动态： 自适应 $\rho$ 从接近 0（依赖组平均值）开始，并随着评论家能力的提升而增加，证实了该方法能够根据评论家准确性进行自我调节。

意义与主张

本文认为应当重新审视价值函数在 LLM 强化学习流水线中的实际作用。作者声称：

成本的正当性： 通过利用特权信息 (PVF) 和自适应混合 (TETHER)，价值函数的性能增益可以抵消其基础设施成本，即使在目前由无评论家方法主导的场景下也是如此。
鲁棒性： TETHER 提供了一条可靠的路径，可以在不引入因评论家拟合不良而导致训练不稳定性风险的情况下，将价值函数引入现有的 GRPO 流水线。
未来方向： 该工作表明，在多样化策略上进行广泛的价值预训练，以及对 $\lambda$ 参数（用于偏差-方差权衡）进行系统性微调，可以进一步增强基于价值的强化学习在 LLM 中的可扩展性和实用性。

作者强调，他们的方法在保持策略梯度无偏性理论保证的同时，提供了实际的训练效率和最终性能的提升。