💬 NLP

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

本文介绍了 POISE，这是一种强化学习方法，它利用在策略模型内部状态上训练的一个轻量级探针，以可忽略的成本估计价值基线，从而在无需独立评论家或多轮展开所带来的计算开销的情况下，实现稳定且高效的策略优化。

原作者： Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在教导一位才华横溢但费用极高的学生（一个大语言模型）如何解决复杂的数学问题。你希望他们变得更好，因此你使用了一种名为强化学习的方法。在这种方法中，学生尝试解决问题，如果他们答对了，你就给他们一个分数（奖励）。

为了有效地教导他们，你不仅需要告诉他们做对了什么，还需要告诉他们相比他们平时的表现，进步了多少。这种“差异”被称为优势（advantage）。要计算这个值，你需要一个基线（baseline）——即对学生在特定问题上通常能得多少分的预估。

问题：预估的成本

目前，获取这个基线主要有两种方法，但两者都很昂贵：

“巨型导师”方法（PPO）：你雇佣第二个同样庞大且昂贵的人工智能模型，仅作为评判者。这个评判者观察学生的作业并预估分数。由于你同时运行两个巨型模型，这使你的计算成本翻了一倍。
“组平均”方法（GRPO）：你让学生连续8次解决同一个问题。然后，你取这 8 个分数的平均值作为基线。这浪费了大量的时间和金钱，因为你为了获取基线而多生成了 7 个答案，导致尝试新问题的空间变小。

解决方案：POISE（学生自身的直觉）

本文的作者提出了一种名为POISE（基于内部状态值估计的策略优化）的新方法。

核心思想是：学生在甚至完成解题之前，就已经知道这个问题有多难了。

当大型人工智能模型进行思考时，它会从问题到答案生成一系列“内部思维”（隐藏状态）。本文认为，这些内部思维包含了一个关于模型成功可能性的隐藏信号。这就像学生有一种直觉：“这一步我很吃力；我可能答不对”，或者“这感觉很简单；我有信心”。

POISE 的工作原理如下：

轻量级探针：与其雇佣第二个巨型人工智能，不如在学生的大脑上连接一个微小、廉价的“探针”（就像一个简单的计算器）。
读取信号：该探针在学生学习过程中，观察他们的内部思维（隐藏状态）和“不确定性”（熵）。
预测：探针根据这些内部信号预测分数。
公平性技巧（交叉 rollout）：为了确保学生不会通过查看自己的答案来猜测分数而作弊，系统使用了一个巧妙的技巧。它让学生解决问题两次。为了评分第一次尝试，探针查看第二次尝试的内部思维，反之亦然。这确保了基线的公平性和无偏性。

为什么这很重要

更便宜：你不需要第二个巨型人工智能模型。你只需利用学生已经生成的信号，使用那个微小的探针即可。
更快：你不需要生成 8 个答案来获取基线。你只需要 2 个（一个用于解题，一个用于辅助评分）。这释放了你的计算预算，让你可以尝试许多不同的问题，从而帮助学生更快地学习。
更稳定：因为你可以尝试更多不同的问题，学习过程变得不那么“嘈杂”，也更加稳定。

结果

研究人员在数学推理任务（如奥林匹克数学）上测试了这种方法。他们发现：

POISE 的表现与使用昂贵评判者或大量答案组的最先进方法（如 DAPO）一样好。
它使用的计算资源更少，并且训练完成得更快。
“直觉”是准确的：那个微小的探针预测成功率的效果几乎与全尺寸的人工智能评判模型一样好。
它在其他领域也有效：他们在编程和工具使用任务上也进行了测试，结果同样良好，证明了学生的内部信号是成功的通用指标。

总结

POISE 就像让你意识到，你的学生并不需要第二位老师来告诉他们表现如何。通过简单地倾听他们内部的“思考过程”，你可以立即知道他们是否走在正确的轨道上。这节省了金钱，节省了时间，并使学习过程更加顺畅，同时毫不牺牲性能。

技术摘要：POISE（基于内部状态值估计的策略优化）

问题陈述

具有可验证奖励的强化学习（RLVR）是推动大型推理模型（LRMs）在数学推理等复杂任务上取得进步的核心驱动力。然而，稳定且高效的 RLVR 高度依赖于准确的基线估计，以降低策略梯度的方差。现有方法产生了巨大的计算成本：

PPO（近端策略优化）： 需要训练一个独立的、与大型语言模型（LLM）规模相当的评论家（critic）模型，该模型在每次更新时处理完整的生成序列，这大致使内存消耗和优化复杂度翻倍。
GRPO（组相对策略优化）： 通过从每个提示（prompt）的一组采样轨迹的平均奖励中估计基线，避免了独立的评论家模型。这种“以参数换样本”的方法要求每个提示进行多次轨迹采样以维持稳定的基线。在固定的计算预算下，这会减少批次中提示的多样性，从而放大梯度方差。此外，大量计算被浪费在“退化”提示上，这些提示的所有轨迹都获得相同的奖励（优势为零）。

这项工作解决的核心问题是：能否从策略训练过程中已经执行的计算中提取有效的基线，从而消除对额外资源的需求？

方法论：POISE

作者提出了 POISE（基于内部状态值估计的策略优化），这是一种利用策略模型自身的内部表示来以可忽略的成本估计值函数 $V^\pi(x)$ 的方法。

1. 内部状态值估计

POISE 不训练独立的评论家模型，而是训练一个轻量级探针（probe），直接从策略模型前向传播过程中收集的隐藏状态和 token 统计信息中预测预期的可验证奖励。

输入特征： 探针利用三个互补的信号：
1. 提示级特征： 来自最终提示 token 的隐藏状态，捕捉模型对提示及其预期难度的表示。
2. 轨迹级特征： 来自推理轨迹末端的隐藏状态，揭示仅凭提示无法获得的与价值相关的信息。
3. Token 级熵统计： 轻量级的不确定性特征。
训练目标： 探针被训练以预测提示级的值 $V^\pi(x)$ 。为了防止目标泄露关于正在评估的特定轨迹的信息，作者使用了留一法蒙特卡洛目标（leave-one-out Monte Carlo target）。对于具有 $K$ 个采样轨迹的提示 $x$ ，轨迹 $i$ 的目标是其他 $K-1$ 个轨迹的平均奖励。

2. 跨轨迹构建以确保无偏性

一个关键的理论挑战是确保基线在给定动作（采样响应）的条件下保持独立，以维持策略梯度的无偏性。如果基线依赖于它所评估的同一轨迹，就会引入偏差。

解决方案： POISE 采用跨轨迹构建（cross-rollout construction）。对于每个提示，采样两个独立的轨迹 $y^{(1)}$ $y^{(1)}$ 和 $y^{(2)}$ $y^{(2)}$ 。
- $y^{(1)}$ 的基线使用 $y^{(2)}$ 的内部状态进行预测。
- $y^{(2)}$ 的基线使用 $y^{(1)}$ 的内部状态进行预测。
这确保了用于更新特定轨迹的基线源自独立样本，满足条件 $E[b(x) \nabla \log \pi(y|x)] = 0$ 。

3. 集成到策略优化中

POISE 将该估计器集成到一个 PPO 风格的优化循环中：

在线训练： 值估计器与策略在近期轨迹的滑动缓冲区上联合训练。由于特征是从策略更新所需的前向传播中提取的，计算开销可忽略不计。
优势计算： 优势计算为 $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$ ，其中 $b^{(i)}(x)$ 是跨轨迹基线。
效率： 与需要大量组（例如 8 个轨迹）来估计基线的 GRPO 不同，POISE 仅需一对轨迹。这使得固定的计算预算可以分配给每个批次中更多不同的提示，理论上降低了梯度方差。

主要贡献

新颖的基线估计： 提出了一种从策略模型内部状态推导基线的方法，消除了对独立 LLM 规模评论家模型或大型轨迹组的需求。
理论无偏性： 提出了一种跨轨迹架构，在利用轨迹条件特征的同时，保证了策略梯度无偏性所需的条件独立性。
计算效率： 证明轻量级探针（线性回归）可以实现与独立评论家相当甚至更优的值估计性能，同时所需的计算量显著更少。
泛化性： 表明内部状态信号在不同领域（数学、编程、工具调用、指令遵循）和模型规模上具有泛化能力。

实验结果

该方法在 Qwen3-4B 和 DeepSeek-R1-Distill-Qwen-1.5B 模型上进行了评估，测试基准为奥林匹克级别的数学推理任务（AMC, AIME, HMMT, BRUMO）。

性能： POISE 实现了与 DAPO（一种最先进的基于 GRPO 的算法）相当的性能。
- 在 Qwen3-4B 上，POISE 的平均 Avg@32 得分为 0.500，与 DAPO 的 0.508 非常接近，同时在 AMC23 和 HMMT25 等特定基准上优于 DAPO。
- 在 DeepSeek-R1-Distill-Qwen-1.5B 上，POISE 将平均得分提高至 0.303，而 DAPO 为 0.296。
训练效率： POISE 所需的实际运行时间大幅减少。在 DeepSeek-R1-Distill-Qwen-1.5B 上，在单块 B200 GPU 上达到可比性能，POISE 耗时 18 小时，而 DAPO 耗时 24 小时。在 Qwen3-4B 上，时间分别为 36 小时 对比 49 小时。
稳定性： POISE 中的梯度范数始终低于 DAPO，表明梯度方差降低，优化更加稳定。
值估计质量： 内部状态探针与实证奖励的皮尔逊相关系数达到 0.870，在同一任务上优于独立训练的 LLM 规模评论家（0.676）。
泛化性： 该估计器在编程、工具调用和指令遵循任务中保持了高性能，在这些领域通常优于独立的评论家模型。

意义与主张

该论文声称，POISE 为大型推理模型提供了一条计算高效且通往稳定可扩展 RLVR 的路径。通过利用模型自身的内部表示，该方法：

消除了训练独立评论家模型的内存和计算开销。
消除了组相对基线（GRPO）的采样低效性，允许在固定预算内实现更高的提示多样性。
避免了对产生零优势的退化提示浪费计算资源。
证明了内部状态（此前主要用作诊断工具）可以作为强化学习中实用且高保真的优化信号。

作者得出结论，POISE 使得策略优化更加稳定和高效，无需组相对基线或辅助值模型，使其成为在资源受限条件下训练大型推理模型的可行替代方案。