🤖 AI

Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning

本文提出了 HyGAE，这是一个引入了具有理论依据的混合优势函数和统一评论员网络的 Actor-Critic 框架，旨在共同优化视觉语言模型（VLM）智能体强化学习中的 Token 级和轮次级目标，在多轮决策环境中实现了 91% 的成功率，较现有方法提升了 10%。

原作者： Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding, Ivan Viola, Jürgen Schmidhuber, Mohamed Elhoseiny

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding, Ivan Viola, Jürgen Schmidhuber, Mohamed Elhoseiny

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人玩一款复杂的电子游戏。这个机器人的大脑能够看懂图像并理解语言，但它有点近视。它非常擅长观察当前的屏幕并猜测下一步的动作，但它经常会忘记五回合前发生了什么。如果它尝试了一个动作并失败了，它可能会不断地重复尝试完全相同的动作，因为它似乎无法从大局中吸取教训。这就是人工智能中“多轮决策”（multi-turn decision-making）的挑战：我们如何教会一个模型不仅仅是对“当下”做出反应，而是去规划一个贯穿始终的策略？

为了解决这个问题，科学家们使用了一种叫做“强化学习”（Reinforcement Learning, RL）的方法。把 RL 想象成用零食训练一只狗。狗尝试了一个动作，如果它做得好，它就会得到一块零食（奖励）；如果它做得不好，它就得不到零食或者只会得到一声轻微的“不”。目标是教会 AI 最大化地获得这些零食。但其中有一个棘手的部分：你如何决定 AI 生成的哪一个特定的想法或词语是“好”的？是整个句子赢得了奖励，还是仅仅最后一个词赢得了奖励？这篇论文正是在解决这个谜题，试图弄清楚如何为 AI 的行为进行最好的归功（或归责），无论这些行为是像打出一个字母那样微小的步骤，还是像完成一轮游戏那样大的步骤。

由 Wenxuan Zhang 及其同事领导的研究团队注意到，目前的方法都处于一种尴尬的中间状态。有些方法将 AI 生成的每一个单词都视为一个独立的动作，这就像是每当狗抬起一次爪子时就给它一颗零食，哪怕它只是在抓耳朵。另一些方法则将整个对话回合视为一个巨大的动作，这就像是只有在完成一个杂技动作的最后时刻才给予奖励，从而很难知道究竟是哪个具体的动作立了功。该团队意识到，这两种方法都有各自的缺陷，而最好的解决方案可能是一种混合体。

他们开发了一个名为 HyGAE（Hybrid Generalized Advantage Estimation，混合广义优势估计）的新框架。想象一下你正在教练一支足球队。“基于 Token”（token-wise）的方法就像是在称赞球员的每一次传球，即使球并没有向前推进。“基于回合”（turn-wise）的方法则像是只有在进球时才欢呼，忽略了所有导致进球之前的传球。HyGAE 是那位兼顾两者的教练：它会对每一次单独的传球（即 token）给予一点点表扬，以保持球员的敏锐度，但它也会在很大程度上权衡最终的目标（即回合），以确保球队确实在赢得比赛。

论文从数学上证明了你可以将这两种思维方式结合起来，而不需要两个单独的教练。他们创建了一个“统一评论家”（Unified Critic）——一个能够同时评估微观步骤和大局的单一评判者。这个评判者使用一个特殊的公式来融合奖励，确保 AI 既能学习到精准的语言表达，又能学习到宏观的战略规划。他们在五个不同的类游戏环境中测试了该方法，从在网格中推箱子（Sokoban）到操控机械臂堆叠方块。

结果令人印象深刻。在这些测试中，经过 HyGAE 训练的 AI 达到了 91% 的平均成功率，比其他顶尖方法高出约 10%。研究人员发现，这种混合奖励的具体方式至关重要；如果他们只是简单地对分数取平均值，而不使用他们发现的精确数学公式，训练往往会失败或变得不稳定。他们还展示了这种方法如何帮助 AI 避免“近视”陷阱，即反复重复失败的动作。通过 HyGAE，AI 学会了审视自己的历史，意识到某个动作行不通，并立即尝试不同的策略来实现目标。

简而言之，这篇论文不仅仅是提出了一个新技巧，它还为一种更好的训练 AI 智能体的方法提供了坚实的数学基础。通过证明你可以“鱼与熊掌兼得”——即同时针对微观细节和宏观战略进行优化——他们为 AI 从一个仅仅是反应式的猜测者转变为真正的长期规划者，提供了一条更清晰的路径。

技术摘要：用于视觉语言模型（VLM）智能体强化学习的统一评论家混合优势估计

问题陈述

大型视觉语言模型（VLMs）正越来越多地被部署为交互式多轮环境中的智能体，其成功取决于连贯的推理和序列决策能力。然而，当前的 VLM 普遍存在“近视”问题，即往往仅基于最近的观测进行推理，而忽略了过去动作和反馈的上下文。这导致了重复性、非适应性的行为，使得多轮决策退化为不连贯的单轮生成。

现有的 VLM 强化学习（RL）方法通常采用两种建模范式，两者均存在局限性：

Token 级 RL：将生成的每个 token 视为一个独立的动作。虽然这为语言生成提供了细粒度的指导，但往往无法有效利用中间轮次级的反馈。
轮次级（Turn-wise）RL：将一轮中生成的所有 token 序列视为一个单一的宏动作（macro-action）。这能更好地利用轮次内的中间反馈来实现轮次间的差异化，但缺乏稳定自回归生成所需的细粒度控制。

以往试图结合这两个层级的研究通常依赖于复杂的层次化模型或启发式信用分配，缺乏统一的理论基础，从而导致次优的偏差-方差权衡（bias-variance trade-offs）。

方法论：HyGAE

作者提出了 HyGAE（Hybrid Advantage Estimation with Unified Critic，基于统一评论家的混合优势估计），这是一个共同优化 token 级和轮次级目标的 actor-critic 框架。该方法建立在对两种 RL 形式性的理论统一之上。

理论公式化

论文建立在将 token 级和轮次级 RL 置于统一的部分可观测马尔可夫决策过程（POMDP）框架下的基础上。

梯度等价性：作者证明，在特定的折扣因子约束下（ $\gamma_t = \gamma^{I_t}$ ，其中 $I_t$ 是轮次长度），token 级和轮次级目标的策略梯度是相同的。
统一评论家（Unified Critic）：他们证明了一个单一的价值函数（critic）可以同时估计两个层级的价值。具体而言，只要折扣因子对齐，轮次开始时的轮次级价值等同于该轮次最后一个 token 的 token 级价值。这消除了对独立价值模型的需求，降低了计算开销。

混合优势估计

HyGAE 并没有在 token 级或轮次级优势之间做选择，而是采用了混合优势函数：
$\hat{A}^i_t = \alpha \hat{A}_t + (1 - \alpha) \hat{A}^i_t$
其中 $\hat{A}_t$ 是轮次级优势， $\hat{A}^i_t$ 是 token 级优势。

轮次级优势：通过对轮次进行广义优势估计（GAE）来计算，保留了轮次级的奖励信号，并避免了通过中间推理 token 进行过度折扣。
Token 级优势：通过对 token 进行 GAE 来计算，提供轮次内的细粒度区分。
混合回报（Hybrid Return）：为了更新统一的评论家，作者提出了一种特定的公式来计算混合回报。他们通过将当前 token 到轮次结束的折扣奖励求和，将轮次级回报广播回中间 token 位置，然后将其与 token 级回报相结合。这种精确的解析形式被证明对于稳定价值函数训练至关重要。

算法

HyGAE 在标准的 PPO（近端策略优化）循环内运行：

收集涉及多轮交互的轨迹。
分别计算轮次级和 token 级的优势与回报。
使用混合系数 $\alpha$ 将它们组合成混合优势和混合回报。
使用混合信号更新策略（actor）和统一价值模型（critic）。

核心贡献

理论统一：论文提供了一个正式的公式化过程，揭示了 token 级和轮次级 RL 之间的内在相似性，并证明了在特定条件下它们的代理函数共享相同的梯度。
混合优势估计：一种线性结合 token 级和轮次级优势的新方法。作者证明这种方法平衡了偏差-方差权衡：轮次级估计器具有较低的偏差但较高的方差，而 token 级估计器具有较高的偏差但较低的方差。混合方法缓解了二者的弱点。
统一评论家训练：证明了单一价值模型可以有效地估计两种粒度的价值，与层次化方法相比显著提高了计算效率。
经验性能：该方法在五个多样化的多轮决策基准测试中达到了最先进水平（SOTA）。

实验结果

作者在五个基准测试上评估了 HyGAE：Sokoban、FrozenLake、Navigation、Primitive Skill（机器人操控）以及 VIRL（真实世界导航）。

性能：HyGAE 在所有任务中的平均成功率达到了 91%，显著优于基准模型。
- 它超越了闭源模型（如 GPT-5、Gemini 2.5 Pro、Claude Sonnet 4.5），这些模型的平均得分约为 0.5–0.6。
- 它显著优于冻结的开源 VLM（平均值 < 0.1）。
- 在 RL 方法中，它优于 Token-PPO (0.81)、Turn-PPO (0.47) 和 VAGEN-Base (0.74)。
消融研究：
- 混合系数 $\alpha = 0.5$ （等权重）表现最佳，证实了结合两种信号的价值。
- 混合回报（通过折扣广播轮次奖励）的具体公式被确定为至关重要；其他替代公式会导致训练崩溃。
- 与标准 PPO 相比，HyGAE 展示了显著更低的成功率方差，表明优化更加稳定。
定性分析：可视化结果显示，虽然冻结的模型经常重复失败的动作或静态计划，但 HyGAE 能够根据环境反馈成功调整策略，展示了连贯的多轮推理能力。

意义

该论文声称，VLM 智能体训练的主要瓶颈在于单轮训练范式与多轮交互需求之间的不匹配。通过在理论上统一 token 级和轮次级优化，并引入计算高效的混合优势估计，HyGAE 弥合了高层战略规划与底层语言生成之间的鸿沟。这项工作表明，对于优势和回报估计的精确解析形式对于稳定优化至关重要，为训练 VLM 在复杂交互环境中作为有效智能体提供了鲁棒的框架。