技术摘要：GROW——将 GRPO 与状态 - 动作建模对齐以用于开放世界 VLM 智能体

1. 问题陈述

视觉 - 语言模型（VLM）智能体已在开放世界任务（例如 Minecraft）中展现出潜力，这些任务需要多轮视觉感知和动作执行。尽管基于专家演示的监督微调（SFT）是主导的训练范式，但它存在数据收集成本高和可扩展性有限的问题。此外，SFT 在性能上往往落后于强化学习（RL）方法。

尽管群相对策略优化（GRPO）已成为基础模型的一种有效 RL 算法——通过计算采样输出群组的优势来消除对独立价值模型的需求——但将标准 GRPO 直接应用于开放世界任务仍面临重大挑战：

• 上下文长度：标准 GRPO 将整个交互轨迹视为单个训练样本。在开放世界环境中，这些轨迹会累积过长的上下文，经常超出 token 限制。
• 噪声：完整轨迹包含大量无关信息和噪声，降低了策略梯度估计的质量。
• 理论不匹配：标准 GRPO 假设群组样本是针对相同提示的不同响应。在开放世界任务中，分解轨迹意味着群组样本是基于不同的局部状态进行条件设定的，从而违反了这一假设。

2. 方法论：GROW 框架

作者提出了GROW（面向开放世界 VLM 智能体的 GRPO），这是一个通过将轨迹分解为细粒度的状态 - 动作样本，从而将 GRPO 适配到开放世界环境的框架。

2.1 轨迹分解

GROW 不再优化完整轨迹，而是将收集到的 rollout 轨迹 $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ 分解为单独的状态 - 动作对。

• 奖励传播：由于这些环境中的奖励是稀疏的，且仅在任务完成时才可验证（成功时 $R(\tau)=1$，否则为 $0$），奖励使用折扣因子$\gamma$ 沿轨迹向后传播：
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  这确保了更接近成功结果的状态 - 动作样本获得更强的学习信号。

2.2 状态 - 动作优势计算

在包含 $G$ 个并行环境的 rollout 群组中，GROW 计算分解后的状态 - 动作样本的相对优势，而非完整轨迹的优势。

• 优势 $A_{i,t}$ 通过对群组内的折扣奖励 $r_{i,t}$ 进行归一化计算得出：
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  其中 $\mu$ 和 $\sigma$ 分别是群组内奖励集的均值和标准差。
• 训练目标遵循标准的 PPO 风格截断目标，但操作对象是这些状态 - 动作单元：
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 代理分析

作者解决了 GROW 中群组样本基于不同局部状态（$s_{i,t}$）而非相同提示这一理论担忧。在简化假设下（均匀轨迹长度 $H$ 和一致的交互步骤），他们推导出的代理分析表明，目标函数可分解为两项：

1. $J_{traj}$：通过比较轨迹奖励 $R(\tau_i)$ 与群组平均值 $S$，保留轨迹级别的相对偏好。
2. $J_{step}$：捕捉时间折扣效应，细化成功轨迹内的信用分配，以强调与最终成功直接相关的决策。
   分析结论是，尽管偏离了相同提示的假设，该目标函数仍保留了有效且相对的策略优化信号。

3. 主要贡献

1. 框架提出：提出了 GROW，这是一个 RL 框架，结合了基于状态 - 动作样本的冷启动训练与通过轨迹分解实现的基于 GRPO 的策略优化。
2. 理论依据：提供了代理分析，证明即使群组样本基于不同的局部状态进行条件设定，只要合理的可处理性近似成立，相对策略优化依然有效。
3. 实证验证：在超过 800 个 Minecraft 任务上进行了广泛测试，证明该框架在成功率和执行效率方面均达到了最先进（SOTA）水平。

4. 实验结果

实验在 Minecraft（Java 版）中使用 MCU 基准进行，涵盖三个类别：具身任务（导航/采矿）、GUI 任务（合成/熔炼）和战斗任务。基础模型为 Qwen2-VL-7B-Instruct。

• 性能提升：GROW 在所有类别中均取得了 SOTA 结果：
  • 具身任务：ASR 从之前的最佳水平 50.4% 提升至 59.6%。
  • GUI 任务：ASR 从 39.1% 提升至 68.4%。
  • 战斗任务：ASR 从 39.2% 提升至 49.0%。
• 效率：完成任务所需的平均步数显著减少（例如，具身任务中从 263 步减少到 128 步）。
• 泛化能力：GROW 显示出对未见任务（RL-unseen）的强大泛化能力，在不过拟合训练集的情况下，显著提高了相对于初始化策略的成功率。
• 消融研究：
  • vs. PPO：GROW 在成功率和收敛速度上均优于 PPO。
  • 折扣因子（$\gamma$）：$\gamma=0.995$ 在长视野信用分配和局部效率之间取得了最佳平衡。
• 行为分析：诊断任务显示，GROW 改进了特定技能，如稳定的目标锁定、主动的目标重获（寻找丢失的目标）以及抗干扰的 GUI 操作。

5. 意义与主张

该论文主张，GROW 通过有效弥合先进 RL 算法（GRPO）与开放世界环境特定约束（长且嘈杂的轨迹）之间的差距，为开放世界 VLM 智能体建立了新的 SOTA。

• 核心成就：该框架成功缓解了完整轨迹 RL 中固有的过度上下文累积和噪声问题，同时保留了 GRPO 的核心相对优化信号。
• 技能习得：结果表明，GROW 促进了可重用的交互策略（例如主动搜索、鲁棒的 GUI 处理），而不仅仅是轨迹记忆。
• 可扩展性：通过分解轨迹，该方法为在复杂的多轮环境中训练 VLM 智能体提供了一条可扩展的路径，在这些环境中价值估计既昂贵又不稳定。

作者指出了局限性，包括目前缺乏针对超长视野任务记忆模块，以及对特定模拟器（Minecraft）的依赖，并建议未来的工作可以探索总结历史并扩展到多样化的开放世界环境。