技术摘要：RMTL —— 基于 VLM 奖励的长程操控强化微任务学习

问题陈述

强化学习（RL）在长程机器人操控任务中面临着一个根本性的瓶颈，即奖励设计问题。手工设计的稠密奖励（dense rewards）具有脆弱性，且通常需要特权模拟器状态；而通过人类演示来学习奖励则成本高昂且难以扩展。近期的研究方法利用冻结的视觉语言模型（VLM）作为零样本（zero-shot）奖励模型，用描述最终目标的单一文本提示词取代了手动设计。

然而，作者指出这种“单提示词”范式存在一个关键的失效模式：对于具有随机初始条件的长程任务，单一的全局提示词在大部分轨迹过程中会产生一个近乎平坦的奖励信号。因为机器人必须经过一系列在性质上不同的阶段（例如：接近、对齐、抓取）才能达到最终状态，导致早期中间状态与最终目标提示词之间的语义相似度极低。因此，智能体在早期探索阶段几乎无法获得有效的梯度信号进行引导。此外，单视角 VLM 评分容易受到遮挡噪声（例如：机械臂夹爪遮挡物体）的影响，从而进一步降低了信号质量。

方法论：RMTL

作者提出了强化微任务学习（Reinforced Micro-task Learning, RMTL），这是一个旨在将操控任务分解为一系列由语言描述的微任务，从而构建更具信息量奖励景观的流水线。该方法在 Fetch 操控环境中运行，使用冻结的 VLM (PE-Core-bigG-14-448)，并由以下核心组件组成：

1. 微任务分解与分阶段奖励

RMTL 不再使用单一的全局提示词，而是将任务分解为 $K$ 个简短的、针对特定阶段的提示词（例如：“接近”、“对齐”、“抓取”）。

• 主动提示词选择（Active Prompt Selection）： 在任何给定时间步，智能体仅根据当前处于激活状态的微任务对应的提示词进行评估。
• 奖励计算： 奖励通过图像嵌入与激活的微任务文本嵌入之间的余弦相似度来计算，该相似度沿由目标提示词与基准“无进展”提示词所定义的语义轴进行投影。
• 信号转换： 这种分解将近乎平坦的单提示词信号转化为分段单调信号（piecewise-monotone signal），使智能体能够在完成每个特定阶段时获得正向梯度。

2. 多视角聚合

为了减轻遮挡和视角特有的歧义，系统渲染了 $V=6$ 个固定的摄像机视角。VLM 根据当前的激活微任务提示词独立对每个视角进行评分，并将这些分数进行算术平均聚合以生成标量奖励。这种方法在不预先融合像素数据的情况下，平滑了单视角的波动和遮挡噪声。

3. 逆向课程学习（Reverse Curriculum Learning）

直接在完全随机的初始条件下进行训练是脆弱的，因为当智能体起始位置远离物体时，VLM 奖励会变得毫无信息量。RMTL 采用了逆向课程学习，逐渐扩大初始夹爪姿态的分布范围——从“容易”区域（靠近物体）到全随机的工作空间。向更难的初始条件进阶的过程由在线成功统计数据进行门控，确保智能体只有在可靠解决当前难度等级后，才会面临更具挑战性的任务。

4. 分层策略学习（两个阶段）

系统通过两个截然不同的阶段进行训练，以实现从基于规则的选择到完全学习的选择的过渡：

• 阶段 1（基于规则）： 使用基于距离的确定性规则来训练 PPO 工作者（worker），以选择激活的微任务。这提供了一个稳定的基准并为下一阶段生成数据。
• 阶段 2（学习型管理器）： 引入一个小型离散动作的分层管理器（一个小型的 MLP）来取代基于规则的选择器。
  • 热启动（Warmstart）： 管理器通过使用阶段 1 规则生成的标签进行行为克隆（BC）进行初始化。
  • 精炼（Refinement）： 管理器随后通过基于段回报（segment returns）的 REINFORCE 算法进行进一步精炼，同时初始阶段会冻结 PPO 工作者的 Actor 以稳定学习目标。
  • 结果： 这将启发式阶段选择转化为了一个完全学习的分层策略。

核心贡献

本文声称有四个主要贡献：

1. 微任务分解： 证明了将 VLM 奖励拆分为三个特定阶段的提示词，可以将近乎平坦的信号转化为可攀爬的分段单调信号，从而使 PPO 在单提示词基准失败的情况下实现收敛。
2. 学习型分层管理器： 展示了一个通过基于规则的选择器进行热启动的小型学习型管理器，可以匹配甚至超越该规则的性能，同时保持稳定性，从而有效地实现了阶段选择的自动化。
3. 多视角聚合： 证明了在多个视角间对 VLM 评分进行平均处理，可以减少遮挡噪声，并比单视角产生更平滑的训练信号，且不会惩罚梯度的形状。
4. 逆向课程学习： 确立了逆向课程学习对于弥合“容易初始条件”与“随机初始化机制”之间差距的必要性，因为仅靠语言奖励不足以在最困难的情景下引导探索。

实验结果

实验在具有随机初始条件的 FetchPickAndPlace-v4 环境中进行。

• 性能： 带有学习型管理器的完整 RMTL 架构在随机初始化条件下达到了 ~98% 的成功率。
• 对比：
  • 单提示词基准： 使用单一全局提示词（无论是多视角还是单视角）的变体均未能收敛（成功率为 0%）。
  • 规则 vs. 学习型管理器： 尽管两者达成一致的时间仅为 73%，但学习型管理器的表现优于基于距离的规则（98% vs. 94%）。这表明该规则是一个有用的归纳偏置，但并非最优。
  • 非分层 PPO： 未使用分层分解的标准 PPO 工作者达到了 89% 的成功率。
• 奖励质量： 分析显示，多视角聚合产生的奖励轨迹比单视角更平滑，且微任务分解比单提示词方法提供了更具信息量的梯度。

重要性与主张

本文认为，将 VLM 奖励分解为微任务特定的语言提示词，能显著提升语言引导的机器人操控强化学习的可扩展性。通过解决单提示词方法中的“近乎平坦奖励”失效模式，RMTL 使智能体能够仅通过视觉观测和自然语言来学习复杂的长程任务，而无需依赖特权模拟器状态或昂贵的人类演示。

作者指出，虽然该方法行之有效，但它继承了底层 VLM 的感知局限性（例如对光照和纹理的敏感性），并且目前仍依赖于手工编写的提示词。未来的工作旨在利用大语言模型（LLM）自动执行提示词生成过程，将高层任务分解为微任务，从而移除流水线中最后的环节——人工干预。