🤖 machine learning

Automating Potential-based Reward Shaping with Vision Language Model Guidance

本文介绍了 VLM-PBRS，这是一个利用轻量级视觉语言模型的偏好反馈来自动学习用于奖励塑造的势函数（potential functions）的框架，从而在保持最优策略并防止奖励黑客行为（reward hacking）的同时，加速稀疏奖励环境中的强化学习。

原作者： Henrik Müller, Daniel Kudenko

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Henrik Müller, Daniel Kudenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人完成一项复杂的任务，比如打开抽屉或打开炉灶。在机器人技术和人工智能领域，这被称为强化学习（Reinforcement Learning）。

问题所在：“沉默的老师”

通常，你会通过只在机器人完美完成任务时才给予奖励来教它。这就像一位老师在学生解数学题的过程中全程保持沉默，只有在最后答案正确时才说一句“做得好！”。

问题： 如果机器人尝试了一百万种不同的方法，而仅凭运气才获得了一次“做得好！”，那么它根本不知道这一百万次尝试中哪一次是有帮助的。这就像是在黑暗中大海捞针。这被称为稀疏奖励（Sparse Reward），它会让学习过程变得极其缓慢。

旧的解决方案：“过度热情的教练”

为了解决这个问题，人类经常尝试在过程中给机器人一些小奖励（比如“很好，你的手离把手更近了！”或者“不错，你抓住了把手！”）。这被称为奖励塑造（Reward Shaping）。

风险： 如果教练过于热情或者给出了错误的提示，机器人可能会分心。它可能会学会为了听到那声“做得好！”而在把手附近晃动手，而从未真正打开抽屉。这被称为奖励黑客行为（Reward Hacking）。机器人解决的是“提示”本身，而不是“任务”。

新的解决方案：“聪明且廉价的向导”

这篇论文介绍了一种名为 VLM-PBRS 的新方法。它使用了一种特殊的 AI 类型——视觉语言模型（Vision-Language Model, VLM）。你可以把 VLM 想象成一个既能看懂图片又能阅读指令的机器人。

以下是作者的方法是如何运作的，我们用一个简单的类比来说明：

1. “两张照片”游戏

与其要求 VLM 写出一套复杂的规则（这很难且昂贵），该系统玩的是一个简单的游戏：

它向 VLM 展示两张照片，展示机器人在不同时刻的状态。
它会问：“目标是打开抽屉。在两张照片中，机器人在哪一张照片里更接近获胜？”
VLM 会回答：“照片 A”或“照片 B”。

2. “安全地图”（基于势函数的奖励塑造）

这是聪明之处。作者并不让 VLM 的回答成为唯一的奖励。相反，他们利用 VLM 的回答来构建一张心理地图（称为“势函数”）。

类比： 想象 VLM 是一个正在给你指引方向的登山者，手里拿着指南针。指南针大致指向目标方向。
安全网： 论文使用了一个数学保证（基于势函数的奖励塑造），它规定：“即使指南针稍微有点偏差，它也绝不会把你骗到悬崖边，或者让你永远在错误的方向上徘徊。它只会让你走得更快或更慢。”
正因为有了这个安全网，机器人可以使用一个更便宜、更小、更快速的 VLM。它不需要一个超级智能、昂贵的 AI 来做到完美；它只需要一个“足够好”能指明方向的 AI。

3. 结果

机器人学习得更快了，因为它得到了来自 VLM “指南针”的持续提示，但由于有数学上的保证，即使 VLM 出错，它最终仍会学会完成任务的正确方式。

作者的实际发现

研究人员在两个虚拟世界中测试了该方法：

Meta-World： 一系列简单的机器人任务（如按按钮或开门）。
Franka Kitchen： 一个更复杂、凌乱的厨房环境，其中有很多干扰物体。

他们的核心发现：

速度： 与等待“沉默的老师”（稀疏奖励）相比，使用该方法时机器人的学习速度显著提高。
安全性： 即使 VLM 不够完美（有时会猜错），机器人也不会被“黑客行为”误导或搞混。它仍然能学会正确的任务，只是速度稍慢一些。
成本： 他们证明了不需要使用最昂贵、最庞大的 AI 模型。较小的、更便宜的模型已经足够好，因为“安全网”保护了学习过程。
对比： 在某些任务中，他们的方法甚至比人类专家手动设计的奖励提示效果还要好。在其他任务中，其表现接近人类设计的提示，但无需任何人工努力。

总结

这篇论文提出了一种通过使用“廉价”AI 来提供简单的“这个比那个好”这类提示，从而更快地教导机器人的方法。由于有一种特殊的数学安全规则，这些提示在加速学习的同时，不会误导机器人去做错误的事情。这就像是给学生一张略有瑕疵的地图，而不是一张白纸——他们最终仍能到达目的地，而且会快得多。

技术摘要：利用视觉语言模型引导自动化基于势能的奖励塑造

问题陈述

强化学习（RL）智能体在稀疏奖励环境下面临重大挑战，因为在这种环境下，反馈仅在任务完成后才会提供。这种中间指导的缺失阻碍了探索过程，并使得将成功归因于特定轨迹部分变得困难。虽然奖励塑造（通过添加辅助信号来引导探索）是一种常见的解决方案，但任意的塑造往往会导致奖励黑客行为（reward hacking），即智能体通过利用辅助信号来最大化奖励，而非真正解决预定任务。

**基于势能的奖励塑造（PBRS）**提供了一种理论上更完备的替代方案，它通过在连续状态之间的势能函数 $\Phi(s)$ 之差来为奖励增量。PBRS 保证了原始任务的最优策略集得以保留。然而，定义一个有效的势能函数通常需要大量的专家知识和人工工程，这限制了其可扩展性。

近期使用**视觉语言模型（VLM）**直接学习奖励函数的方法（例如 RL-VLM-F）减少了对人工设计的依赖，但这类方法依赖于 VLM 能够完美逼近真实的奖励函数。这对标签的准确性提出了严格要求；VLM 输出的误差会导致次优策略。此外，在训练期间重复查询大型最先进的 VLM 在计算上是极其昂贵的。

方法论：VLM-PBRS

作者提出了 VLM-PBRS，这是一个利用 VLM 生成的偏好标签来自动构建 PBRS 势能函数的框架。其核心创新在于利用 PBRS 的**策略不变性（policy invariance）**属性来放宽对 VLM 准确性的要求，从而允许使用更小、更高效的模型。

核心组件

基于偏好的学习循环：
- 系统在一个涉及策略改进、数据收集和 VLM 查询的迭代循环中运行。
- 数据收集： 智能体与环境交互，收集轨迹和图像观测。
- VLM 查询： 从缓存中采样图像对 ( $\sigma_i, \sigma_j$ )。构建一个包含图像对和目标自然语言描述的提示词（prompt）。查询 VLM 以确定哪张图像更好地实现了目标。
- 提示词结构： 提示词要求 VLM 识别共同元素，描述相对于目标的差异，并输出一个机器可读的标签 ( $y \in \{-1, 0, 1\}$ ) 来表示偏好。
- 标签提取： 与以往通过第二次 LLM 调用来从冗长的 VLM 输出中提取标签的做法（如 RL-VLM-F）不同，VLM-PBRS 直接从单次 VLM 调用中提取标签，以提高计算效率。
势能函数构建：
- 使用收集到的 VLM 标签训练一个偏好模型 $r_\psi$ ，并使用损失函数（交叉熵或平均绝对误差）进行训练。
- 训练好的模型被转化为势能函数 $\Phi(s)$ ：
  $\Phi(s) = \begin{cases} 0 & \text{如果 } s \text{ 是终止状态} \\ \lambda \sigma(r_\psi(s)) & \text{否则} \end{cases}$
  其中 $\sigma$ 是 Sigmoid 激活函数， $\lambda$ 是缩放因子（设为 0.9），以确保塑造后的奖励为正值且低于目标奖励。
奖励塑造：
- 计算塑造后的奖励 $R'$ ： $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$ 。
- 该塑造后的奖励在探索过程中引导 RL 智能体（使用 SAC）。随着势能函数的改进，经验回放池（replay buffer）中的塑造奖励会被重新计算。

关键设计选择

小型 VLM： 该框架利用较小的开源权重 VLM（如 Ovis2-16B, Qwen3-VL-8B），这些模型具有较高的计算效率。作者认为，虽然这些模型产生的标签可能不如大型模型准确，但 PBRS 框架对这种噪声具有鲁棒性。
单步标注： 通过避免第二次 LLM 调用来进行标签生成，该方法显著降低了计算开销。

核心贡献

首次将 VLM 偏好学习应用于 PBRS： 本文引入了第一个直接从 VLM 偏好标签合成 PBRS 势能函数的框架，仅需文本目标描述和视觉观测。
原则性地使用小型 VLM： 作者证明了 PBRS 的策略不变性保证放宽了对直接奖励建模中严格的标签准确性要求。这使得使用更小、更具计算效率的 VLM 而不损害所学策略的最优性成为可能，即使标签存在噪声。
实证验证： 该方法在 Meta-World 和 Franka Kitchen 环境中得到了验证，证明了其在样本效率和对抗奖励黑客行为方面的鲁棒性优于稀疏奖励和朴素的 VَلM 奖励学习。

结果

作者将 VLM-PBRS 与四种基线进行了对比评估：稀疏奖励、人工设计的稠密奖励以及 RL-VLM-F（直接奖励学习）。

样本效率： 在所有测试任务（如按按钮、开窗、微波炉、开关灯）中，VLM-PBRS 一致地比稀疏奖励基线加速了学习过程。
与 RL-VLM-F 的比较： 虽然 RL-VLM-F 在某些任务中优于稀疏奖励，但在其他任务（如按按钮、加热器顶端）中经常收敛到次优策略，这是由于 VLM 标注误差产生了错误的激励。相比之下，VLM-PSR 即使在标签有噪声的情况下也能保持最优策略的收敛，因为 PBRS 属性防止了智能体被永久误导。
相对于人工设计的性能： 在按按钮任务中，VLM 准确度约为 59% 的 VLM-PBRS 表现优于遭受奖励黑客行为的人工设计稠密奖励。
标签准确度敏感性：
- 使用 Oracle（真值）标注器的实验表明，样本效率的提升与标签准确度相关。
- 即使在准确度低于随机水平（0.0）的情况下，VLM-PBRS 也不会导致性能低于稀疏奖励基线，而是依赖于底层的 RL 探索。
- 在 VLM 准确度接近随机水平的任务中（如开抽屉），VLM-PBRS 相比稀疏奖励显示出轻微改进，但未能达到人工设计稠密奖励的水平。
消融研究：
- 批大小（Batch Size）： 研究发现，每个 VLM 查询批次使用 20 个标签足以平衡性能和计算成本。
- 损失函数： 交叉熵（Cross-Entropy）和平均绝对误差（MAE）损失的表现相似；最终选择了交叉熵作为默认设置。

意义与主张

本文声称 VLM-PBRS 为在资源受限的环境下实现自动化奖励塑造提供了一条切实可行的路径。通过将对完美 VLM 推理的需求与对策略最优性的保证解耦，该方法允许使用更小、更廉价的 VLM。

作者强调，其方法：

保留最优性： 与直接奖励学习不同，它不会因为 VLM 错误而面临学习到次优策略的风险。
减轻工程负担： 它消除了对专家设计势能函数或稠密奖励项的需求，仅需高层级的文本描述。
提高鲁棒性： 它天生具有对抗奖励黑客行为的韧性，而这是任意奖励塑造中常见的失效模式。

这项工作表明，随着多模态基础模型的进步，VLM-PBRS 的通用性和收益将自然增加，为复杂机器人任务提供了一种替代手工设计奖励工程的可行方案。