🤖 machine learning

Value Explicit Pretraining for Learning Transferable Representations

本文提出价值显式预训练（VEP），这是一种自监督方法，它利用次优的无标签演示和蒙特卡洛价值估计来学习环境不变表征，与最先进的方法相比，显著提高了迁移强化学习任务中的样本效率和泛化能力。

原作者： Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏或穿越城市。通常，你必须向机器人展示如何具体执行某项任务，例如“射击外星人”或“在红色建筑处左转”。但如果你希望机器人无需从零开始，就能学会一款新游戏或一座新城市呢？这正是本文要解决的重大挑战。

作者提出了一种名为**价值显式预训练（Value Explicit Pretraining, VEP）**的新方法。其工作原理可通过以下简单类比来解释：

问题所在：“完美学生”与“现实世界”

大多数当前的 AI 训练方法，就像试图只通过展示完美、100% 成功的视频来教导学生。如果学生只看一位名厨制作完美舒芙蕾的视频，那么当他们尝试烹饪略有不同的菜肴或使用不同的炉灶时，可能会感到吃力。

在现实世界中，我们拥有大量事情并未完美进行的数据。人们会犯错，游戏会以失败告终，机器人会迷路。本文认为，我们应该能够从这些“不完美”的视频中学习，即使视频中的人从未真正完成任务。

解决方案：“进度条”类比

VEP 的核心理念是教导机器人理解进展，而不仅仅是事物的外观。

想象你正在观看一个人尝试攀登一座山的视频。

旧方法：这些方法可能会说，“这一帧看起来像岩石，所以它是岩石。这一帧看起来像树，所以它是树。”它们关注的是外观。如果山从绿树变成了棕岩，机器人就会感到困惑。
VEP 方法：这种方法着眼于进度条。它会问：“这个人离山顶还有多远？”
- 即使这个人位于绿色斜坡（任务 A）或棕色斜坡（任务 B），如果他们都处于“已攀登 70%"的状态，VEP 就会教导机器人这两个时刻是相似的。
- 风景看起来是否不同并不重要；重要的是目标正在被接近。

工作原理（“蒙特卡洛”技巧）

本文使用了一种称为蒙特卡洛价值估计的数学技巧。你可以将其理解为为视频中的每一帧计算出的“成功得分”。

数据：机器人观看数千小时的“次优”视频（即玩家并非总是获胜的视频）。
得分：对于每一帧，机器人计算一个得分：“如果我处于这个确切时刻，我成功的概率有多大？”
- 玩家即将射击敌人的帧会得到高分。
- 玩家距离很远或迷路的帧会得到低分。
学习：机器人学会将任何具有相同得分的两帧归为一类，即使它们看起来完全不同。
- 示例：《太空侵略者》中玩家即将获胜的一帧，会被归类到《恶魔攻击》中玩家即将获胜的一帧，因为两者都具有“高成功得分”。

结果：通用翻译器

通过这种方式训练，机器人学会了一种关于进展的“通用语言”。

测试：研究人员在三个领域测试了该方法：Atari 电子游戏、虚拟城市导航任务以及模拟蚂蚁穿越迷宫。
结果：当他们给机器人一个从未见过的新游戏或新城市时，它比其他方法训练的机器人学习速度快得多。
- 它获得了2 倍的奖励（表现更好）。
- 它需要3 倍少的尝试次数来学习新任务（效率更高）。

为何这很重要

本文声称，通过关注目标（我们离获胜还有多远？）而非外观（敌人看起来像什么？），机器人在将所学迁移到新情境方面表现得更加出色。

这就像教导人类时，不是向他们展示每座城市的地图，而是教导他们“逐渐接近目的地”的概念。一旦他们理解了这一概念，他们就能导航任何新城市，即使街道看起来完全不同。

简而言之：VEP 教导机器人忽略不断变化的环境中的“噪声”，专注于向目标迈进的“进展信号”，并利用不完美且未标记的视频来实现这一目标。

以下是 Lekkala 等人论文《用于学习可迁移表征的价值显式预训练》（Value Explicit Pretraining for Learning Transferable Representations）的详细技术总结。

1. 问题陈述

视觉强化学习（RL）智能体在面对环境动态和视觉外观的变化时，难以在不同任务间进行泛化。虽然人类可以忽略这些变化并提取与任务相关的信息，但机器人需要学习到对这些变化具有不变性的表征。

当前的表征学习方法面临两个主要局限性：

目标错位：许多方法使用的预训练目标（例如图像重建、时间一致性）与下游控制任务（动作预测）截然不同。
数据需求：现有的迁移学习方法通常需要高质量、带标签的专家演示或成功轨迹。缺乏能够利用次优、无标签数据（包含观测序列和稀疏奖励、智能体经常无法完成任务的序列）有效学习可迁移表征的方法。

核心挑战在于：我们如何利用不完美的无标签数据，在不针对控制任务本身进行训练的情况下，学习出一个对控制有用的编码器？

2. 方法论：价值显式预训练（VEP）

作者提出了价值显式预训练（VEP），这是一种自监督对比学习方法，通过显式编码“成功倾向”（价值），而不仅仅是视觉或时间邻近性，来学习任务无关的表征。

核心洞察

状态的价值函数 $V(s)$ 表示在最优策略下的预期回报（成功倾向）。作者假设，不同任务中（即使视觉外观不同）具有相似价值估计的状态，共享相似的最优策略。因此，表征应基于价值相似性而非视觉相似性进行聚类。

算法概述

数据源：该方法利用来自一组训练任务的离线、次优、无标签数据集（ $D_{train}$ ）。这些数据集包含观测序列和稀疏奖励信号，但没有动作标签。
蒙特卡洛价值估计：
- 由于真实的价值函数未知，VEP 使用稀疏奖励计算数据集中每一帧的蒙特卡洛（MC）估计 $G$ ：
  $G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$
- 价值估计为 0 的帧（表明在该轨迹段中从未获得任何奖励）会被丢弃。
对比学习目标：
- 编码器 $f_\phi$ 使用对比损失（InfoNCE 或三元组损失）进行训练。
- 采样策略：
  - 锚点（ $z_{an}$ ）：来自任务 $T_i$ 的观测，其价值估计为 $g$ 。
  - 正样本（ $z_{ps}$ ）：来自不同任务 $T_j$ 的观测，其价值估计在 $g$ 的阈值 $v_{thresh}$ 范围内。
  - 负样本（ $z_{ng}$ ）：来自任务 $T_k$ 的观测，其价值估计与 $g$ 显著不同（超出 $v_{thresh}$ ）。
- 目标：损失函数最小化锚点与正样本（相似价值/成功倾向）之间的距离，并最大化与负样本的距离，迫使编码器学习到对特定任务的外观和动态具有不变性的表征。

实现细节

预处理：使用字典将排序后的价值估计映射到帧索引，以实现高效的二分搜索采样。
策略训练：预训练后，编码器被冻结。在线 RL 算法（PPO）使用潜在表征 $z_t$ 作为输入在测试任务上进行训练。不对编码器进行微调。

3. 主要贡献

价值显式表征：一种新颖的预训练框架，显式利用价值估计来组织潜在空间，确保表征反映任务进展，而不仅仅是视觉或时间一致性。
次优数据利用：该方法成功利用无标签、次优数据（并非总能解决任务的回合）学习可迁移表征，这与需要专家演示的方法有显著不同。
任务无关泛化：通过关注价值相似性，该方法学习到的表征能够泛化到具有不同视觉动态但目标相似的分布外（OOD）任务。
消融与基线比较：论文严格比较了 VEP 与以下方法：
- VIP（价值隐式预训练）：依赖时间一致性。
- TCN（时间对比学习）：基于时间距离采样正样本。
- SOM（状态占用度量）：使用占用度量进行采样。
- 价值回归（VR）：一个简单回归价值估计的基线（证明对比采样优于简单回归）。

4. 实验结果

作者在三个基准测试中评估了 VEP：Atari、视觉导航（StreetLearn）和Ant 移动（Ant Locomotion）。

Atari 基准：
- 设置：在 Demon-Attack 和 Space Invaders 上预训练；在另外 4 款射击游戏中测试。
- 结果：在分布外任务上，VEP 在奖励方面比基线（VIP、TCN、SOM）高出多达2 倍。在分布内任务上提高了约 25%。
视觉导航：
- 设置：在 2 个城市上预训练；在 4 个未见过的城市上测试。
- 结果：VEP 达到与端到端训练相同的性能，但速度快2.1 倍（样本效率）。它显著优于最先进的视觉 - 语言模型（CLIP、R3M、MVP）。
Ant 移动（迷宫）：
- 设置：在简单迷宫上预训练；在具有不同障碍物和视觉变化的复杂迷宫上测试。
- 结果：VEP 在域内和分布外迷宫中均达到了最先进水平。
- 可视化：t-SNE 图显示，虽然 TCN 嵌入按迷宫外观聚类（过拟合），但 VEP 嵌入按任务进展（价值）聚类，证明了真正的任务无关学习。
消融研究：
- 次优性：即使使用仅完成 10% 任务的回合数据，VEP 的性能依然稳健。
- 阈值：确定了最佳价值阈值（ $v_{thresh} \approx 0.03$ ）；过高的阈值会降低性能。
- 对比与回归：简单回归价值（价值回归基线）未能产生可迁移的表征，证实了三元组对比采样是关键机制。

5. 意义与影响

效率：VEP 大幅提高了下游 RL 的样本效率（高达 3 倍），减少了对昂贵在线交互的需求。
数据可及性：通过移除对专家、带标签或成功演示的要求，VEP 降低了迁移学习的门槛，允许使用大量“杂乱”的现实世界或模拟数据。
泛化能力：该方法通过学习捕捉任务目标（向目标进展）而非表面视觉特征的表征，解决了“仿真到现实”和“任务到任务”的差距。
未来方向：作者建议将此方法扩展到连续控制算法（如 SAC）和少样本模仿学习，以及扩展到更复杂的大规模预训练场景。

总之，VEP代表了机器人表征学习领域的范式转变，从关注“世界看起来像什么”转向关注“智能体离成功有多近”，从而即使在数据不完美的情况下也能实现稳健的迁移。