🤖 AI

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ 是一种从离线到在线的强化学习方法，它通过用自监督的多项式排序损失替代均匀悲观主义来学习结构化的动作偏好，从而提升样本效率和策略性能，在稀疏奖励基准测试中展现出优越结果，并在基于视觉的机器人学习中实现了显著的仿真到现实迁移增益。

原作者： Andrew Choi, Wei Xu

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Choi, Wei Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《RankQ：通过自监督动作排序实现离线到在线强化学习》的通俗解释，辅以生动的类比。

宏观图景：在不破坏机器人的前提下教导它

想象一下，你想教一个机器人堆叠积木。你有两个选择：

在线学习：让机器人尝试、失败、撞毁，然后从零开始学习。这既缓慢、危险，又昂贵（就像让一个蹒跚学步的幼儿开汽车来学习驾驶一样）。
离线学习：给机器人看别人操作的视频。机器人从视频中学习，但从不接触真实的积木。这既快速又安全，但如果视频画面抖动，或者视频中的人犯了错，机器人可能会学到坏习惯。

RankQ 是一种新方法，试图兼得两者的优点。它让机器人先从视频中学习（离线），然后让它在现实世界中练习（在线）以变得更好。问题在于，当机器人开始练习时，它往往会因为自己的错误或视频中的糟糕部分而感到困惑。RankQ 通过教导机器人对动作进行排序（ranking），而不仅仅是死记硬背，从而解决了这个问题。

问题所在：“悲观”教练

以前的方法（如 CQL 和 Cal-QL）试图通过扮演悲观教练来解决“糟糕视频”的问题。

它们的工作原理：它们告诉机器人：“任何你在视频中没见过的东西可能都很危险。所以，如果你尝试新事物，我们会严厉惩罚你。”
缺陷：如果视频展示的是完美的动作，这招很管用。但如果视频充满了失败呢？悲观的教练会说：“别尝试任何新东西，因为视频里说一切都很糟。”这导致机器人永远无法进步。它被困在视频中看到的完全相同的次优动作中，即使它本可以做得更好。

解决方案：“排序”教练（RankQ）

RankQ 改变了教练的风格。RankQ 不像那个惩罚一切新事物的悲观者，它更像一位聪明的排序教练。

它不说“新事物是坏的”，而是说“让我们比较一下。这个新动作比视频里的动作是更好还是更差？”

以下是 RankQ 教导机器人对动作进行排序的方式：

成功与失败：它查看视频，将“好动作”（成功）与“坏动作”（失败）区分开来。
“噪声”测试：它从视频中选取一个“好动作”，并对其进行轻微调整（比如加入一点静态噪声）。它教导机器人：“原本完美的动作比这个稍微出错的版本更好。”
“混乱”测试：它选取一个“好动作”，使其变得非常杂乱或随机。它教导机器人：“稍微出错的版本仍然比这种完全的混乱要好。”
“失败”测试：即使视频显示的是失败，RankQ 也教导机器人，视频中的“坏动作”仍然比完全随机、凭空捏造的动作要好。

魔法所在：通过学习这些相对排序，机器人构建了一张心理地图（即"Q 景观”）。在这张地图上，“好动作”位于山顶，而“坏动作”位于谷底。

当机器人尝试新动作时，它得到的不仅仅是一个“是/否”的答案，而是一个方向。
数学计算告诉机器人：“你在这里。要到达山顶（成功），你需要向这个方向移动。”

这使得机器人能够从糟糕视频数据的“谷底”中爬出来，找到新的、更好的堆叠积木的方法，即使原始视频充满了错误。

他们测试了什么（结果）

研究人员在两类挑战上测试了这种方法：

1. “电子游戏”测试（D4RL 基准）

他们使用了标准的机器人模拟任务（如蚂蚁穿越迷宫或机械手移动钢笔）。

结果：RankQ 的表现与另外七种顶级方法相当甚至更优。它特别擅长解决其他机器人会陷入困境的最难迷宫。

2. “真实机器人”测试（视觉 - 语言 - 动作模型）

这是最关键的一项。他们使用了一个复杂的 AI 模型（VLA），该模型能够“看见”并“理解”语言指令。

低数据场景：他们只给机器人提供了极少量的练习数据（仅 200 次尝试）。
- 其他方法：停滞不前。因为它们太害怕尝试新事物，无法改进。
- RankQ：成功了。与次优方法相比，它将机器人的成功率提高了42.7%。它学会了更好地堆叠立方体并将勺子放入碗中。
高数据场景：他们给机器人提供了大量数据（800 次尝试），并模拟了许多不同的光照条件和相机角度。
- 结果：RankQ 仍然是最快且最成功的。它完成任务的速度比竞争对手快25.7%。
现实世界迁移：他们将计算机模拟中训练好的机器人放到真实的物理机器人上，并在真实实验室中进行测试。
- RankQ 之前：机器人堆叠立方体的成功率仅为43.1%。
- RankQ 之后：机器人堆叠立方体的成功率达到了84.7%。

核心启示

可以将 RankQ 视为一种教导机器人不仅做什么，而且如何判断其正在做什么的方法。

RankQ 不是让机器人盲目遵循脚本，也不是让它害怕尝试新事物，而是给了机器人一个指南针。它帮助机器人理解，“比失败稍好一点”是向上的一步，而“完美”是目标。这使得机器人能够从不完美的数据中快速学习，并在开始在现实世界中练习时迅速进步。

技术摘要：RankQ——通过自监督动作排序实现离线到在线强化学习

问题陈述

离线到在线强化学习（RL）旨在利用预先收集的数据集，在进入在线交互之前提高样本效率。该范式面临的主要挑战是在数据集覆盖有限的大状态 - 动作空间中学习准确的评论家（价值函数）。现有方法通常通过施加悲观主义（pessimism）来解决分布外（OOD）动作的价值高估问题，这有效地降低了 OOD 动作相对于数据集中动作的权重（例如保守 Q 学习 [3] 和校准 Q 学习 [2]）。

虽然悲观主义稳定了训练，但本文认为它充当了“行为克隆锚点”。通过均匀地惩罚未见过的动作，这些方法使策略偏向于数据集分布。当离线数据集包含次优或失败轨迹时，这会成为一个问题；悲观约束会阻碍下游在线策略的改进，因为它阻止智能体探索数据中未出现但可能更优的动作。本文解决的核心问题是：如何塑造超出数据集范围的价值函数，以便在不依赖均匀悲观主义的情况下实现有效的在线改进。

方法论：RankQ

作者提出了RankQ，这是一种离线到在线 Q 学习目标，通过自监督多术语排序损失（self-supervised multi-term ranking loss）增强标准的时序差分（TD）学习。RankQ 不是均匀地惩罚 OOD 动作，而是显式地对动作的相对质量进行建模，以在 Q 值景观中强制实施结构化排序。

核心机制

该方法将数据集 $D$ 划分为成功（ $D_{success}$ ）和失败（ $D_{failure}$ ）轨迹。它构建特定类别的次优动作以创建成对排序约束：

噪声动作（ $a_\epsilon$ ）： $a + \epsilon$ ，其中 $\epsilon \sim \mathcal{N}(0, \sigma)$ 。
强噪声动作（ $a_{2\epsilon}$ ）： $a + 2\epsilon$ 。
随机动作（ $a_r$ ）： 均匀采样的动作。
置换动作（ $a_p$ ）： 从不相关状态采样的动作。

RankQ 损失强制实施以下结构化排序：

成功偏好： 对于成功转换，最优动作的 Q 值必须高于所有次优变体：对于 $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$ ，满足 $Q(s, a) > Q(s, a')$ 。
次优动作间的相对质量： 该方法基于与最优动作的接近程度强制实施层级结构： $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$ 。这确保了 Q 景观梯度（ $\partial Q/\partial a$ ）指向更高质量区域，而不仅仅是远离数据集。
失败监督： 对于失败轨迹，该方法强制数据集动作仍然优于随机动作（ $Q(s, a) > Q(s, a_r)$ ），但由于缺乏对失败之间相对质量有意义的概念，避免了施加更强的排序约束。

最终目标将这些排序损失与标准 TD 损失相结合：
$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$

主要贡献

基准测试性能： 在 D4RL 基准测试的四个antmaze和三个adroit稀疏奖励环境中，RankQ 的性能与七种先前方法（包括 CQL、Cal-QL 和混合 RL）相当或更优。
低数据 VLA 微调： 在具有挑战性的低数据 regime 下（200 次离线滚动，每次更新 8 次在线滚动），RankQ 是唯一一种显著优于基线视觉 - 语言 - 动作（VLA）模型的方法。在三个操作任务（胡萝卜放盘、立方体堆叠、勺子入碗）中，其平均成功率比次优方法高出 42.7%。
高数据性能与仿真到现实迁移： 在具有广泛领域随机化的高数据设置中，RankQ 将仿真成功率提高了13.7%，任务完成速度提高了25.7%，优于次优方法。至关重要的是，它展示了成功的仿真到现实迁移，将现实世界中立方体堆叠的成功率从初始 VLA 性能的43.1% 提升至 84.7%。
Q 景观分析： 作者提供了 extensive 分析，表明 RankQ 塑造了 Q 值景观，使得动作梯度指向更高品质的行为，避免了在 CQL 和 Cal-QL 中观察到的无界悲观主义和过度的梯度尖峰。

实验结果

D4RL 基准测试： RankQ 在较简单的任务（如antmaze-medium、adroit-pen）上与最强基线持平，并在困难、长视野任务（如antmaze-large和adroit-relocate）上优于所有基线，其他方法在这些任务中往往无法学习到有意义的策略。
VLA 低数据： 仅使用 800 次总在线滚动，RankQ 始终推动策略超越其模仿基线，而其他方法（CQL、Cal-QL、SAC+OFF）则在其初始性能附近基本停滞。
VLA 高数据与仿真到现实： RankQ 训练的策略不仅实现了更高的成功率，而且执行任务的速度更快（约 8 秒，而基线为 10.5–12.5 秒）。在现实世界试验中，RankQ 策略在 144 次试验中将堆叠立方体的成功率从 43.1% 提升至 84.7%，同时也降低了执行时间的方差。

意义与主张

本文主张，显式建模相对动作排序为最先进的离线到在线方法中使用的均匀悲观主义提供了一种有效的替代方案。通过塑造 Q 函数以引导动作梯度朝向更高品质的行为，而不仅仅是抑制未见过的动作，RankQ 使得在离线预训练和在线微调期间都能实现更有效的策略改进。

作者指出，这种方法在稀疏奖励和低数据设置中特别有价值，因为在这些设置中，悲观方法可能变得过于限制，无法从丰富的失败数据中提取学习信号。RankQ 策略成功的仿真到现实迁移表明，结构化的价值塑造可以促进可扩展的离线到在线 RL 和现实世界机器人学习，即使初始数据集主要由次优或失败轨迹主导。