🤖 AI

Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation

本文提出了一种用于机器人操作的新型离线策略评估框架，该框架利用基于折扣存活性的贝尔曼算子，有效应对稀疏奖励、非单调任务进展以及有限视界截断偏差，从而在准确反映任务进展方面优于经典方法。

原作者： Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一个机器人学习如何折叠毛巾或拿起碗。有时，机器人成功了。有时，它打翻了碗、滑倒，或在完成前耗尽了时间。

在机器人领域，我们需要一种方法来评估这些尝试。我们想知道：“这个机器人的策略有多好？”问题在于，机器人只在尝试结束时才得到评分：通过（任务完成）或失败（时间耗尽）。它不会在沿途的每一步都获得分数。

本文介绍了一种新的、更聪明的方法来评估这些机器人，特别是当它们被允许在犯错后继续尝试时。

问题：“超时”陷阱

想象一个学生正在参加考试。如果他们时间耗尽，老师会将整份试卷标记为“未完成”。但如果该学生实际上正走在正确的轨道上，只是需要再多两分钟呢？或者，如果他们被一道难题卡住，稍作停顿，解决了一道较简单的问题，然后又回来解决那道难题呢？

在机器人领域，这被称为截断偏差。因为机器人的“考试”（即一个回合）有严格的时间限制，标准的评估方法假设：如果机器人因时间耗尽而停止，那就是彻底失败。它们没有意识到机器人可能几乎成功了，或者正处于恢复过程中。这使得机器人看起来比实际情况更差。

解决方案：“存活”评分

作者提出了一种新的评分思路。他们不再问：“你获得了多少奖励？”，而是问：“你距离‘存活’（成功）还有多远？”

他们将任务视为一场“热或冷”的游戏：

目标状态（成功）： 机器人是“热”的。分数非常低（例如 -1）。
失败/超时： 机器人是“冷”的。分数很高（例如 1）。
中间状态： 分数告诉你还需要多少步才能到达目标。

巧妙之处在于他们如何处理“冷”的时刻。

“自举”技巧：从“差点成功”中学习

这里的魔法成分是：自举（Bootstrapping）。

想象你正在观看一个机器人尝试拿起碗。

尝试 1： 机器人拿起碗，打翻了它，再次拿起，然后成功了。
尝试 2： 机器人拿起碗，打翻了它，然后计时器归零。

标准评估者会说尝试 2 是彻底失败。但我们的新方法审视尝试 2 并说：“等一下！机器人在尝试 2 中打翻了碗，就像在尝试 1 中一样。但在尝试 1 中，机器人从完全相同的打翻中恢复并完成了任务。”

因此，该方法表示：“尽管尝试 2 耗尽了时间，但机器人处于一个它知道如何恢复的状态。让我们给它更高的分数。”

这就是自举机制。它在“失败”的尝试中寻找与“成功”尝试中完全相同的时刻。如果找到匹配项，它就会提升失败尝试的分数，意识到机器人并非注定失败，只是时间不够了。

他们的发现

作者在三种不同的场景中测试了这种方法：

拿起碗（模拟）： 机器人打翻了碗，恢复后完成了任务。新方法正确地认可了机器人的恢复能力，而旧方法则认为这是失败。
将方形 peg 放入孔中（模拟）： 这更难，因为机器人没有“恢复”策略。如果它掉落了 peg，它就真的卡住了。新方法仍然擅长识别进展，但它无法神奇地解决机器人无法从糟糕的掉落中恢复这一事实。
折叠毛巾（真实机器人）： 由人类控制机器人。人类经常挣扎、掉落布料，然后重试。新方法非常出色地认识到，即使人类在挣扎，他们仍在向目标取得进展，而旧方法仅仅将“挣扎”视为“失败”。

权衡

论文承认了一个小缺点。由于该方法非常擅长为“差点成功”的时刻给予认可，它有时会变得过于乐观。它可能会认为一次失败的尝试实际上是成功的，因为它看起来与真正的成功相似。然而，作者认为这是一个公平的权衡：对机器人恢复能力稍显乐观，总比因时间耗尽而不公正地惩罚它要好。

一句话总结

这篇论文为机器人的评分系统提供了“第二次机会”。新方法不再仅仅因为时钟耗尽就判定机器人失败，而是审视机器人的历史。如果机器人曾证明自己能从特定错误中恢复，该方法就会认可它走在正确的轨道上，即使当前的尝试未能在时限内完成。它将简单的“通过/失败”评分转化为一张细致的地图，展示机器人距离成功究竟有多近。

技术摘要：基于折扣存活性公式的操纵策略离线策略评估

问题陈述

本文解决了机器人操纵策略的**离线策略评估（OPE）**挑战。虽然策略评估对于开发和部署机器人系统至关重要，但由于以下三个具体特性，标准强化学习（RL）方法在现实世界的操纵场景中面临重大障碍：

稀疏奖励：奖励通常是二元的（任务完成与失败），而非稠密的，这使得学习中间进展变得困难。
有限视界截断：评估 rollout 通常因手动超时而终止。在离线数据中，无法区分策略是真正失败，还是仅仅因时间耗尽而失败（若给予更多时间本可成功）。这引入了截断偏差，导致标准方法（如 TD(0) 和蒙特卡洛）系统性地低估策略性能。
非单调进展：操纵策略通常表现出恢复行为（例如，掉落物体后再次拾起）。这导致任务进展呈非单调性，违反了累积奖励公式中期望稳步接近目标的假设。

方法论

作者提出了一种框架，将离线策略评估重新表述为折扣存活性问题。该方法不是估计期望累积回报，而是学习一个表示任务完成“语义距离”的价值函数。

1. 折扣存活性公式

作者通过用目标函数 $l(s)$ 替换奖励函数 $R$ 来修改标准马尔可夫决策过程（MDP），该函数编码了到目标集 $L$ （目标状态）的距离。

目标函数：如果 $s$ 是目标状态，则 $l(s) = -1$ ，否则 $l(s) = 1$ 。
价值定义：状态 $s$ 的价值定义为在所有可能未来轨迹上实现的最小目标值的期望：
$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$
保守估计：为了避免过度乐观，作者推导了一个**保守（悲观）**的不动点贝尔曼算子。他们引入折扣因子 $\gamma$ 以诱导压缩映射，从而得出更新规则：
$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$
该公式确保如果轨迹遇到失败（值为 1），该值会向后传播；但如果遇到目标（值为 -1），该值则反映到达该目标的步数。

2. 两阶段自举框架

为了解决缺乏稠密奖励和截断偏差问题，作者引入了一个两阶段算法：

阶段 1（锚点计算）：算法识别“无歧义”状态——具体来说，是所有在成功到达目标的回合中的状态。它使用贝尔曼算子计算这些状态及其后代的价值估计。这些值作为基于观察到的成功的“锚点”。
阶段 2（自举）：利用阶段 1 中的价值函数 $V_\pi$ $V_{π}$ 来细化目标函数 $l(s)$ $l (s)$ 。对于超时（失败）回合中的状态，如果某个状态（或潜在空间中的相似状态）与成功回合中的状态重叠，其目标值将从默认的悲观值（1）更新为从成功轨迹推导出的乐观值。
- 更新规则变为： $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$ 。
- 该机制有效地将成功信号向后传播通过截断的回合，覆盖了超时意味着必然失败的假设。

主要贡献

基于存活性的公式：一种针对稀疏奖励操纵任务的 OPE 新颖重新表述，将价值解释为任务进展（存活性）的度量，而非累积回报。
截断偏差缓解：一种两阶段、自举评估算法，利用观察到的成功来纠正有限视界离线数据中固有的悲观偏差。
理论保证：证明了所提出的折扣贝尔曼算子诱导了压缩映射，确保了唯一不动点价值函数的存在。

实验结果

该方法在三个案例研究中进行了评估，使用了由视觉 - 语言 - 动作（VLA）模型、扩散策略和人类演示生成的数据集：

LIBERO-Spatial（抓取与放置）：带有 VLA 策略的模拟任务。
方孔插入：带有扩散策略的模拟任务。
布料折叠：使用人类遥操作数据在 Franka Panda 机械臂上执行的硬件任务。

基线：该方法与 TD(0)、蒙特卡洛（MC）、分布蒙特卡洛（MC-D）以及他们自己方法的无自举消融版本（Ours-NB）进行了比较。

指标：

成功指标：成功回合中估计的到目标步数小于实际回合长度的帧的百分比。
失败指标：失败回合中估计的到目标步数超过标准任务视界的帧的百分比。
综合指标：上述两项的算术平均值。

发现：

性能：所提出的方法在所有三个任务中均取得了最佳的成功指标和综合指标性能，显著优于经典基线。
截断偏差：该方法大幅减少了截断偏差，正确识别出超时回合中的许多状态实际上接近成功（可恢复）而非失败。
失败指标权衡：与某些基线相比，该方法在失败指标上表现稍差。作者将此归因于自举机制对超时回合中视觉上类似于成功状态的状态持“乐观”态度，可能导致将一些真正的失败错误分类为可恢复。
鲁棒性：即使数据集规模较小（低至 50 个回合），该方法仍然有效，并且对图像编码器的选择（SigLIP2、CLIP、DINOv2）基本不敏感。

意义与主张

本文声称，通过将策略评估重新框架化为存活性问题并利用自举机制，可以学习到准确反映操纵任务中非单调任务进展的价值函数。其主要意义在于能够区分策略失败和回合截断，这是现实世界机器人中可靠离线评估的关键能力，因为在现实世界中超时很常见。

作者指出，他们的方法对于表现出恢复行为的策略特别有效。然而，他们也承认局限性：

如果成功和失败回合之间的状态重叠学习错误（例如在视觉线索较差的任务如方孔任务中），自举机制可能导致过度乐观。
该方法严重依赖数据集分布，可能无法很好地泛化到其范围之外。
对于不表现出恢复行为的策略，性能会下降，因为自举机制缺乏可供传播的“锚点”。

该工作得出结论，虽然该方法在失败检测准确性上引入了微小的权衡，但其在捕捉成功任务进展方面的显著改进，使其成为评估稀疏奖励和有限视界下操纵策略的优越工具。