🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA 是一种面向视觉 - 语言 - 动作模型的恢复驱动策略优化框架，它通过区分成功、失败与恢复轨迹来训练一种以价值为条件的策略，从而在无需在线故障检测器的情况下自主纠正执行偏差，提升长视野、高接触性操作任务中的鲁棒性。

原作者： Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人烹饪一顿复杂的饭菜，或者折叠一条精致的毛巾。你给它看一段人类完美完成这些动作的视频。机器人观看、学习，并尝试模仿你。

问题：“完美食谱”陷阱
当前的机器人（称为视觉 - 语言 - 动作模型）非常擅长模仿完美的视频。但生活是混乱的。如果机器人打掉了勺子、在湿滑的地板上滑倒，或者以奇怪的角度抓杯子，它就会感到困惑。因为它仅接受过完美视频的训练，所以当事情出错时，它不知道该怎么办。它只是继续试图遵循原始的“完美”脚本，尽管情况已经改变，从而导致崩溃。这就像一个只在空旷高速公路上学过开车的司机；一旦遇到坑洼，他们便不知道如何绕行。

解决方案：RePO-VLA（“恢复教练”）
这篇论文介绍了一种名为RePO-VLA的新方法。该方法不再仅仅向机器人展示完美视频，而是教会它三件具体的事情：

成功：如何正确完成。
失败：当事情出错时会发生什么。
恢复：如何纠正错误并重回正轨。

这就像训练一名体操运动员。你不仅展示完美的落地动作，还展示他们摔倒的视频，以及随后他们如何自救并重新站起来的视频。机器人会明白，摔倒并非世界末日；这只是一个切换策略的信号。

工作原理：三个简单步骤

“全新开始”技巧（恢复感知初始化）
当机器人摔倒时，它往往会记住导致摔倒的那个错误。如果你让它去解决问题，它可能会陷入在脑海中重演错误的死循环。
- 解决方法：RePO-VLA 截取视频中“恢复”的部分，并切掉“错误”的部分。它在修复开始之前重置机器人的记忆。这就像告诉机器人：“忘记你是怎么摔倒的。只看你现在在哪里，并想办法重新站起来。”这防止了机器人将摔倒的原因与解决方案混淆。
“进度温度计”（语义价值函数）
系统为视频中的每一个时刻分配一个“分数”。
- 高分（1.0）：你正在朝着目标前进。
- 低分（0.0）：你正在偏离方向或即将崩溃。
- 神奇之处：如果机器人滑倒，分数会下降。但如果它开始修复滑倒，分数就会回升。机器人学会观察这个“温度计”。如果分数很低，它就知道要停止当前的计划，尝试不同的动作以让分数回升。它学会了区分“努力尝试但失败”与“真正解决问题”。
“目标导向”驱动（基于价值的细化）
当机器人在现实世界中实际工作时，系统会告诉它：“瞄准尽可能高的分数（1.0）。”
- 如果机器人偏离轨道，“分数”就会下降。因为机器人被训练为追逐高分，它会自动切换到“恢复模式”以回到安全路径。它不需要人类大喊“停！”或依靠特殊传感器来检测崩溃。它只需看到分数下降，就会本能地进行自我修正。

测试：FRBench
为了证明这行之有效，研究人员建立了一个名为FRBench的测试。想象一个视频游戏，机器人试图倒水或折叠毛巾，但游戏管理员秘密地推动机器人或让物体打滑。

旧机器人：被推搡时，它们继续试图向空中倒水或以错误的方式折叠毛巾，最终失败。
RePO-VLA 机器人：被推搡时，它意识到分数正在下降，停止了错误的动作，并想出了倒水或折叠的新方法，成功完成了任务。

结果
在测试中，当事情出错时，旧机器人的成功率仅为 20% 左右。而新的 RePO-VLA 机器人成功率约为 75%。在实际机器人的现实世界试验中，其成功率高达 80%。

一句话总结
RePO-VLA 教会机器人：失败只是数据。通过分解错误、重置记忆，并给机器人一个要追逐的“分数”，它将一个脆弱易碎的机器人转变为一个能够自我修复问题的坚韧机器人。这其中的区别，就像是一个只死记硬背答案键的学生，与一个学会了即使题目变化也能解决问题的学生之间的区别。

技术摘要：RePO-VLA

问题陈述

视觉 - 语言 - 动作（VLA）模型推动了通用机器人控制的发展，但在长程、接触丰富的操作任务中仍显脆弱。现有方法严重依赖对成功演示的监督微调（SFT），从而造成了“失败利用盲区”。当执行发生漂移时（例如由于抓取姿态偏差、物体滑移或时序错误），标准 VLA 缺乏恢复所需的监督信号。此外，现有方法往往完全丢弃失败的轨迹 rollout，忽视了其早期阶段可能包含有效的接近行为。相反，盲目模仿包含失败历史和纠正动作的完整恢复轨迹会导致因果混淆，即策略学会将先前的错误与恢复动作相关联，而不是学会针对当前不利状态做出反应。

方法论：RePO-VLA

RePO-VLA（面向视觉 - 语言 - 动作模型的恢复驱动策略优化）是一个旨在统一进度信号下从成功、失败及恢复轨迹中进行学习的框架。它分为两个不同的阶段：

1. 恢复感知初始化（RAI）

第一阶段旨在解决“因果混淆”问题，即策略可能错误地学习到特定的失败历史是恢复的必要触发条件。

带历史重置的轨迹切片（TSHR）： 将原始恢复轨迹进行切片，移除失败前缀。在纠正段开始时重置观测历史缓冲区。这迫使策略将恢复学习为基于当前不利状态（例如空夹爪或物体未对齐）的状态条件技能，而非特定错误重演。
训练： 策略在专家演示与这些重置后的恢复片段（ $D_{expert} \cup D_{reset}^{rec}$ ）的混合数据上进行微调，平衡了标称模仿与恢复学习。

2. 价值条件细化（VCR）

第二阶段恢复完整的滚动历史（包括失败前缀），并引入稠密语义价值信号以区分有用、漂移和纠正行为。

进度感知语义价值函数（PAS-VF）： 一个轻量级适配器网络将时空视频特征与语言指令对齐到共享语义流形中。它通过测量当前轨迹前缀与一组成功参考轨迹簇之间的余弦相似度，来学习任务进度。
稠密标注：
- 成功/恢复： 维持或恢复进度的帧被标记为 $v_t = 1.0$ 。
- 错误片段： 导致不利状态的前缀被标记为 $v_t = 0.0$ ，以防止与纠正动作平均化。
- 纯失败： 早期运动学先验通过可靠性衰减机制得以保留（ $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ），而终端崩溃则被降低权重。
价值条件训练： 策略通过源自稠密标签的价值 token（ $e_{val}$ ）进行增强。在训练期间，策略学习将相同的不利观测和历史映射到不同的动作模式，具体取决于期望的价值。
部署： 在推理时，策略使用标准的滚动历史缓冲区（不重置），但将价值 token 固定为 $v = 1.0$ 。这将动作分布偏向于学习到的“成功流形”，从而实现自主恢复，无需在线失败检测器或启发式重试规则。

主要贡献

RePO-VLA 框架： 一种两阶段（RAI + VCR）架构，结构上重用失败的 rollout。它通过历史重置消除因果混淆，并通过稠密进度标签实现价值区分的动作。
FRBench： 一个新的恢复评估基准，具有标准化的错误注入（E1–E4：过早闭合、抓取滑移、位置偏移、方向不匹配）和基于阶段的协议，在仿真（RoboTwin）和现实世界双臂任务中隔离了标称能力与纠正能力。
实证验证： 证明了显式的恢复监督和稠密价值指导显著提高了鲁棒性。论文展示了正缩放趋势，即增加恢复数据的密度可进一步提升性能。

实验结果

仿真（FRBench-Sim）： 在 46 个双臂任务中，RePO-VLA 在注入错误的情况下显著优于基线（包括 $\pi_0$ 、 $\pi_0.5$ 和 RDT）。在具有对抗性扰动的随机设置中，RePO-VLA 的平均成功率为 43.0%，而 $\pi_0.5$ 基线仅为 15.4%。
现实世界评估： 在 Dobot X-Trainer 机械臂上测试了倒水、烹饪和折叠毛巾等任务。
- 在对抗性扰动下，基线 $\pi_0.5$ 的成功率为 20.0%，而 RePO-VLA（仅第一阶段）达到了 37.5%。
- 数据缩放： 将恢复数据密度从 1 倍增加到 4 倍进一步提升了性能。完整（4 倍）变体在对抗条件下实现了 75% 的成功率，超过了第一阶段基线，表明更密集地覆盖失败 - 恢复邻域至关重要。
消融研究： 证实了历史重置（TSHR）对于防止因果混淆至关重要，且价值条件（ $v=1.0$ ）提供了优于启发式重试的稳定控制信号。

意义与主张

本文主张，RePO-VLA 通过根本性地改变失败数据的利用方式，解决了当前 VLA 模型的脆弱性。该框架不再丢弃失败或将恢复过程视为统一的正面样本，而是将其分解为不同的语义角色：

失败的有用前缀被保留为运动学先验。
终端崩溃被安全地降低权重。
纠正动作被学习为状态条件技能，与 preceding 的具体失败历史解耦。

作者认为，这种方法使得单一策略能够同时处理标称执行和自主恢复，而无需切换模块或依赖外部失败检测器。结果表明，对于可靠的长程操作，特别是在接触丰富的环境中，从漂移中恢复的能力与执行标称计划的能力同样关键，且这种能力可以直接从混合质量交互数据中学习得到。