💻 computer science

Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

本文提出了一种以物体为中心的残差强化学习框架，该框架通过利用物体位姿和模拟的 VLA 对手在纯仿真环境中训练纠偏策略，以实现零样本的从仿真到现实迁移，从而在无需额外遥操作数据的情况下，显著提升了视觉-语言-动作模型在现实世界操控任务中的成功率。

原作者： Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的机器人助手（被称为 VLA）。这个助手读过数百万本书，看过数千个视频，因此它知道在几乎任何情况下“应该做什么”。然而，当你要求它用物理双手在现实世界中“执行”某项任务时，它往往会变得笨拙。它可能会偏离杯子几毫米，或者用力过猛推开抽屉。因为它通过模仿人类来学习，微小的误差会不断累积，最终导致任务失败。

研究人员提出了这样一个问题：“我们能否教会机器人变得更精准，而不需要把它送到危险的现实世界训练营去？”

他们的答案是一种名为 “以物体为中心的残差强化学习”（Object-Centric Residual RL） 的方法。以下是其工作原理的拆解说明：

1. 问题所在：“训练中的恐怖谷”

通常，要让机器人变得更好，你要么：

在视频游戏中训练（模拟环境）： 但机器人看到现实世界时会感到困惑，因为光照和纹理看起来完全不同（就像戴着一副会让世界看起来很假的面具进行 VR 体验）。
在现实世界中训练： 这既缓慢、昂贵又具有风险。如果机器人学错了，它可能会损坏物品或伤到自己。

2. 解决方案：“副驾驶”系统

作者构建了一个由两部分协同工作的系统：

机长（基础 VLA）： 这是聪明的、预训练好的机器人大脑。它知道总体的计划（例如，“拿起杯子”）。在整个过程中，它是冻结状态且不会改变的。
副驾驶（残差策略）： 这是一个微小的、超快速的“修正”大脑。它的唯一任务就是观察机长的计划并说：“等等，你瞄准的位置偏左了一点；往右挪一点。”

3. 核心秘诀：“以物体为中心”的眼睛

这项重大突破在于副驾驶观察的对象。

基于图像的方法试图观察整个摄像机画面（像素）。这很难，因为真实的厨房看起来与模拟的厨房截然不同。
这种方法忽略了杂乱的背景。相反，副驾驶只观察物体的数学坐标（例如，“杯子在 X, Y, Z 位置”）。

类比： 想象你在尝试射击一个目标。

基于图像的训练就像是戴着一副颜色会随环境变化的墨镜去射击目标。你会感到困惑。
以物体为中心的训练则像是拥有一个激光指示器，无论天气如何，它都能准确告诉你目标的位置。这个“激光”（物体的位姿）在视频游戏和现实生活中都是一样的。

4. 他们是如何训练的（“幽灵”练习）

为了确保副驾驶在从未见过现实世界的情况下也能在现实世界中发挥作用，他们采取了一种聪明的做法：

他们提取了用于训练真实机器人的完全相同的动作演示。
他们在视频游戏（模拟环境）中重现了这些完全相同的动作，以训练一个“模拟机器人（Sim-Robot）”。
他们在视频游戏中训练副驾驶，让它去修正模拟机器人的错误。
因为副驾驶只观察“激光坐标”（物体位姿）而不是背景图像，所以它不在乎是在游戏中还是在现实生活中。它只知道：“杯子在这里，把手移到那里。”

他们还在训练过程中加入了“噪声”（比如轻微抖动坐标），以教导副驾驶即使在传感器不完美的情况下也要保持强韧。

5. 结果：零样本成功

“零样本（Zero-shot）”意味着他们将训练好的副驾驶直接应用到真实机器人上，而没有在真实机器人上进行任何进一步的训练或测试。

之前： 机器人在完成任务（如堆叠方块或关闭抽屉）时的成功率仅为 42%。
之后： 在副驾驶的帮助下，成功率跃升至 76%。

副驾驶就像是一个安全网，在机长开始偏离航线时将其接住。

6. 额外奖励：机器人能自我进化

论文还表明，一旦机器人开始在副驾驶的辅助下成功完成任务，你就可以记录下这些成功的尝试，并利用它们来重新训练“机长”（主大脑）。这创造了一个循环，让机器人可以自我教学，变得更加出色，而无需人类再次牵着它的手。

总结

研究人员为机器人大脑构建了一个通用的修正工具。他们并没有试图让机器人完美地“看见”世界，而是教会它只关注物体的数学位置。这使得一个完全在视频游戏中训练的机器人，在被放置到现实世界时，能够立即变得更加精准，并能实时修正自己的错误。

技术摘要：面向零样本 Sim-to-Real VLA 增强的对象中心残差强化学习

问题陈述

视觉-语言-动作（VLA）模型通过大规模预训练和模仿学习，在操纵任务中展现出了广泛的泛化能力。然而，源自模仿学习的策略在精确物理交互方面本质上是脆弱的；微小的执行误差会随时间累积，导致在未见状态下发生失败。虽然强化学习（RL）提供了通过在线交互进行恢复的机制，但由于现代 VLA 的架构依赖于扩散或流匹配（flow matching），这些架构无法通过标准的策略梯度进行有效微分，因此直接应用 RL 具有挑战性。

残差 RL 通过在冻结的基座 VLA 之上训练一个轻量级的修正策略，提供了一个自然的解决方案。然而，现有方法面临着根本性的“sim-to-real（仿真到现实）”困境：

特权状态法（Privileged-state methods） 需要将基于状态的教师模型蒸馏到基于图像的学生模型中进行部署，从而导致性能损失。
基于图像的方法（Image-based methods） 受限于巨大的视觉领域差异，阻碍了仿真训练的残差在现实世界中的零样本迁移。
现实世界 RL（Real-world RL） 虽然消除了迁移差距，但成本高昂、安全性低，且需要复杂的硬件基础设施。

核心挑战在于：能否通过纯在仿真中训练的强化学习策略，在无需蒸馏或现实世界 RL 的情况下，实现对现实世界 VLA 的零样本增强？

方法论

作者提出了一种**对象中心残差 RL（Object-Centric Residual RL）**框架，通过利用物体位姿来精炼 VLA 动作，从而实现一个在仿真与现实之间能够一致迁移的紧凑观测空间。该框架分为三个阶段运行：

1. 通过遥操作回放构建配对的 Sim/Real VLA
为了对齐不同领域间的动作分布，作者在仿真环境中回放用于训练现实世界 VLA ( $\pi^{real}_{VLA}$ ) 的相同遥操作演示数据。这使得仿真对应的 $\pi^{sim}_{VLA}$ 与现实中的 VLA 同步训练。由于两者都受相同的动作轨迹监督，尽管视觉输入不同，它们能学习到对齐的动作分布。这使得残差可以在仿真中与 $\pi^{sim}_{VLA}$ 一起训练，并在部署时零样本地迁移到 $\pi^{real}_{VLA}$ 。至关重要的是，由于残差不观测图像，仿真环境不需要具备高度逼真的视觉效果，从而降低了工程开销。

2. 对象中心残达 RL 训练
残差策略 ( $\pi^{sim}_{res}$ ) 完全在仿真中使用 TD3 进行训练。其核心创新在于观测空间 $s_t$ ，它避开了特权状态和原始图像：
$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$

$s^{obj}_t$ ：任务相关物体的 6-DoF 位姿（位置和朝向），通过现成的估计器（FoundationPose + SAM2）估算得出。
$s^{prop}_t$ ：本体感受状态（末端执行器位姿、夹爪状态）。
$a^{base}_t$ ：来自基座 VLA 的当前动作块（action chunk）。

为了确保针对现实世界位姿估计噪声及失效的鲁棒性，训练采用了两种增强策略：

位姿噪声注入（Pose Noise Injection）： 添加随机扰动（位置和四元数乘法），以模拟估计器的不准确性。
位姿丢弃（Pose Dropout）： 以一定概率将物体位姿向量置零，迫使策略学习仅依赖本体感受和基座动作的备选策略。

3. 零样本部署
在部署时，现实世界的 VLA 和经过仿真训练的残差策略均保持冻结。系统查询现实 VLA 获取基座动作，并查询残差根据观测到的物体位姿进行修正。如果位姿估计器的置信度低于阈值，系统将触发训练期间学习到的“丢弃”备选方案。组合后的动作计算为 $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$ ，其中 $\oplus$ 表示分量组成（位置/夹爪使用加法，旋转使用四元数乘法）。

4. VLA 自我改进
由残差修正后的策略在真实机器人上生成的成功执行轨迹（rollouts），可以跨任务进行聚合，并通过监督微调（SFT）来重新训练基座 VLA。这创建了一个自我改进循环，能够在无需额外人工遥操作的情况下生成更高质量的训练数据。

核心贡献

零样本 Sim-to-Real 框架： 一种新型残差 RL 框架，通过利用领域不变的观测空间（物体位姿 + 本体感受），实现了无需蒸馏或现实世界 RL 的零样本迁移。
自动自我改进： 一种机制，可以将残后修正后的真实机器人执行轨迹聚合起来，用于重新训练单一的多任务 VLA，从而在无需新人工演示的情况下提升基座策略。
实证验证： 在真实的 Franka Research 3 (FR3) 机器人上完成了五个操纵任务的实验，证明了该方法能将平均成功率从 42% 提升至 76%。

实验结果

该方法在真实的 FR3 机器人和 MuJoCo 仿真环境下，针对五个桌面操纵任务（举起方块、取放、堆叠方块、关闭抽屉、扶正杯子）进行了评估。

性能增益： 仿真训练的残差将真实机器人的平均成功率从 42% (Base VLA) 提升至 76% (Base + Residual)。在仿真中，平均成功率从 38% 提升至 86%。
消融研究：
- 鲁棒性： 位姿噪声注入和位姿丢弃对于性能至关重要；移除其中任何一项都会导致性能下降，其中位姿丢弃对于应对检测失效至关重要。
- 观测空间： 对象中心观测显著优于基于图像的基线（后者因视觉领域差异而失败）以及基于蒸馏的方法（后者在蒸馏过程中遭遇性能损失）。
干预分析： 当基座 VLA 与目标发生偏差时，残差会持续进行干预，将动作导向目标。这种选择性修正使任务完成速度提升了 9–22%。
泛化性： 该框架被证明与不同的 VLA 主干网络兼容（测试了 $\pi_{0.5}$ ），证实了观测接口并非特定于某种架构。
自我改进： 使用残差修正后的执行轨迹重新训练基座 VLA，相比于使用原始基座执行轨迹进行重训，获得了更高的成功率和更短的执行时长。

意义与主张

论文声称，通过将残差策略的观测空间从图像或特权状态转向对象中心位姿，可以在无需复杂的领域自适应或蒸馏的情况下弥合 sim-to-real 差距。这种方法利用了 VLA 的泛化能力，同时通过一个轻量级、可零样本迁移的模块增加了精度。

作者将其定位为实现可扩展且自主机器人改进的实用路径。通过将修正机制与基座策略的训练解耦，并利用可恢复的状态表示，该方法实现了仿真训练的 RL 策略在现实世界中的部署。此外，利用这些修正后的执行轨迹来重新训练基座 VLA 的能力，为持续、自动的系统优化提供了一条途径，而无需承担持续人工遥操作的高昂成本。

作者注明的局限性：

依赖实时 6-DoF 位姿追踪，在完全遮挡或严重杂乱的情况下可能会失效。
需要手动指定任务相关的物体。
基于位姿的观测虽然弥合了视觉差距，但并未弥合动力学差距（例如摩擦力、顺应性），这可能会影响接触密集型任务。
作为一种残差架构，它无法从远离基座 VLA 训练分布的状态中恢复。
亚毫米级的精度任务可能会超出当前位姿估计的精度范围。