🤖 AI

EXIMO: VLM Guided Exploration of VLA Policies

本文介绍了 EXIMO，这是一种三阶段算法，它结合了用于任务分解和数据收集的视觉-语言模型（VLM）规划器，以及随后的模仿学习和残差强化学习，旨在高效地为新机器人任务微调大型视觉-语言-动作（VLA）策略。

原作者： Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人在没有人类站在旁边指导每一个动作的情况下，很难学习新任务。多年来，最成功的方法是向机器人展示数千小时的人类演示，教它模仿那些特定的动作。这种方法对于简单、重复的工作效果很好，但当机器人面临从未见过的场景时（例如，根据一个关于猴子喜欢吃什么的谜语来弄清楚如何将特定的水果放入碗中），它就会失效。另一种方法是让机器人通过试错来学习，但这在现实世界中通常太慢且太危险，因为机器人可能需要数百万次尝试才能成功。科学家面临的挑战是找到一种方法，赋予机器人思考问题并快速学习的能力，而不需要人类记录每一个步骤。

Google DeepMind 的研究团队开发了一种名为 Eximo 的新方法来解决这个问题。他们从一个已经掌握基本技能（如拿起香蕉或放置杯子）但无法弄清楚如何组合这些技能以完成复杂多步目标的机器人开始。为了弥补这一差距，他们引入了第二个高度智能的计算机程序，充当战略规划器。这个被称为“视觉-语言模型”的规划器可以观察机器人的周围环境并理解整体目标，例如“把盘子和碗放在架子上”。该规划器并不直接尝试移动机器人的手臂，而是将大目标分解为一系列简单的自然语言指令，例如“用左手拿起蓝色盘子”，并将它们传递给机器人。

这个过程分为三个不同的阶段。首先，研究人员让机器人和规划器协同工作，以探索新任务。规划器通过摄像头画面观察机器人的进度，并不断更新其指令，引导机器人完成成功所需的步骤。当机器人成功完成一项任务时，团队会保存该事件序列。在第二阶段，他们利用这些成功的案例来直接教导机器人。他们获取机器人的原始大脑，并使用这些成功的例子对其进行微调，实际上是在展示如何无需规划器在耳边低声指点就能独立解决问题。最后，在第三阶段，他们让机器人再次练习该任务，这一次使用一种允许机器人对动作进行微调的学习方法，使其变得更加精准和可靠。

这种方法的成果在模拟环境中进行了测试，涵盖了二十二种不同的任务，从将餐具放在架子上到将工具分类放入特定隔间。研究人员发现，当机器人在初始探索阶段由规划器引导时，它完成这些复杂任务的频率比试图独自摸索的机器人要高得多。更重要的是，在机器人使用来自规划器的成功案例进行学习后，它变得比目前最先进的机器人还要出色。机器人学会了解决需要推理的任务，例如通过描述而非名称来识别物体，并且完成这些任务所需的尝试次数远少于传统方法。

这项工作表明，将机器人的物理技能与强大的思考型计算机程序相结合，可以创造出更强大的学习者。核心见解在于，机器人不需要永久运行这个思考程序；相反，它可以从程序的指导中学习，然后独立执行任务。通过使用这种方法，研究人员展示了机器人可以快速且高效地学习新的复杂行为，向着能够适应现实世界不可预测性且无需持续人工监督的机器迈出了重要一步。

技术摘要：Eximo：由 VLM 指导的 VLA 策略探索

问题陈述

本文旨在解决如何高效微调机器人策略，使其能够在无需依赖昂贵的人类遥操作的情况下，快速学习新的复杂任务。虽然最先进的机器人操控策略基于大规模视觉-语言-动作（VLA）模型的行为克隆（LBC），但这些模型在处理超出其训练分布的长程、组合性或重推理任务时表现不佳。

两种现有的主要方法存在局限性：

强化学习 (RL)： 虽然 RL 具备自我改进的能力，但在样本效率方面表现极差，尤其是在探索难度较大的长程任务中。直接将 RL 应用于庞大的 VLA 模型，又受到其规模和架构设计（例如扩散头）的进一步限制。
基于遥操作的行为克隆： 为每个新任务收集新的遥操作数据集需要数百小时昂贵的人力劳动，且无法捕捉现实世界场景中的完整多样性。

作者提出了一个设定：通过仅指定自然语言目标和成功检测器，使预训练的语言调节 VLA 策略能够适应新任务，旨在实现样本高效性，且无需额外的遥操作。

方法论：Eximo

作者提出了 Eximo，这是一个旨在弥合语义理解与运动控制之间差距的三阶段算法。该流水线由 探索 (Explore)、模仿 (Imitate) 和 优化 (Optimize) 组成。

1. 探索：VLM 指导的数据收集

在此阶段，系统利用最先进的视觉语言模型 (VLM) 作为 VLA 的高层规划器和编排器。

机制： 向 VLM（具体为 Gemini）提供环境的视觉历史和自然语言目标。VLM 将复杂的长程目标分解为一系列可处理的短程子目标或指令。
交互： VLM 以闭环方式运行，向 VLA 策略提供逐步的自然语言指令（例如，“用左手拿起蓝色盘子”）。VLA 执行这些指令。
数据过滤： 系统运行这些编排后的策略。只有成功完成任务（通过真值成功检测器验证）的片段才会被存储在数据缓冲区中。失败的尝试会被过滤掉。
目标： 利用 VLM 的世界知识进行语义探索，在无需人工干预的情况下，为新任务收集高质量、多样化的轨迹。

2. 模仿：监督微调 (SFT)

收集到的成功轨迹被用于将 VLM 的编排知识蒸馏回 VLA 中。

过程： 通过在过滤后的数据集上进行监督行为克隆来微调 VLA。
蒸馏： 至关重要的一点是，VLA 被训练为直接以原始任务目标 ( $g$ ) 为条件来预测动作，而不是以 VLM 提供的中间指令为条件。这使得 VLA 能够内化由 VLM 展示的多步推理和技能链。
结果： 最终生成的策略成为一个独立的智能体，能够执行新任务，而无需在部署期间进行在线 VLM 查询，从而消除了延迟并降低了计算开销。

3. 优化：残差在线 RL

最后阶段通过在线强化学习进一步精炼策略。

挑战： 由于 VLA 的规模巨大以及长程任务中奖励稀疏，直接通过 RL 训练大型 VLA 非常困难。
方法： 作者采用了残差策略架构。一个较小的残差策略 ( $\pi_{ref}$ ) 根据当前状态、目标以及微调后的 VLA 预测的动作 ( $a_{VLA}$ ) 来学习输出一个修正项 ( $\Delta a$ )。最终执行的动作为 $a = a_{VLA} + \Delta a$ 。
训练： 残差策略使用离策强化学习（具体为 MPO 算法）进行训练，以最大化成功概率。预微调的 VLA 提供了一个强大的初始化，使得残速策略的探索更加具有样本效率。

核心贡献

Eximo 框架： 一种新型的三阶段流水线（探索-模仿-优化），结合了 VLM 指导的探索与 VLA 微调及残差 RL。
VLM 作为编排器： 证明了 VLM 可以有效地通过自然语言编排 VLA 策略，以解决复杂的长程任务，而无需显式地对机器人 API 或预定义技能集进行接地（grounding）。
知识蒸馏： 表明通过 SFT 将 VLM 指导的轨迹战略性地蒸馏到 VLA 中，可以显著提高基座 VLA 的性能和样本效率，从而创建一个在推理时优于基座 VLA 和 VLM 编排 VLA 的独立策略。
残差 RL 集成： 成功地通过残差策略将在线 RL 与 VLA 微调相结合，在保持样本效率的同时实现了进一步的性能提升。

实验结果

作者在模拟环境中使用 ALOHA 机器人平台对 22 个操控任务进行了评估。任务包括盘子放置、基于推理的对象选择（例如，“猴子喜欢的水果”）以及空间推理（例如，左侧与右侧隔间）。

探索效率： 与仅使用基座 VLA 相比，VLM 编排显著提高了基座 VLA (GROD) 的成功率并缩短了回合长度，证明了更高效的数据收集。
微调收益： 在 VLM 编排数据上进行监督微调 (SFT) 大幅提升了基座 VLA 的性能。微调后的 VLA 在推理时的表现优于 VLM 编排的 VLA，证明了蒸馏过程的成功。
RL 性能： 当应用在线 RL 时，“GROD + SFT + RL”配置达到了最高的成功率和最快的收敛速度。即使基座模型经过了更多的环境步数训练，该配置仍显著优于基座 GROD 模型。
消融实验： 本文确认了所有三个阶段都对最终性能有所贡献。特别地，将 VLM 的行为蒸馏到 VLA 中，比在评估期间保持 VLM 作为在线编排器效果更好。

重要性与主张

本文声称 Eximo 建立了训练 VLA 的新范式。通过结合 VLM 的通用世界知识与 VLA 的感知运动技能，该方法使机器人能够在无需昂贵遥操作时长的情况下习得新技能。

作者强调，该方法实现了：

样本效率： 与纯 RL 或纯遥操作相比，大幅减少了学习新任务所需的数据。
自主性： 创建了一个完全自主的学习闭环，使机器人能够适应仅由自然语言指定的、具有推理能力的复杂新任务。
部署可行性： 产生一个不依赖于高延迟 VLM 编排器进行执行的独立策略，使其适用于实时控制。

这项工作表明，未来的系统可以将 VLM 不仅作为规划器，还作为自我蒸馏的工具，使 VLA 能够通过自生成的、高质量的数据不断扩展其能力。