🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

本文提出了一种检索增强方法，通过索引来自更廉价具身智能体的演示数据，在测试时将冻结的视觉-语言-动作模型扩展到新任务，从而在无需针对每个任务进行微调的情况下，在未见任务和未见具身智能体上实现卓越性能。

原作者： Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个需要学习新工作的机器人。传统上，教机器人一项新任务（比如打开特定的柜子或将瓶子放入箱子）就像为每一项新技能都雇佣一位私人导师。你必须：

记录机器人手动执行任务的过程（这既慢又贵）。
重新训练机器人的大脑专门针对这一项任务（这需要大量的计算能力和时间）。

如果你想让机器人做 100 种不同的任务，你就必须进行 100 次这种昂贵的训练过程。

论文的核心思想：“检索，而非重训”

论文作者提出了一种更聪明的方法，叫做 RECAP。与其每次都重新训练机器人的大脑，不如给它一个“更便宜”的示例库，并教会它如何从中查找信息。

以下是它的工作原理，使用简单的类比：

1. 两种“身体”（具身模型）

想象机器人是一个笨重、笨拙的建筑工人（“目标实体”）。要让他们演示新任务很难，因为他们动作缓慢，且需要昂贵的设备来控制。

现在，想象一只灵活的人手（“池化实体”）。拍摄人类完成任务的视频非常容易。他们动作快、成本低，且几乎能做任何事。

问题在于，人的手移动的方式与建筑工人不同。如果你只是告诉工人“模仿这只手”，他们可能会弄坏东西，因为他们的手臂构造不同。

2. 旧方法 vs. 新方法

旧方法（重训）： 每当你想要工人学习一项新任务时，你都要雇一名教练站在旁边，向他们展示任务，然后花费数小时调整他们的脑回路以适应这项任务。这既慢又贵。
新方法 (RECAP)：
1. 训练一次： 你只需教工人一次，让他们学会如何将“人类手的动作”转化为“建筑工人的动作”。你教他们：“当你看到人类的手做动作 X 时，你就做动作 Y。”
2. 冻结大脑： 一旦学会了这种转换技能，你就锁定大脑。不再进行训练。
3. 图书馆（检索）： 你创建一个视频库，里面展示了人类手完成许多不同任务的过程。
4. 神奇之处： 当工人需要执行一个他们从未见过的新任务时，你不需要重训他们。相反，你询问图书馆：“我们是否有关于人类在做类似这件事的视频？”
5. 结果： 工人找到最接近的视频，观察它，并利用他们的“转换技能”来弄清楚他们应该如何移动才能达到同样的结果。

3. “残差”技巧（秘诀）

该论文使用了一种特殊的 AI 模型（称为“世界-动作模型”），它扮演着一个预测故事讲述者的角色。

人类视频（计划）： 检索到的视频提供了一个“粗略计划”。它说：“目标是将物体从这里移动到那里。”
机器人的任务（修正）： 机器人并不试图完全模仿人类。相反，它会计算人类移动方式与它自身需要如何移动之间的差异（即“残差”）。
- 类比： 想象人类是一个正在做旋转动作的舞者。机器人是一台叉车。机器人不会尝试像舞者一样旋转。它观察舞者的计划（“向左旋转”），并计算出：“好吧，我需要让我的轮子向左转，以实现同样的结果。”

该 AI 模型不仅被训练用于预测机器人的下一步动作，还被训练去预测场景在下一步会变成什么样。这起到了“现实检查”的作用。如果机器人的计划会导致一场混乱（比如掉落瓶子），该模型就会捕捉到并纠正动作。

4. 他们的发现

研究人员通过三种方式测试了该方法：

一个简单的 2D 游戏 (PushT)： 他们让机器人将方块推向不同的角度。通过向库中添加更多人类视频，机器人在没有额外训练的情况下，能够更好地将方块推向它从未见过的新角度。
复杂的模拟环境 (RoboTwin)： 他们测试了一个双臂机器人执行复杂任务的情况。“检索”方法击败了其他试图为每项工作重新训练机器人的方法。
真实机器人： 他们将此技术应用在真实的物理机器人上。他们利用人类视频在单项任务（开柜子）上训练了机器人。然后，他们冻结了大脑。当他们要求机器人执行新任务（关柜子、放瓶子）时，他们只需将这些任务的人类视频添加到库中。机器人成功地搞定了它们，而标准的机器人则完全失败了。

总结

这篇论文表明，你不需要为每一项新工作都重新训练机器人的大脑。相反，你可以训练它一次，让它理解如何将“廉价的人类示例”转化为“昂贵的机器人动作”。然后，要教它一项新工作，你只需向库中添加一段新视频。

它将机器人学习从“为每项工作构建一个新大脑”转变为“在食谱中查找配方”。

技术摘要：检索而非重训 (RECAP)

问题陈述

将视觉-语言-动作 (VLA) 策略扩展到新任务或新的机器人具身形态（例如，从人手到特定的机械臂）通常需要收集昂贵的、针对特定任务的遥操作演示，并进行针对每个任务的微调。这一过程产生了两个显著成本：

数据收集成本： 遥操作机器人数据的获取速度慢（比人类手部演示慢约 18 倍），且受限于硬件。
计算成本： 为每个新任务微调现代世界-动作模型 (WAMs) 或大型 VLA 策略是计算密集型的（例如，Cosmos Policy 每个任务约需 24 GPU 小时），并且其成本随模型规模和上下文长度而增加。

作者认为，这种针对每个任务的适配成本是可以避免的。与其进行重训，不如通过基于检索的范式，将行为知识从一个廉价、数据丰富的来源（“池化”具身形态，如人手）转移到目标具身形态（“查询”对象）。

方法论：RECAP

本文提出了 RECAP（检索调节动作策略），这是一个将适配过程从参数优化转向数据检索的框架。其核心前提是：虽然不同具身形态在执行动力学方面存在差异，但在任务的高层需求上基本保持一致。

1. 训练阶段

骨干网络： 该方法利用了一个世界-动作模型 (WAM)，具体为 Cosmos Policy，它将动作和未来的视觉观测视为一个统一的去噪视频序列。
检索增强调节： 策略是在来自查询（目标机器人）和池化（如人手）具身形态的配对演示上进行训练的。
残差参数化： 策略不是预测完整的动作序列，而是基于检索到的池化轨迹预测一个残差 ( $\Delta a$ $Δ a$ )。
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- 这迫使模型仅学习具身形态特有的修正（动力学、接触几何），而非整个运动规划。
联合目标函数： 模型使用流匹配损失进行训练，该损失共同监督预测的动作和预测的未来状态（图像）。未来图像目标作为一个视觉一致性信号，确保检索到的轨迹与目标机器人在场景中的物理演变相一致。

2. 测试时适配（推理）

冻结策略： 一旦训练完成，策略参数即被冻结。对于新任务不会发生梯度更新。
动态检索池： 通过将相关的池化具身形态演示（例如，人类视频）添加到检索池中来处理新任务。
逐步检索： 在每个控制步 $t$ $t$ ，系统执行以下操作：
1. 观测当前的查询状态 $s^{query}_t$ 。
2. 基于复合描述符（语言目标、物体位姿、本体感受和视觉特征），从池数据库中检索最相似的状态-动作块 $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ 。
3. 将当前观测和检索到的块输入到冻结的策略中。
4. 策略输出目标机器人的下一个动作块，该输出以检索到的高层规划为条件。

核心贡献

测试时适配范式： 一种通过扩展检索池（使用廉价的演示数据）来完全在测试时适配策略的方法，且保持策略参数不变。
基于 WAM 的检索调节残差策略： 一种特定的架构，其中检索提供粗略的高层运动，而 WAM 仅学习具身形态特有的修正。作者强调，WAM 的未来图像预测目标在此具有独特的益处，它提供了一个视觉对齐信号，从而强化了受检索调节的动作。
实证验证： 在三种设置下证明了相对于跨具身基准模型的持续增益：
- PushT (2D)： 对未见过的目标角度的泛化。
- RoboTwin 2.0 (仿真)： 多任务、双臂操作。
- 真实机器人： 从人类手部视频到物理机械臂的迁移。

实验结果

PushT 基准测试（跨具身泛化）

设置： 三角推杆（目标）在 $\pm 45^\circ$ 角度上进行训练，并在 9 个角度（其中 7 个为未见角度）上进行评估。池由圆盘推杆演示组成。
结果：
- 池增长过程： 在测试时扩展检索池而不进行重训，使未见角度的成功率单调提升，从 6.0%（无检索）上升到 34.9%（全池）。
- 骨干网络比较： 检索提升了标准 VLA ( $\pi0.5$ ) 和 WAM (Cosmos) 骨干网络的性能，但 WAM 的增益显著更大（25.1% vs 34.9%），证实了检索与未来图像目标之间的协同作用。
- 机制： 注意力分析显示，策略利用早期层来关注检索到的轨迹，并利用后期层将计划适配到目标动力学。

RoboTwin 2.0 仿真

设置： 目标 (Aloha-Agilex) vs 池化 (UR5)。在 5 个配对任务上训练，在 5 个未见任务上评估。
结果：
- 性能： RECAP 在未见任务上实现了 31.5% 的成功率，优于最强的基准模型（不带检索的 Cosmos Policy，为 26.0%）以及“仅检索”（朴素执行，为 26.0%）。
- 池增长： 随着池从 11 个任务增长到 35 个任务，成功率单调增加，在全池时达到 31.5%。
- 定性分析： 在“递交麦克风”等任务中，朴素检索会导致失败（碰撞物体），而 RECAP 则能成功调整抓取方向。

真实机器人实验

设置： 目标机器人针对“开柜门”任务进行训练（25 个配对演示）。在留出的任务“放置瓶子”和“关柜门”上进行评估。
结果：
- 基准模型（仅针对开柜门训练）在留出任务上表现失败（成功率分别为 0% 和 10%），仅会重复训练时的轨迹。
- RECAP 仅通过为每个新任务添加 10 个人类手部演示到池中，就在放置瓶子上达到了 80% 的成功率，并在关柜门任务上达到了 30% 的成功率。

意义与主张

本文主张，在部署时索引更廉价的池化具身形态数据，可以替代收集新的目标机器人演示。

降低成本： 该方法用检索过程取代了约 24 GPU 小时/任务的微调成本以及 18 倍慢速的遥操作成本。
可扩展性： 通过冻结策略，系统可以通过向检索池添加数据来吸收新任务，从而避免了传统微调带来的复合成本。
与 WAM 的协同作用： 本研究表明，当世界-动作模型 (WAM) 与检索结合时，它们可以有效地利用来自另一种具身形态的“粗略”规划，来学习另一种具身形态的“精细”动力学，这是标准纯动作策略所缺乏的能力。

作者承认了局限性，指出该方法需要共享动作空间（例如末端执行器位姿），并且目前的检索描述符（结合了语言、位姿和视觉）在面对更复杂或时间不匹配的场景时可能需要进一步优化。然而，结果表明，通过检索而非重训来进行适配，是实现通用机器人策略的一条可行路径。