💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Harness VLA 是一个记忆增强型智能体框架，它通过将冻结的视觉-语言-动作模型视为可重试的富接触原语，并将其与一组固定的解析原语库进行组合，从而在无需模型微调的情况下，显著提升了这些模型在复杂操控任务中的可靠性，并在 LIBERO-Pro 和 RoboCasa365 等基准测试中实现了显著的性能提升。

原作者： Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人大脑，它在某一件特定的事情上表现得极其出色：抓取形状奇特的物体、转动粘性的旋钮或按下按钮。它就像一位世界级的厨师，能完美地切菜和煎牛排。但如果你要求这位厨师策划一场完整的晚宴、在拥挤的厨房中穿行，或者在桌子被移动后弄清楚盐罐在哪里，他们就会彻底迷失方向。他们可能会试图去切那个盐罐，因为他们是在特定的桌面布局下接受的训练；或者当指令发生轻微变化时，他们可能会陷入僵局。

这就是目前的“视觉-语言-动作”（VLA）机器人所面临的问题。它们擅长“接触”部分（触摸和移动物体），但在面对混乱或变化的情况时，处理“规划”部分的能力却很糟糕。

由此诞生了 Harness VLA。请将它视为不仅仅是一个新的机器人大脑，而是一位接管厨房运营工作的卓越项目经理。

团队协作：经理与专家

在这个新系统中，机器人大脑（VLA）是“冻结”的。这意味着我们不会重新训练它或教它新技巧。它保持原样，作为一个专注于复杂接触任务的专家。Harness VLA 系统在这一专家周围包裹了一个“经理”（AI 智能体）。

以下是他们如何协作的：

经理（规划者）： 这是老板。它观察任务（例如，“把牛奶放进冰箱”），检查房间情况，并将工作分解为微小且符合逻辑的步骤。它使用一组精简且固定的“分析型”工具——比如移动机械臂的 GPS、一个简单的开合夹爪指令，或者一个旋转手腕的动作。这些工具就像机器人的基本反射：可预测、可靠，且非常适合在空旷空间中移动。
专家（冻结的 VLA）： 经理只在情况变得棘手时才调用专家。当机器人需要实际抓取一个湿滑的牛奶盒、转动水龙头或按下按钮时，经理会说：“好了，专家，轮到你了！”专家完成其魔力操作，持续几秒钟后，再将控制权交还给经理。

核心秘诀：记忆笔记本

真正的魔力不仅在于这种团队协作，还在于记忆。

想象一下，经理有两个笔记本：

任务笔记本： 在机器人成功解决一个问题后，经理会记录下它采取的步骤序列。但酷的地方在于：经理记录的不是像“移动到 x=1.2, y=0.5”这样的精确坐标，而是记录逻辑，例如“移动到红碗处”。这样一来，如果明天碗换了位置，经理仍然可以使用相同的计划，只是重新瞄准步骤以适应新位置。
全局笔记本： 这是一个收集了许多不同任务中的“经验法则”和“教训”的集合。其中包含类似这样的笔记：“如果夹爪闭合但物体没有移动，说明是无效抓取——重试一次”或“在庆祝成功之前，务必检查成功信号”。

当有新任务进来时，经理会查阅这些笔记本。如果机器人失败了，经理不会直接放弃。经理会阅读“失败规则”，调整计划，重新定位机器人，并再次请求专家的帮助。这就像人类学习骑自行车：你摔倒了，你记住了哪里出了错，你调整了平衡，然后再次尝试。

这个系统不是什么

论文非常明确地说明了这个系统不做的事情。它明确反对以下两种常见观点：

它并不试图让机器人大脑变得更大或更聪明。 作者并没有训练一个新的、庞大的全能 AI 模型来处理一切。他们保持了大脑的冻结和精简。
它并不给机器人提供无限的新技能库。 经理不会在运行中即兴发明新工具。它使用一套精简且固定的工具集（移动、旋转、抓取、释放），并学习如何完美地组合它们。

论文指出，试图让一个巨大的 AI 处理所有事情（规划、移动和抓取）本身就是问题所在。通过将工作拆分，该系统变得更加可靠。

结果：它奏效了吗？

作者在多个虚拟世界中测试了该系统，从简单的桌面游戏到复杂的厨房模拟。结果令人印象深刻：

在名为 LIBERO-Pro 的标准测试中（指令发生了变化或物体被移动到了新位置），Harness VLA 系统的成功率比之前的最佳方法高出了 38.6 个百分点。
在名为 RoboCasa365 的厨房模拟中，它将成功率提高了 25.4 个百分点。
在名为 RoboTwin 的双臂机器人测试中，它达到了 58.4% 的成功率。

论文表明，通过让聪明的经理处理规划和记忆，并仅在实际抓取时使用冻结的“专家”大脑，机器人能够比以前更好地应对现实世界的变化。这提醒我们，有时构建超级机器人的方法不在于给它一个更大的大脑，而在于给它一个更好的经理。

技术摘要：Harness VLA

问题陈述

以语言为条件的机器人操控需要一个既能进行精确、富接触控制，又能对语言、场景和长程任务进行鲁棒推理的系统。当前的方法面临着一个根本性的权衡：

端到端视觉-语言-动作（VLA）模型： 这些模型擅长处理局部、图像条件的接触任务（例如：抓取不规则物体、转动水龙头），但它们是在分布内轨迹上训练的。在面对部署时的扰动时（如语义重定向、目标重绑定、空间布局偏移，或当短技能需要组合成更长的流程时），它们往往会失败。单个不稳定的接触失败就可能导致整个单体式展开过程的中断。
LLM 编码智能体（Coding Agents）： 这些智能体通过对感知和控制 API 进行可执行程序的合成，提供了强大的语义和组合推理能力。然而，纯分析型原语（例如：逆运动学传输、夹持器控制）在处理不规则抓取、受限放置和关节物体交互时显得力不从心。此外，扩展这些系统通常需要扩大技能库，这迫使智能体必须验证新生成的技能的安全性和可重用性。

核心挑战在于如何将 VLA 的局部视觉运动能力与智能体的组合推理能力相结合，且无需在部署时对 VLA 进行微调或扩展原语词汇表。

方法论：Harness VLA

作者提出了 Harness VLA，这是一个增强记忆的智能体框架，它并不将冻结的 VLA 视为一个单体策略，而是将其视为固定库中一个可重试、富接触的原语。

1. 系统架构

该系统通过高层智能体规划器 ( $\Pi$ ) 与物理引擎之间的回合制、自回归交互来运行。

固定原语库 ( $\mathcal{P}$ )： 规划器被限制在一个很小的固定原语集中。这包括：
- 分析型原语（Analytic Primitives）： 用于非接触任务的确定性、基于模型的控制器（例如：MOVE TO、ROTATE WRIST、SET GRIPPER、NAVIGATE TO）。这些原语处理自由空间传输、暂存、姿态调整和释放。
- VLA 原语 (VLA ACT)： 一个单一的学习型原语，封装了一个冻结的、预训练的 VLA。它仅在局部、富接触阶段（例如：抓取、插入、装置驱动）被调用。
记忆模块：
- 任务特定记忆（Task Specific Memory）： 存储来自参考种子（reference seed）的成功原语组合轨迹（JSONL 格式）。这些轨迹是参数化的（通过将具体坐标替换为符号查询），以便在新的空间布局中进行少样本重定位（re-grounding）。
- 全局记忆（Global Memory）： 存储从探索中提炼出的可重用成功规则和失败模型（例如：“避免空抓”、“如果接触失败则重新暂存”）。

2. 执行循环

该框架遵循 读-执行-打印循环（REPL） 风格的执行：

探索性引导（Exploratory Bootstrapping）： 在参考种子上，规划器通过迭代原语组合自主发现解决方案。它使用 RESET 原语来重试失败。一旦成功，它会将轨迹抽象为“任务特定记忆”，并从“全局记忆”中提取启发式信息。
部署评估： 在未见的扰动下（例如：位置交换、指令重定向），规划器检索“任务特定记忆”轨迹。它利用实时的 RGB-D 观测动态地对轨迹进行重定位，并咨询“全局记忆”以避免已知的失败模式。规划器编排序列：使用分析型原语进行暂存和传输，并在机器人处于有利于接触的局部配置时才调用 VLA ACT。

3. 核心设计原则

非对称委托（Asymmetric Delegation）： 语义对齐、长程组合和场景级推理由规划器处理。冻结的 VLA 被严格保留用于其训练分布具有信息量的局部接触操作。
可重试接触（Retryable Contact）： 规划器将 VLAACT 视为一次局部尝试。如果接触阶段失败（例如：抓取不稳定），规划器可以重新调整机器人的暂存状态（改变接近姿态或视角），然后重试 VLA 调用，而不是导致整个回合失败。
无需微调（No Finetuning）： VLA 主干保持冻结。系统通过改变调用 VLA 的时间和方式来扩展其操作范围，而不是更新其权重。

核心贡献

记忆增强型智能体框架： 一种新颖的架构，将冻结的 VLA 暴露为固定库中的一个原语，从而在无需 VLA 微调或扩展词汇表的情况下，实现长程、受扰动的操控。
固定原语的实证分析： 证明了当规划器学会编排时，一个小的固定原语库就足够了。通过规划器阶段性的多次调用可以重构脆弱的 VLA 尝试，而分析型原语则解决了非接触结构的构建问题。
鲁棒的基准测试表现： 该框架在标准和重度扰动的基准测试中均取得了最先进的结果，显著优于直接的 VLA 基线和先前的智能体方法。

实验结果

作者在四个基准测试家族上评估了 Harness VLA：LIBERO、LIBERO-Pro、RoboCasa365 和 RoboTwin C2R。

标准 LIBERO： 使用 Codex 或 Claude Code 规划器的 Harness VLA 实现了 96.0% 的总成功率，在保持与底层冻结 VLA（95.3%）竞争力的同时，提升了扰动鲁棒性。
LIBERO-Pro（受扰动）： 在指令重定向和位置交换的扰动下，Harness VLA 显著优于最强的基线 RATS。
- Harness VLA (CC): 82.4% 总成功率。
- Harness VLA (Codex): 72.1% 总成功率。
- 相比 RATS (43.8%) 的提升：+38.6 个百分点。
- 相比冻结的 RLinf 基线 (50.0%) 的提升：+32.4 个百分点。
RoboCasa365（家庭厨房）： Harness VLA 相比冻结的 RLDX-1 基线（30.0%）提升至 55.4% (Codex) 和 48.6% (CC)，增幅为 +25.4 个百分点。
RoboTwin C2R（双臂零样本）： 在从干净环境到随机化环境的迁移设置中，Harness VLA 将冻结的 LingBot-VLA 后端成功率从 50.4% 提高到了 58.4%。

机制分析：

语义重定位（Semantic Re-grounding）： 规划器显式解析任务描述并重新绑定目标，防止 VLA 在指令变化时重复训练时的行为。
自适应调用（Adaptive Invocation）： 成功率随着前几次经过规划器阶段处理的 VLA 调用迅速上升，证明了在重新暂存后重试接触尝试对于鲁棒性至关重要。
分工协作（Division of Labor）： 分析型原语处理了大部分非接触传输和暂存工作（例如在 LIBERO 中占 84.2% 的调用），将 VLA 保留给特定的、最有效的接触密集阶段。

重要性与主张

论文声称，Harness VLA 证明了预训练的 VLA 在被隔离为接触密集型视觉运动控制时最为有效，而将语义和空间绑定抽象到更高层级的智能体中，可以防止单体式部署中常见的灾难性失败。

作者认为，他们的方法提供了一条在无需为每个新任务或环境支付巨大计算成本进行 VLA 微调的情况下，实现鲁棒操控的实用路径。通过将 VLA 视为“接触专家”，并将智能体视为“编排者”，该系统扩展了冻结模型的适用范围，使其能够应对分布外场景。这项工作强调，鲁棒性的关键不在于扩展技能库，而在于通过记忆引导的组合和自适应重试机制来学习固定原语的操作范围。

局限性： 作者指出，该系统依赖于规划器与 VLA 之间的开环反馈，缺乏通过环境奖励进行的联合微调（暗示未来可结合强化学习），并且受限于缺乏针对高度拥挤场景的细粒度图像描述能力。他们还建议未来可以集成自动技能发现系统（如 ASPIRE），以在必要时扩展原语词汇表。