💻 computer science

Action with Visual Primitives

本文介绍了 AVP（基于视觉原语的动作），这是一种端到端架构，通过让视觉 - 语言模型输出视觉原语令牌来调节流匹配动作专家，从而将指令理解与空间理解同运动控制解耦，进而相较于 pi_0.5 等现有方法，显著提升了机器人抓取与放置任务的成功率、数据效率及泛化能力。

原作者： Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何下复杂的中国象棋，或者完美地堆叠多米诺骨牌。你给它一个指令：“把红色的棋子移到角落。”

在大多数当前的机器人“大脑”（称为VLA 模型）中，机器人试图一次性完成所有任务。它必须理解你的话语，确定红色棋子在棋盘上的确切位置，然后计算抓取它所需的精确肌肉动作——所有这些都必须在瞬间的一个念头中完成。这就像要求一个人在不停思考的情况下，一边看地图、一边开车、一边停车，同时还要进行对话。这往往会导致混乱，尤其是当棋盘看起来略有不同，或者棋子位于新位置时。

本文的作者提出了AVP（基于视觉原语的动作），这是一种更聪明的分工方式。他们将机器人的大脑视为一个拥有两个不同角色的团队：策略家（Strategist）和执行者（Doer）。

新的团队协作：策略家 vs. 执行者

1. 策略家（视觉 - 语言模型）
将这部分想象为“眼睛和大脑”。它的唯一任务是观察场景和指令，然后决定做什么以及在哪里做。

策略家不仅仅用文字思考，它会在图像上绘制快速、无形的草图。它可能会在棋子周围画一个小框，或者在目标格子上点一个点。
这些草图被称为**“视觉原语（Visual Primitives）”**。它们是简单、清晰的标记，意为：“嘿，关注这里。”

2. 执行者（动作专家）
将这部分想象为“双手”。它不需要担心理解象棋规则或你话语的含义。

它只需查看策略家的草图（即视觉原语），然后说：“好的，我看到了这个框。我会移动我的手臂去抓取框内的东西。”
由于“做什么”和“在哪里”已经由策略家解决，执行者可以 100% 地专注于物理动作。

为什么这种方法效果更好

论文指出，旧的方法迫使“执行者”每次移动时都要重新学习如何观察和理解世界。而新的 AVP 方法让“策略家”利用其预训练的知识来处理思考，而“执行者”只需跟随视觉线索。

“零标注”超能力
通常，要教机器人绘制这些框，人类必须手动标注成千上万张图片（例如，“这是棋子”）。这既缓慢又昂贵。

AVP 的诀窍：机器人已经知道它的手正在移动到哪里（因为它控制着自己的关节）。在训练过程中，系统会自动将机器人自身的手部运动转化为“视觉原语”（即框和点）。
类比：这就像一位舞蹈教练不需要在地面上为学生画箭头。教练只需观察学生的脚，并自动突出显示学生正在采取的步骤。无需额外的绘制。

结果：现实世界的证明

该团队在拥有两只手臂的真实机器人上，针对三种具有挑战性的场景进行了测试：

中国象棋：在拥挤的棋盘上移动棋子，周围有许多外观相似的物品。
多米诺骨牌：以非常特定的角度放置骨牌。
通用抓取与放置：拾取不同形状的随机物体。

成绩单：

与之前的最佳方法（称为π0.5）相比，AVP 将成功率提高了27.61%。
泛化能力：如果机器人在一种类型的棋盘上训练，但在完全不同的棋盘（或不同物体）上测试，AVP 仍然表现良好。旧方法经常失败，因为它会被新的外观搞糊涂。
速度：虽然一些使用外部工具来寻找物体的旧方法速度很慢（完成一个指令需要 37 秒），但 AVP 速度很快（0.27 秒），使其适用于实时使用。

一句话总结

AVP 是一个将思考与行动分离的机器人控制系统。它利用“策略家”根据指令绘制简单的视觉目标（原语），并由“执行者”跟随这些目标。这种分工使机器人能够更好地处理新任务、新物体和拥挤的环境，而无需人类手动教导每一个细节。

技术摘要：基于视觉原语的动作（AVP）

问题陈述

当前的视觉 - 语言 - 动作（VLA）架构通常在一个前向传递中将语言指令和视觉观测映射为机器人动作。尽管这种设计在概念上很简单，但它将指令理解、空间场景理解和运动控制纠缠在单一的学习目标中。因此，“动作专家”（负责生成运动指令的组件）被迫隐式地重新学习那些已经存在于预训练视觉 - 语言模型（VLM）中的认知和感知能力。这种耦合限制了学习效率和泛化能力，特别是在测试时对象、布局或环境发生变化的情况下。

现有的试图通过中间表示来解决这一问题的方法面临特定的权衡：

以规划为中心的方法（例如 $\pi0.5$ ）使用语言子任务，但在密集场景中难以处理细粒度的空间区分。
世界 - 动作模型（例如 $\pi0.7$ ）使用预测的未来帧，要求动作专家重新发现与任务相关的像素。
视觉提示方法（例如 Point-VLA、VP-VLA）依赖外部模型（如 SAM 或 Grounding DINO）来生成空间标记。这创建了多阶段流水线，引入了推理延迟，并存在因上游定位失败而导致错误传播的风险。

方法论：AVP 架构

作者提出了AVP（基于视觉原语的动作），这是一种端到端的 VLA 架构，重新定义了 VLM 与动作专家之间的接口。AVP 摒弃了隐式、非结构化的边界，转而采用一种以视觉原语为中心的通信协议。

核心组件

预训练 VLM 与自回归解码器：给定语言指令（ $l$ ）和多视角观测（ $o_t$ ），VLM 解析当前子任务。随后，一个自回归解码器预测一个离散的视觉原语（ $p_t$ ），代表下一阶段的目标（例如一个点、边界框或轨迹）。
投影到视觉空间：预测的原语从语言空间投影到视觉令牌空间（ $z^{vp}_t$ ）。这些令牌叠加在原始观测上，形成增强的多模态表示（ $z^{aug}_t$ ）。
流匹配动作专家：动作专家接收增强令牌和机器人状态（ $s_t$ ），以预测未来一段时间的动作序列（ $a_{t:t+h}$ ）。

训练与监督

端到端优化：与级联方法不同，AVP 将视觉原语接口内化。原语生成和动作预测被联合优化。
监督来源：视觉原语解码器使用辅助损失（ $L_{vp}$ ）进行监督。关键在于，真实视觉原语（ $y^{vp}_t$ ）直接源自末端执行器运动学（机器人本体感知），从而消除了对人工标注或外部感知模型的需求。
目标函数：总损失是动作预测损失和原语监督损失的加权和： $L = L_{act} + \lambda L_{vp}$ 。

主要贡献

重新概念化的责任划分：本文提出了一种明确的分工，即 VLM 负责推理“做什么”和“在哪里”（通过视觉原语），而动作专家则专注于“如何执行”。
作为显式接口的视觉原语：AVP 引入了由 VLM 内部生成的空间接地令牌作为通信媒介，取代了当前 VLA 的隐式边界。
端到端实现：该系统在不依赖外部检测器或分割器的情况下实现了这一接口，利用运动学衍生的监督来训练原语生成器。
可扩展性：该方法提供了一条通过低成本训练数据（运动学提供自动标签）进行扩展的路径，并且其紧凑的形式易于扩展到增强记忆或更长视野的任务中。

实验结果

作者在双机械臂 AgileX Piper 平台上评估了 AVP，涵盖了三个现实世界任务：中国象棋操作、多米诺骨牌放置以及通用物体抓取与放置。

性能与基线对比：与 $\pi0.5$ $π 0.5$ 基线相比，AVP 在所有任务中的操作成功率总体提高了 27.61%。
- 中国象棋：平均成功率从 62.67%（ $\pi0.5$ ）提高到 90.28%（AVP）。
- 多米诺骨牌放置：平均成功率从 81.94% 提高到 88.19%，在方向成功率方面取得了显著提升。
- 通用抓取与放置：平均成功率从 64.96% 提高到 86.18%。
泛化能力：
- 空间组合泛化：在训练期间未见过的直接转换（A $\to$ B）上（训练仅展示了 A $\to$ C $\to$ B）， $\pi0.5$ 完全失败（0% 成功率），而 AVP 实现了高成功率（例如在棋盘直接转换上达到 100%）。
- 零样本对象迁移：仅在中国象棋数据上训练的模型成功泛化到了零样本设置下的未见对象和背景，而基线在分布偏移下显著退化。
效率：与依赖外部大语言模型 API 的方法（例如耗时约 37 秒的 Point-VLA 变体）相比，AVP 展示了更低的推理延迟（0.27 秒）。

意义与主张

本文主张 AVP 证明了将目标推理与运动执行解耦的有效性。通过将复杂的空间推理卸载给 VLM，并为动作专家提供明确、视觉接地的指令，该系统实现了：

提高的数据效率：由于动作专家无需重新学习空间接地，学习过程更加高效。
增强的泛化能力：显式的视觉接口允许策略重新组合已学习的运动模式，以应对新颖的转换和对象。
降低的标注开销：依赖运动学进行原语监督，避免了人工标注的成本和脆弱性，也消除了对外部检测器依赖的脆弱性。

作者承认了局限性，指出顺序两阶段推理（先预测原语，再生成动作）比单步策略引入了稍高的运行时延迟，且系统仍然对精确的手眼校准敏感。然而，结果表明，视觉原语作为通用机器人操作的接口是稳健且可扩展的。