🤖 AI

Visual Prompt Guided Unified Pushing Policy

本文提出了一种将轻量级视觉提示机制融入流匹配策略的统一推挤策略，旨在生成反应式多模态推挤动作，从而克服现有方法依赖预定义原语的局限性，并有效支持 VLM 引导的规划框架以高效解决如桌面清理等任务。

原作者： Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让机器人变得更“聪明”、更“灵活”的推东西新方法。为了让你更容易理解，我们可以把机器人想象成一个刚学会推东西的小学生，而这项研究就是给这个小学生装上了一个**“万能指令器”**。

以下是用大白话和生活中的比喻对这篇论文的解读：

1. 以前的机器人有多“笨”？

想象一下，你教一个机器人推桌子上的积木。

以前的做法：你得像教小孩做数学题一样，给机器人写死规则。比如：“如果看到红色积木，就推左边；如果看到蓝色，就推右边。”
问题：这种机器人很死板。如果你把场景变了（比如积木变多了，或者任务从“把积木推到角落”变成了“把积木聚在一起”），它就不会了。它就像只会做“加法”的计算器，突然让你做“乘法”，它就死机了。而且，它通常一次只能学会一种推法，换个任务就得重新训练。

2. 这篇论文做了什么？（核心创新）

作者给机器人装了一个**“视觉提示 + 任务指令”**的万能系统。

视觉提示（Visual Prompt）：就像你在手机地图上点一下你想去的地方，或者圈一下你想推的那个东西。机器人不需要你写代码，你只需要在屏幕上点两下：
- 点一下目标物体（“推这个”）。
- 点一下目标位置（“推到这儿”）。
任务指令（Task Specifier）：就像给机器人一个**“模式开关”。你可以告诉它：“现在是位移模式**（把 A 推到 B）”、“现在是分组模式（把 A 和 B 推到一起）”或者“现在是分离模式（把挤在一起的 A 和 B 分开）”。

比喻：
以前的机器人像是一个只会按固定路线走的自动扫地机，遇到障碍物就卡住。
现在的机器人像是一个听指挥的快递员。你给它一张图，用手指点一下“这个包裹”，再点一下“送到门口”，并告诉它“是送快递（位移）”还是“把两个包裹捆一起（分组）”，它就能立刻明白该怎么做。

3. 它是怎么学会的？（流匹配策略）

机器人是通过**“看人类演示”**学会的（模仿学习）。

以前的学习：像背课文，死记硬背每一个动作步骤。
现在的方法（Flow Matching）：这就像**“学游泳”。教练（人类）在水里游了几百次，机器人不是死记硬背教练的手脚怎么动，而是学习水流（动作流）的规律**。
- 不管水怎么流，它都能学会怎么顺着水流游到对岸。
- 这种方法让机器人能生成多种多样的动作。比如，为了把两个积木推到一起，它既可以轻轻推，也可以用力推，只要能达到“聚在一起”的目的就行。这让它非常灵活。

4. 实验效果怎么样？

作者在真实的机器人手臂上做了实验，效果很惊人：

全能选手：同一个机器人，不用重新训练，就能在“推远”、“推近”、“分开”三种任务中切换自如。
抗干扰能力强：当桌子上东西很多、很乱的时候（比如一堆积木挤在一起），以前的机器人（基于目标图片的）容易看花眼，不知道推哪个。但用了这个“点一下”的提示方法，机器人能精准锁定目标，成功率更高。
举一反三：即使换了一批形状稍微不一样的新积木，它也能推得很好，说明它真的学会了“推”的逻辑，而不是死记硬背积木的样子。

5. 终极应用：和“大脑”配合

最酷的是，作者把这个机器人手臂（作为手脚）和一个**大语言模型（作为大脑，比如 Qwen3-VL）**连在了一起。

场景：桌子上有一堆乱糟糟的积木，要把它们都收进盒子里。
过程：
1. 大脑（AI） 看到桌子，思考：“哎呀，积木太散了，直接抓抓不起来。我得先让它们靠在一起。”
2. 大脑指挥：“手脚，去把这两个红色积木推到一起（分组模式）。”
3. 手脚（机器人） 接收指令，精准地推过去。
4. 大脑接着说：“现在抓起来！”
结果：通过这种配合，机器人能更高效地清理桌子，因为它懂得“先分组，再抓取”，而不是盲目地一个个抓。

总结

这篇论文的核心就是：让机器人从“只会做一道题的做题机器”，变成了“能听懂人话、能看图指路、能灵活变通的多面手”。

它不再需要为每个新任务重新编程，只需要你在屏幕上点两下，告诉它想干什么，它就能利用学到的“推东西”的通用技能，漂亮地完成任务。这大大降低了机器人进入家庭或工厂的门槛。

这是一份关于论文《Visual Prompt Guided Unified Pushing Policy》（视觉提示引导的统一推挤策略）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
非抓取式操作（Non-prehensile manipulation），特别是推挤（Pushing），是机器人重新排列物体的有效手段。然而，现有的推挤策略存在以下局限性：

任务单一性（Task-specific）： 大多数现有方法针对特定任务（如仅用于目标检索、仅用于分拣或仅用于抓取辅助）设计，难以在不同场景或任务需求变化时复用。
缺乏多模态能力： 单一策略往往无法同时处理多种推挤行为（如位移、分组、分离）。例如，在杂乱环境中，有时需要“分离”物体以便抓取，有时需要“分组”物体以提高抓取效率。
规划与执行脱节： 传统方法依赖预定义的推挤原语或复杂的搜索规划，缺乏灵活性和反应性。
目标表示困难： 基于目标图像（Goal-image）的方法在复杂场景中容易过拟合或受到干扰，且难以在推理阶段获取精确的目标图像。

研究目标：
提出一种统一的推挤策略（Unified Pushing Policy），能够在一个模型中整合多种推挤技能（位移、分组、分离），并通过**视觉提示（Visual Prompting）**机制，由高层规划器灵活指定任务目标和对象，从而实现高效、通用的非抓取式操作。

2. 方法论 (Methodology)

该工作提出了一种基于流匹配（Flow Matching）的模仿学习策略，结合视觉提示和任务说明符来引导多模态动作生成。

A. 任务定义与目标谓词

系统定义了三种核心推挤技能，并通过目标谓词（Goal Predicates）在概念上描述任务：

位移（Displacement）： 将目标物体推至指定位置。
分组（Grouping）： 将多个物体推至彼此靠近，以便进行多物体抓取。
分离（Singulation）： 将目标物体从周围的杂乱物体中隔离出来。

B. 视觉提示机制 (Visual Prompting Mechanism)

这是该工作的核心创新点。任务 $\psi$ 由两部分组成：

任务说明符（Task Specifier）： 一个分类标签（ $\{displacement, grouping, singulation\}$ ）。
视觉提示（Visual Prompts）： 基于桌面相机图像 $I_{table}$ $I_{t ab l e}$ 的像素坐标对 $[u_1, u_2]$ $[u_{1}, u_{2}]$ 。
- 位移： $u_1$ 指定源物体， $u_2$ 指定目标位置。
- 分组： $u_1$ 指定源物体， $u_2$ 指定目标物体。
- 分离： $u_1$ 指定源物体， $u_2$ 定义推挤方向向量（ $u_2 - u_1$ ）。

这种机制允许高层规划器（如 VLM）通过简单的点击或坐标输出来灵活定义任务，无需生成完整的目标图像。

C. 模型架构：基于流匹配的提示引导策略

基础模型： 采用**流匹配（Flow Matching）**而非扩散模型。流匹配构建从噪声到动作的直线路径，简化了训练目标并实现了更快的推理速度，适合高频控制。
网络结构： 基于 Diffusion Transformer (DiT) 架构。
- 输入： 视觉观测（双相机：腕部 + 桌面）、本体感知状态（机械臂位姿）、以及编码后的目标向量 $g$ （包含任务类型和视觉提示）。
- 处理： 使用 ResNet34 提取视觉特征，结合 Transformer 编码器处理时序观测。
- 条件注入： 通过自适应层归一化（AdaLN）和交叉注意力（Cross-Attention）将目标向量 $g$ 和当前时间步 $\tau$ 注入到 DiT 网络中。
提示引导（Prompt Guidance）： 采用无分类器引导（Classifier-Free Guidance, CFG）。在训练时随机丢弃目标条件（以 10% 的概率），在推理时通过线性组合条件预测和无条件预测（ $v_\theta = \gamma v_{cond} + (1-\gamma)v_{uncond}$ ），增强策略对提示的遵循度。

D. 训练与数据

数据来源： 使用主从式遥操作（Leader-Follower）收集了 550 次专家演示数据。
硬件平台： ROBOTIS OpenManipulator-Y 机械臂，配备 RealSense 相机。
训练细节： 使用 AdamW 优化器，训练 30 万步，Batch size 为 32。

3. 主要贡献 (Key Contributions)

统一的推挤策略： 首次提出基于流匹配的统一策略，将位移、分组、分离三种截然不同的非抓取技能整合到单一模型中，实现了技能间的正迁移。
轻量级视觉提示机制： 提出了一种结合视觉关键点（像素坐标）和任务说明符的提示方法。相比基于目标图像的方法，该方法更抽象、计算量更小，且易于与高层规划器集成。
真实世界验证与通用性： 在真实机器人平台上进行了全面实验，证明了该方法在多种任务上的优越性，并展示了其在未见物体上的泛化能力。
VLM 集成框架： 成功将推挤策略作为底层原语（Primitive）集成到基于视觉 - 语言模型（VLM）的规划框架中，实现了复杂的桌面清理任务。

4. 实验结果 (Results)

实验在真实机器人平台上进行，对比了单任务策略、基于目标图像的策略以及本文提出的统一策略。

多任务性能对比（Table I）：
- 在位移任务中，统一策略成功率达 85%，优于单任务策略（75%）和目标图像策略（60%）。
- 在分组任务中，统一策略成功率为 70%，优于单任务策略（60%）和目标图像策略（60%）。
- 在分离任务中，统一策略成功率为 65%，与单任务策略（70%）相当，但显著优于目标图像策略（30%）。
- 结论： 统一策略不仅没有牺牲性能，反而通过多任务学习提升了整体表现，特别是在复杂任务（如分离）上优势明显。
杂乱环境下的鲁棒性（Table II）：
- 在引入干扰物体（3 个或 5 个物体）的复杂场景中，统一策略的表现（50%-70%）始终优于目标图像策略（30%-40%）。
- 原因分析： 目标图像策略容易受到演示过程中意外扰动相邻物体的影响（过关注目标图像细节），而视觉提示提供了更抽象的目标表示，抗干扰能力更强。
泛化能力（未见物体）：
- 在尺寸稍大的未见物体上，分离任务的成功率从 65% 提升至 80%（因为新物体更宽，减少了误触邻接物体的概率），证明了模型学习的是通用的推挤行为而非过拟合特定物体。
VLM 规划集成：
- 在桌面清理任务中，系统利用 VLM 生成动作序列，调用推挤策略进行“分组”，再执行抓取。
- 任务完成率达到 50%，平均每次抓取动作能处理 1.52 个物体，有效减少了总操作次数。

5. 意义与未来展望 (Significance & Future Work)

意义：

打破任务壁垒： 证明了单一模型可以灵活处理多种非抓取操作，提高了机器人系统的通用性和部署效率。
人机交互新范式： 视觉提示机制为高层规划器（如大语言模型）提供了一种简单、精确且计算高效的接口来控制底层机器人行为。
实际部署价值： 在真实机器人上的成功验证表明该方法具有实际应用的潜力，特别是在需要灵活处理杂乱环境的场景中。

局限与未来工作：

物理接触问题： 推挤过程中因摩擦力或质心变化导致的接触丢失是主要失败原因。未来计划引入**世界模型（World Modeling）**来更好地捕捉动力学特性。
规划器限制： 当前集成受限于现有 VLM 的空间推理能力。未来将探索更鲁棒的规划框架。
视角不变性： 当前提示机制依赖固定相机视角，未来将研究视角不变的提示表示，以增强在移动机器人或不同视角下的部署灵活性。

总结： 该论文提出了一种高效、通用且易于集成的推挤控制方案，通过流匹配和视觉提示机制，显著提升了机器人在复杂非结构化环境中的非抓取操作能力。