💻 computer science

AnySlot: Goal-Conditioned Vision-Language-Action Policies for Zero-Shot Slot-Level Placement

本文提出了 AnySlot 框架，通过引入显式空间视觉目标作为语言与控制的中间表示，将复杂指令分解为槽位选择与执行两个阶段，从而在零样本设置下显著提升了机器人基于语言指令的亚厘米级精准放置能力，并配套推出了专门评估此类任务的 SlotBench 基准。

原作者： Zhaofeng Hu, Sifan Zhou, Qinbo Zhang, Rongtao Xu, Qi Su, Ci-Jyun Liang

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaofeng Hu, Sifan Zhou, Qinbo Zhang, Rongtao Xu, Qi Su, Ci-Jyun Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 AnySlot 的新机器人系统，它的核心目标是解决一个让机器人非常头疼的问题：如何听懂复杂的指令，并精准地把东西放到指定的“小格子”里。

为了让你更容易理解，我们可以把这篇论文的内容想象成**“一个笨拙的机器人学徒如何学会做精细的拼图游戏”**。

1. 核心难题：机器人为什么总是“手抖”？

想象一下，你给一个机器人下达指令：“把那个红色的积木，放到从左边数第三排、最上面那个最大的格子里。”

传统的“扁平”机器人（Flat VLA）： 就像是一个死记硬背的学徒。它试图直接把你说的话变成手臂的动作。如果它以前没练过这种复杂的描述，它的大脑就会“过载”，要么把积木扔错地方，要么完全听不懂。它试图一步到位，既要做阅读理解，又要做精细操作，结果往往是顾此失彼。
传统的“模块化”机器人（Modular VLM）： 就像是一个只会指路的向导。它先分析你的话，告诉你：“哦，目标在坐标 (x, y)。”然后把这个坐标交给另一个机器人去执行。
- 问题在于： 这个向导虽然懂语言，但它的“指路”很粗糙。它可能说“在那附近”，但机器人需要的是“毫米级”的精准度。就像向导说“在树旁边”，但机器人需要知道是“树根左边 5 厘米处”。这种微小的误差，在机器人放积木时就是致命的，导致积木放不进去。

2. AnySlot 的绝招：画个“靶心”

AnySlot 的聪明之处在于，它把“思考”和“动手”彻底分开了，并且发明了一种通用的“视觉语言”来沟通。

它的工作流程就像这样：

第一步：把语言变成“画” (Goal Construction)
- 当机器人听到“放到最大的格子里”时，它不直接去猜坐标。
- 它调用一个**“绘画 AI"（就像 Midjourney 或 DALL-E），在当前的摄像头画面里，直接画上一个蓝色的球**，精准地覆盖在那个“最大的格子”上。
- 比喻： 这就像你给机器人戴上了一副AR 眼镜，眼镜里直接显示了一个发光的蓝色靶心，告诉你：“就放这儿！”
- 这个“靶心”是三维的，机器人知道它在空间里的确切位置，而且不管从哪个角度看，这个靶心都在同一个格子上。
第二步：看着“靶心”干活 (Goal-Conditioned Policy)
- 现在，机器人不需要再思考“哪个格子最大”这种复杂的逻辑问题了。
- 它的任务变得超级简单：“把东西移到那个蓝色的球上。”
- 这就像是一个神射手，不需要思考靶子为什么在那里，只需要瞄准那个显眼的靶心射箭即可。

3. 为什么这招这么管用？

化繁为简： 它把复杂的“语言理解 + 空间推理 + 精细操作”拆解成了两个简单的任务。
- 任务 A（绘画 AI）：负责理解语言，画出靶心。（擅长逻辑和语义）
- 任务 B（控制 AI）：负责看着靶心移动手臂。（擅长精准控制）
容错率高： 即使绘画 AI 画的靶心稍微偏了一点点，机器人也能通过视觉修正，因为靶心是连续的图像，而不是一个冷冰冰的数字坐标。
零样本泛化（Zero-Shot）： 这意味着机器人不需要专门学习“怎么放最大的格子”。只要它能画出靶心，它就能放。哪怕你给它一个从未见过的奇怪形状的桌子，只要它能画出靶心，它就能完成任务。

4. 他们做了什么测试？(SlotBench)

为了证明这招真的好用，作者们设计了一个**“机器人高考”**，叫 SlotBench。

这个考试有 9 种题型，比如：“找离可乐瓶最近的格子”、“找最稳定的格子”、“不要放左下角，放剩下的格子里”等等。
结果： 以前的机器人（无论是死记硬背的还是只会指路的）在这些题目上几乎全军覆没，成功率极低。而 AnySlot 就像个学霸，在 9 种题型里都取得了接近 90% 以上的超高成功率。

5. 总结

AnySlot 的核心思想就是：
不要试图让机器人同时做“语文题”（理解复杂指令）和“数学题”（毫米级精准操作）。
让一个专家（绘画 AI）把指令变成一张清晰的“藏宝图”（视觉靶心），然后让另一个专家（控制 AI）拿着藏宝图去精准挖宝。

这种方法让机器人第一次能够像人类一样，灵活地理解复杂的空间指令，并精准地把东西放到指定的小格子里，为未来的家庭服务机器人和精密装配工厂打下了坚实的基础。

这是一篇关于机器人操作领域，特别是**槽级放置（Slot-Level Placement）**任务的学术论文总结。该论文提出了一种名为 AnySlot 的新框架，旨在解决在复杂语言指令下，机器人进行亚厘米级精度的物体放置难题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心挑战：现有的视觉 - 语言 - 动作（VLA）策略在处理槽级放置任务时表现不佳。这类任务要求机器人不仅理解复杂的组合语言指令（如“放在第二大的槽里”、“避开左下角”），还需要在密集的候选槽中精确识别目标，并执行**亚厘米级（sub-centimeter）**的精准放置。
现有方法的局限性：
- 扁平端到端策略 (Flat End-to-End Policies)：直接将多模态观测和指令映射为动作。这类方法通常缺乏足够的空间推理能力，难以在未见过的布局中保持语义正确性和几何精度，因为槽的选择和底层动作生成被耦合在一起。
- 基于 VLM 的模块化策略 (VLM-based Modular Policies)：通常分为两阶段：先用视觉语言模型（VLM）将指令定位到坐标，再由控制器执行。然而，VLM 的预测通常是粗粒度的（基于 Token 或离散关键点），缺乏像素级的几何上下文（如槽的边界），导致在未见过的布局中定位不准，无法满足高精度对齐的需求。

2. 方法论：AnySlot 框架 (Methodology)

AnySlot 提出了一种两阶段分层框架，通过引入**显式的空间视觉目标（Explicit Spatial Visual Goal）**作为中间表示，解耦了高层语义理解与底层执行控制。

核心流程：

阶段一：高层目标构建 (High-Level Goal Construction)
- 输入：机器人头部摄像头的观测图像 ( $I_h$ ) 和自然语言指令 ( $\ell$ )。
- 过程：利用一个图像生成模型（如 Nano-Banana），根据指令在图像中生成一个空间视觉标记（例如，在目标槽的位置渲染一个蓝色球体）。
- 3D 重建与多视图投影：
  - 提取标记的中心坐标 $(u, v)$ 。
  - 结合深度图 ( $D_h$ ) 和相机内参，将 2D 坐标反投影到 3D 世界坐标系，得到世界锚点 $\mathbf{p}^W$ 。
  - 利用运动学将锚点投影回所有相机视角（包括手腕相机），生成**视图一致（View-Consistent）**的视觉目标 $G_t$ 。
- 优势：将抽象的语言指令转化为机器人可直观感知的、具有明确几何边界的视觉信号。
阶段二：基于目标的低层控制策略 (Low-Level Goal-Conditioned Policy)
- 输入：多视图观测图像（叠加了生成的视觉目标 $G_t$ ）+ 固定的低层指令（如“将物体移入带有蓝色球体引导的槽”）。
- 模型：使用连续生成式 VLA 策略（ $\pi_{0.5}$ ，基于 PaliGemma-3B 骨干网络和流匹配动作专家）。
- 机制：策略不再需要解析复杂的语言指令来寻找槽，而是专注于追踪视觉目标并执行抓取和放置动作。
- 优势：解耦了“选哪个槽”（由视觉目标决定）和“怎么放”（由策略决定），极大地降低了策略的推理复杂度，提高了对感知噪声和接触操作的鲁棒性。

3. 新基准：SlotBench (Benchmark)

为了评估此类高精度任务，作者提出了 SlotBench，这是一个基于 SAPIEN 仿真器的综合基准测试。

任务类别：包含 9 类具有挑战性的任务，涵盖：
1. 序数推理 (Ordinal reasoning)
2. 大小比较 (Size comparison)
3. 垂直推理 (Vertical reasoning)
4. 距离推理 (Distance reasoning)
5. 组合关系推理 (Compositional relational reasoning)
6. 逻辑否定 (Logical negation)
7. 模糊语言定位 (Vague language grounding)
8. 功能/稳定性推理 (Affordance reasoning)
9. 世界知识推理 (World-knowledge reasoning)
特点：强调在未见过的布局（Zero-shot）和未见过的指令组合下的泛化能力，要求亚厘米级的定位精度。

4. 实验结果 (Results)

在 SlotBench 上的实验表明，AnySlot 显著优于现有的扁平 VLA 基线和模块化方法。

成功率 (Success Rate, SR)：
- AnySlot：在 9 个任务类别中平均成功率接近 90%（例如在“逻辑否定”和“世界知识”任务中分别达到 100% 和 96%）。
- 扁平策略 (Flat VLA)：表现极差，除简单的序数任务外，其他任务成功率接近 0%。
- 模块化策略 (如 AnyPlace)：虽然比扁平策略稍好，但在大多数复杂任务中仍然失败，主要受限于 VLM 定位的精度不足。
指令准确率 (Instruction Accuracy, IA)：AnySlot 的视觉目标定位精度极高（多数任务 >90%），证明了图像生成作为中间表示的有效性。
消融实验：
- 目标构建模块：使用图像生成器（如 Nano-Banana）比使用 VLM 输出坐标具有更高的定位精度和更低的延迟。
- 低层策略：完全微调（Full Fine-tuning）的 $\pi_{0.5}$ 策略表现最佳，证明了针对槽级放置进行专门训练的重要性。
- 合成数据：使用包含视觉目标引导的合成数据集 ( $\mathcal{D}_{syn}$ ) 训练是成功的关键，仅使用语言指令的数据集训练无法完成任务。

5. 主要贡献与意义 (Contributions & Significance)

问题定义：正式将“槽级操作定位”定义为一个需要严格正确性和可执行性的 VLA 任务，填补了该领域的研究空白。
AnySlot 框架：提出了一种创新的**“语言 -> 视觉目标 -> 动作”**范式。通过图像生成模型将语言转化为显式的空间视觉标记，成功解决了 VLM 在亚厘米级定位上的精度瓶颈，同时保持了高层推理的灵活性。
SlotBench 基准：发布了一个包含 9 类复杂空间推理任务的基准，推动了机器人对结构化空间理解和零样本泛化能力的研究。
实际意义：该方法为精密装配、工厂自动化等需要高精度物体放置的场景提供了一条可行的技术路径，证明了将大模型的推理能力与专用控制策略结合的有效性。

6. 局限性 (Limitations)

推理延迟：依赖外部图像生成模型（如 Nano-Banana）在推理阶段引入了额外的延迟。
未来方向：未来的工作将致力于探索更高效的视觉目标构建方法，并将框架扩展至更复杂的空间推理和长视野（Long-horizon）操作任务。

总结：AnySlot 通过引入“视觉中间表示”，巧妙地将复杂的语言空间推理问题转化为直观的视觉追踪问题，显著提升了机器人在零样本设置下进行高精度槽级放置的能力，是机器人操作领域从“粗略抓取”向“精密装配”迈进的重要一步。