技术摘要：SlotVLA——迈向机器人操作中的对象 - 关系表征建模

问题陈述

近期视觉 - 语言 - 动作（VLA）模型的进展通过整合语言条件与视觉线索，提升了机器人操作能力。然而，当前最先进的架构（如 OpenVLA、$\pi^0$）依赖于由预训练编码器（如 DINOv2、SigLIP）生成的密集视觉嵌入。这些编码器每帧产生数百个视觉令牌（通常为 256–512 个），随着令牌数量的增加，导致计算成本过高。此外，密集嵌入往往将对象特征与背景线索及冗余信息纠缠在一起，限制了可解释性，并掩盖了动作解码器所需的任务相关信号。

虽然计算机视觉中的以对象为中心的学习提供了解耦的表征，但直接将其应用于机器人领域并非最优。纯粹的以对象为中心的方法往往无法捕捉关键的关系线索，例如夹爪与对象的交互，而这对于具身操作至关重要。现有方法要么忽略这些关系，要么依赖外部标注（边界框/关键点），从而限制了灵活性。因此，亟需一种框架，能够利用紧凑、令牌高效的表征来同时建模对象及其交互，以支持多任务推理。

方法论：SlotVLA

作者提出了SlotVLA，这是一个旨在将密集视觉嵌入转换为紧凑、结构化的对象 - 关系表征的框架。该方法包含三个主要组件：

1. 任务感知以对象为中心的编码器

该模块将密集视觉令牌压缩为一小组以对象为中心的槽位（$S_t$），并由基于语言的任务过滤引导。

• 具有时间一致性的槽位注意力：编码器采用槽位注意力（使用 GRU）将密集视觉图块映射到可学习的槽位。一种“槽位延续”机制在 $t=0$ 时随机初始化槽位，并将其从上一时间步传播，以确保跨帧的对象身份一致性。
• 任务感知槽位过滤：并非所有检测到的对象都与特定任务相关。双向交叉注意力（BCA）机制计算对象槽位与任务描述嵌入之间的相关性得分。Top-$k$ 选择仅保留最相关的槽位（通常为 2–4 个），过滤掉背景和无关对象。

2. 以关系为中心的编码器

为了解决标准以对象为中心的方法中缺乏关系建模的问题，SlotVLA 引入了一个以关系为中心的编码器，用于生成关系令牌（$R_t$）。

• 交互建模：可学习的关系查询通过交叉注意力块（CAB）整合来自密集视觉图块（$V_t$）和过滤后的对象槽位（$S_t$）的信息。
• 输出：该过程显式地捕捉交互，例如夹爪 - 对象关系和对象 - 背景上下文，生成一组补充对象槽位的关系令牌。

3. 动作解码

最终表征结合了任务感知的对象槽位（$S_t$）、关系令牌（$R_t$）、语言嵌入（$P$）和机器人本体感知（$o_t$）。

• LLM 集成：这些多模态输入被送入配备 LoRA（低秩自适应）的大型语言模型（LLM）解码器，用于动作解码。
• 令牌效率：令牌总数（$N_S + N_R$）远小于密集输入（$N$），从而实现高效的下游推理。

训练策略

模型分两个阶段进行训练：

1. 阶段 1（编码器训练）：使用边界框、对象性和掩码损失（匈牙利匹配）监督任务感知以对象为中心的编码器，同时结合用于时间一致性的跟踪损失和用于任务相关性的类别不平衡损失。
2. 阶段 2（微调）：冻结编码器参数。使用动作对数概率上的交叉熵损失，联合微调以关系为中心的编码器和动作解码器。

主要贡献

1. LIBERO+ 数据集

作者引入了LIBERO+，这是一个对现有 LIBERO 套件进行细粒度扩展的基准测试。

• 标注：与原始 LIBERO 不同，LIBERO+ 提供了显式的对象级监督，包括 2D 边界框、像素级对象掩码以及跨 RGB-D 模态的实例级时间 ID。
• 任务相关性：它包含特定任务的自然主义名词，用于识别活跃的任务相关对象，从而实现对对象 - 关系推理的评估。
• 子集：该数据集包含四个子集（LIBERO-Goal、LIBERO-Object、LIBERO-Spatial、LIBERO-Long），具有不同的对象数量和布局复杂度。

2. SlotVLA 框架

SlotVLA 是首个将以对象为中心的槽位与以关系为中心的令牌相结合用于机器人操作的 VLA 框架。

• 它通过过滤任务相关性并显式建模交互，实现了紧凑的表征。
• 与密集基线相比，它将视觉令牌数量减少了一个数量级，同时保持了具有竞争力的性能。

实验结果

实验在 LIBERO+ 基准测试上进行，将 SlotVLA 变体与密集令牌基线OpenVLA进行了比较。

• 令牌效率：SlotVLA 将令牌数量从 256（OpenVLA）减少到约 4–28 个，导致 GFLOPs 减少了 3–4 倍。
• 简单任务上的性能：在布局简单且对象较少的子集（LIBERO-Goal 和 LIBERO-Object）上，SlotVLA 实现了与 OpenVLA 相当或更优的成功率。
  • LIBERO-Goal：OpenVLA (0.77) vs. SlotVLA-ORC (0.86)。
  • LIBERO-Object：OpenVLA (0.70) vs. SlotVLA-ORC (0.91)。
• 复杂任务上的性能：在具有复杂空间布局和高对象数量的子集（LIBERO-Spatial 和 LIBERO-Long）上，性能下降。
  • LIBERO-Long：OpenVLA (0.56) vs. SlotVLA-ORC (0.31)。作者将此归因于槽位数量过少（例如 4 个）无法表征多达 29 个对象的场景，而密集基线能够捕捉更多的全局上下文。
• 消融研究：
  • 任务感知过滤：过滤无关槽位至关重要；没有它，性能会显著下降，特别是在复杂环境中。
  • 时间一致性：去除时间一致性会导致性能急剧下降（例如，在 LIBERO-Goal 上，ORC 从 0.86 降至 0.40），突显了稳定槽位身份的必要性。
  • 槽位数量：将槽位数量增加到最佳小数量（4 个）以上，通常会引入噪声或稀释关系定位，而不是提高性能。

意义与主张

本文主张，以对象 - 关系为中心的令牌化为多任务机器人操作提供了效率、可解释性和有效性的有益平衡。

• 效率：通过大幅减少视觉令牌数量，SlotVLA 使得在有限的计算预算下进行机器人控制成为可能。
• 可解释性：基于槽位的方法解耦了实体并过滤了任务相关性，与密集、纠缠的嵌入相比，使模型的推理过程更加透明。
• 局限性：作者谦逊地承认，虽然该方法对简单布局有效，但在扩展到对象数量超过槽位容量的高度杂乱、长视野任务时面临困难。他们指出，训练对监督边界框和掩码的依赖可能会限制其在没有此类标注的现实世界环境中的即时适用性。

总之，作者认为 LIBERO+ 和 SlotVLA 为结构化、高效且可解释的具身智能奠定了基础性的一步，将范式从密集感知转变为紧凑、关系感知的推理。