StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation

本文提出了 StemVLA，一种开源的视觉 - 语言 - 动作模型，通过显式融合预测的未来 3D 空间几何知识与聚合的历史 4D 时空表示，显著提升了机器人在动态环境中的空间推理与长程任务决策能力，并在 CALVIN 基准测试中取得了最先进性能。

要点

这篇论文介绍了一个名为 StemVLA 的新机器人“大脑”。为了让你更容易理解，我们可以把现在的机器人想象成一个刚学会走路的婴儿，而 StemVLA 则是给这个婴儿装上了一副**“超级眼镜”和一个“预知未来的大脑”**。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 现在的机器人有什么毛病？（痛点）

目前的机器人（现有的 VLA 模型）看世界，就像只看一张 2D 照片。

• 缺乏立体感：它们知道桌子上有个杯子（颜色、形状），但不知道杯子离手有多远，也不知道如果手伸过去会不会撞到后面的墙。这就像你在玩 2D 平面游戏，很难判断深度的距离。
• 没有“时间感”：它们只看“现在”这一瞬间。如果杯子正在被推倒，它们可能反应不过来，因为不知道下一秒会发生什么。
• 死记硬背：它们只能根据眼前的画面直接做动作，缺乏对“过去发生了什么”和“未来会怎样”的推理能力。

2. StemVLA 是怎么解决的？（核心创新）

StemVLA 给机器人装上了两套“超能力”：

超能力一：拥有“预知未来”的 3D 透视眼

• 比喻：普通的机器人看世界是“盲人摸象”，摸到啥是啥。StemVLA 则像是一个经验丰富的魔术师，它不仅能看到眼前的物体，还能在脑海里**“预演”未来几秒的场景**。
• 怎么做：它不只是预测下一张图片长什么样（那太浪费算力了），而是直接预测未来的 3D 空间结构。
  • 例子：当机器人看到一只手正在推杯子，它能在脑海里“看到”杯子下一秒会倒在哪里，甚至能“看到”杯子倒下的轨迹。这种3D 几何知识让它在动手前就能想好：“哦，如果我现在抓这里，杯子会掉下去，所以我得换个位置抓。”

超能力二：拥有“穿越时空”的 4D 记忆库

• 比喻：普通的机器人记忆像便利贴，贴一张忘一张，只看当下。StemVLA 的记忆像是一部连续剧，它把过去发生的事情（4D 历史）和空间信息（3D）融合在一起。
• 怎么做：它利用一种叫"VideoFormer"的技术，把过去几秒的视频帧像串珍珠一样串起来，分析物体是怎么运动的、因果关系是什么。
  • 例子：如果机器人看到杯子刚才被碰了一下（历史），它就能推断出杯子现在可能不稳（时空动态），从而小心翼翼地靠近，而不是鲁莽地伸手。

3. 它是如何工作的？（工作流程）

想象 StemVLA 是一个超级指挥官，它的思考过程是这样的：

1. 接收指令：主人说：“把那个红色的杯子拿给我。”
2. 扫描环境：
   • 它用2D 眼睛看现在的画面（颜色、纹理）。
   • 它用3D 透视眼构建出场景的深度和结构（杯子在哪，离手多远）。
   • 它调取4D 记忆库，回想刚才杯子是不是在动，有没有被其他东西挡住。
3. 预演未来：它在脑海里快速模拟：“如果我伸手，杯子会怎么动？会不会撞倒旁边的书？”（这就是3D 未来空间知识）。
4. 制定计划：基于这些复杂的思考，它生成一连串平滑的动作指令，而不是笨拙地乱抓。
5. 执行动作：通过一种叫“扩散模型”的技术，像慢慢显影的照片一样，把模糊的动作想法变成精准、流畅的实际动作。

4. 效果怎么样？（实验结果）

论文在虚拟的机器人实验室（CALVIN 和 LIBERO 基准测试）里做了大量测试：

• 长任务更稳：以前机器人做 3-4 个连续动作（比如：拿杯子 -> 倒水 -> 放杯子）就容易出错。StemVLA 能连续完成更多步骤，就像从“走两步就摔”变成了“能跑完马拉松”。
• 空间感更强：在处理复杂的、需要精细空间推理的任务时（比如把东西塞进狭小的缝隙），它的成功率大幅提升。
• 打破纪录：在著名的 CALVIN 测试中，它超越了之前所有的“最先进”方法，成为了目前的冠军（SOTA）。

5. 还有什么不足？（未来展望）

虽然它很厉害，但还不是完美的：

• 手还不够灵活：目前主要训练的是那种“夹子”（平行夹爪）的手，还没学会像人类手指那样灵活操作（比如捏起一根针）。
• 动作偶尔卡顿：有时候动作不够丝滑，像视频卡顿一样。
• 未来计划：作者打算以后给它装上更灵活的手，收集更多数据，并优化算法让动作像流水一样顺滑。

总结

StemVLA 就像是给机器人从“看照片”升级到了“看 3D 电影 + 预知未来”。它不再只是机械地执行指令，而是真正理解了空间、时间和物体运动的关系。这让机器人从“只会听话的笨拙学徒”，进化成了“能思考、有预见性的智能助手”。

技术摘要

以下是基于论文《StemVLA: An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation》的详细技术总结：

1. 研究背景与问题 (Problem)

现有的视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型虽然通过整合视觉感知和语言指令在机器人操作任务中展现了良好的泛化能力，但主要存在以下局限性：

• 缺乏显式的 3D 空间建模：大多数方法仅依赖从 2D 图像到动作序列的隐式映射，未显式建模底层的 3D 空间结构（如深度、场景布局），限制了空间推理能力。
• 忽视时空动态与历史上下文：现有方法往往以帧为单位编码历史观测，难以捕捉连贯的时空动态和长程时间依赖，导致在动态环境中的长程任务决策能力不足。
• 未来预测的冗余与低效：部分尝试联合预测未来帧的方法存在像素级冗余，且缺乏对结构化 3D 几何知识的显式预测，仅停留在像素 extrapolation 层面。
• 物理细节丢失：过度依赖高层语义嵌入可能掩盖精细的物理细节，影响精确操作。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 StemVLA，这是一个将面向未来的 3D 空间几何知识与4D 历史时空表示显式融入动作预测的框架。

核心架构组件：

1. 多模态输入与编码：

   • 输入包括自然语言指令、2D 图像观测、机器人本体感知状态（proprioception）以及历史视频流。
   • 使用 CLIP 文本编码器、Masked AutoEncoder (MAE) 处理图像，以及混合架构处理视频序列。

2. 4D 历史时空表示 (4D Historical Spatiotemporal Representation)：

   • VGGT Aggregator：利用预训练的 VGGT 3D 重建模型，从历史 2D 图像和预测的未来帧中提取潜在的 3D 空间几何特征（如深度、空间布局）。这些特征作为隐式的结构化世界知识。
   • VideoFormer (History Aggregator)：引入时间注意力模块，将提取的 3D 特征在时间维度上进行聚合，形成统一的 4D 时空表示。这使得模型能够感知运动状态、因果事件序列并进行长程规划。

3. 3D 未来空间几何世界知识预测 (3D Future Spatial-Geometric World Knowledge Prediction)：

   • 在语言模型内部嵌入一个FSGWP (Future Spatial-Geometric World Knowledge Predictor) 模块。
   • 通过可学习的 <spatial-geometric> 查询向量，模型不仅预测动作，还主动预测未来 $n$ 步的 3D 空间几何状态（如场景几何配置、物体布局）。
   • 训练机制：利用 VGGT 生成的未来帧的 3D 特征作为监督信号（Ground Truth），通过 L2 损失函数约束模型学习精确的空间几何表示，而非仅仅预测像素。

4. 动作生成 (Action Generation)：

   • 使用可学习的 <action> 查询向量聚合任务相关信息，生成潜在动作嵌入。
   • 通过去噪扩散 Transformer (DiT) 进行迭代去噪，生成连续的 $n$ 步动作序列。

5. 统一架构：

   • 基于 GPT-2 变体的多模态大语言模型（MLLM）作为骨干网络，融合 2D 视觉特征、3D 空间几何特征和 4D 时空特征，实现端到端的时空理解与决策。

3. 关键贡献 (Key Contributions)

• 显式 3D 几何知识融入：首次将面向未来的结构化 3D 空间几何知识预测显式地集成到 VLA 架构中，使机器人能够“预见”未来的场景几何结构，而不仅仅是基于当前图像反应。
• 4D 时空表示构建：提出了一种结合 VGGT 和 VideoFormer 的机制，将历史观测转化为包含深度、布局及时间动态的 4D 时空表示，显著增强了模型对动态环境和长程任务的因果推理能力。
• 隐式 3D 监督机制：避免了昂贵的显式 3D 标注，利用预训练模型提取的隐式 3D 特征作为监督信号，在保留丰富几何细节的同时降低了数据依赖。
• 双查询机制：设计了 <spatial-geometric> 和 <action> 两个可学习查询向量，分别负责世界知识推理和动作规划，实现了时空理解与控制的协同。

4. 实验结果 (Results)

• CALVIN ABC-D 基准测试：
  • StemVLA 在 CALVIN 基准上取得了最先进的性能（SOTA）。
  • 在平均序列长度（Avg. Len.，衡量长程任务连续执行能力）上显著优于 OpenVLA、RoboDual、VPP 等现有方法。
  • 在单任务成功率及多任务连续执行成功率上均达到最高水平。
• LIBERO 基准测试：
  • 在 LIBERO-Long, LIBERO-Object, LIBERO-Spatial, LIBERO-Goal 四个子集上均表现优异。
  • 消融实验表明：
    • 移除 4D 历史时空表示会导致长程任务（LIBERO-Long）成功率显著下降（从 86.0% 降至 83.5%）。
    • 移除 3D 未来几何知识预测模块会导致空间推理和物体操作任务（如 LIBERO-Spatial 和 LIBERO-Object）性能大幅下降（例如 LIBERO-Object 从 96.0% 降至 78.0%）。
  • 证明了 3D 几何知识和 4D 时空表示对于复杂操作任务的互补性和必要性。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • StemVLA 证明了在 VLA 模型中显式建模 3D 空间结构和 4D 时空动态对于提升机器人物理推理、长程规划及动态环境适应能力至关重要。
  • 为机器人操作提供了一种新的范式，即从“像素级预测”转向“结构化世界知识推理”，提升了模型在复杂、动态环境中的鲁棒性。
• 局限性：
  • 当前模型主要针对平行夹爪（parallel gripper），尚未涵盖灵巧手操作。
  • 训练环境在几何和材料多样性上有限。
  • 基于 DiT 的架构在实时控制中偶尔会出现动作生硬或迟缓的问题。
• 未来工作：
  • 引入灵巧手操作数据及接触标注。
  • 扩大数据规模并采用在线策略微调（on-policy fine-tuning）。
  • 探索更高效的 Flow Matching 技术替代 DiT 以提升动作平滑度和实时性。

总结：StemVLA 通过引入“未来 3D 几何预测”和"4D 历史时空聚合”，成功解决了传统 VLA 模型在空间推理和长程动态规划上的短板，显著提升了机器人在复杂任务中的执行成功率，是迈向更通用、更智能的具身 AI 的重要一步。