💻 computer science

GaussVLA: Geometry-Aware Spatial Reasoning for Vision-Language-Action Model

GaussVLA 是一个基于 Mamba 的参数高效型视觉-语言-动作模型，它通过引入将 2D 特征转换为紧凑 3D 高斯标记（Gaussian tokens）的高斯空间分词器（Gaussian Spatial Tokenizer），以及用于结构化几何推理的深度感知思维链（Depth-Aware Chain-of-Thought）模块来增强空间推理能力，仅凭 2 亿参数便在 LIBERO 基准测试中实现了最先进的性能。

原作者： Md Selim Sarowar, Md Tanvir Islam, Sungho Kim, Sangtae Ahn

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Selim Sarowar, Md Tanvir Islam, Sungho Kim, Sangtae Ahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

通过观察人类来学习操作物体的机器人已成为现代人工智能的一个核心目标。多年来，研究人员一直依赖于将摄像机观察到的世界视为平面的彩色方块网格的模型，就像一张数字照片一样。这些模型擅长识别存在哪些物体并理解语言指令，但它们难以理解这些物体在三维空间中的物理形状和位置。它们将一个杯子视为像素模式，而不是一个坐在桌子上具有特定高度和方向的实体物体。这种局限性使得机器人难以执行需要精确处理的任务，例如拿起易碎物品或在拥挤的工作空间中导航，因为机器人缺乏真正的几何感。

为了弥补这一差距，一个研究小组开发了一个名为 GaussVLA 的新系统，旨在赋予机器人对物理世界更直观的理解。该系统不再依赖平面图像，而是将视觉数据转换为一组在空间中漂浮的微小三维形状，每个形状都携带有关物体位置、大小以及机器人对该信息置信度的信息。通过将这种几何理解与一种在移动前进行空间问题“思考”的新方式相结合，研究人员创建了一个既高度精确又体积惊人的机器人控制器。在测试中，该系统优于许多更大、更复杂的模型，这表明赋予机器人更好的空间感比单纯扩大其“大脑”规模更为重要。

问题的核心在于机器人目前是如何“看”世界的。传统系统将摄像机图像分解为一长串扁平的图块，无论远处的墙壁还是机器人面前的工具，都会将图像的每个部分视为同等重要。虽然这适用于简单任务，但在机器人需要判断距离或表面角度时就会失效。其他修复尝试涉及添加深度图（本质上是告诉机器人每个像素距离有多远的单一数值）。然而，这些深度图往往缺乏关于表面方向或距离测量可靠性的信息，导致机器人在环境变化时只能靠猜测。

研究人员通过引入一种称为“高斯空间分词器”（Gaussian Spatial Tokenizer）的新型视觉数据处理方式解决了这一问题。想象一下，将平面的图像中的每一个图块都升入空中，将其变成一个微小的、模糊的三维云团。这些云团都有中心点、大小以及描述所代表物体局部几何特征的形状。至关重要的是，系统还为每个云团分配了一个置信度分数，告诉机器人它对那部分三维世界的确定程度。这使得机器人能够专注于最可靠的场景部分，例如桌子的边缘或杯子的把手，同时忽略不确定的区域。这种转换将一张平面照片变成了一张机器人可以进行推理的有结构的、三维的地图。

一旦机器人拥有了这个三维地图，它仍然需要决定该做什么。以前的系统通常试图通过在移动前生成一段长长的基于文本的思想来制定计划，这个过程缓慢且往往与实际的物理动作脱节。新系统使用了一种称为“深度感知思维链”（Depth-Aware Chain-of-Thought）的不同方法。该系统并不编写长篇故事，而是使用一组集中的问题来快速扫描其三维地图，并提取完成任务所需的最重要的空间关系。它会问自己，例如目标物体相对于机器人的手在哪里，并利用这个答案直接引导其运动。这种方法不是缓慢的、逐步的文本生成，而是一个快速的、结构化的推理过程，它与机器人的移动决策同步进行。

整个系统构建在名为 Mamba 的骨干架构之上，该架构旨在比目前大多数人工智能使用的标准模型更快速、更高效地处理信息。这种效率至关重要，因为它允许机器人在不需要庞大计算机的情况下进行实时决策。研究人员在各种模拟任务中测试了他们的系统，包括移动物体、堆叠积木和遵循复杂指令。在这些测试中，新系统在一个标准基准测试中达到了 93.5% 的成功率，表现优于其他显著更大的领先模型。在专门测试空间推理能力的特定任务集中，它取得了 100% 的完美得分。

令这些结果尤为引人注目的，是该系统的规模。虽然许多竞争模型需要数十亿个参数才能运行，但这个新系统仅需 2 亿个参数。这意味着它大约比目前使用的某些最大模型小 97%，但在处理需要理解物理空间的任务时表现更好。研究人员还在物理实验室中使用真实的机械臂测试了该系统。即使面对相机噪声和物体位置略有不同的现实世界挑战，该系统仍保持了很高的成功率，证明了它在模拟中学习到的三维几何理解可以迁移到现实世界。

研究还探讨了当系统面临意外变化（如不同的光照或物体颜色）时的情况。虽然该系统表现出了很强的鲁棒性，但研究人员指出，当环境发生剧烈变化时，它仍然面临困难，这表明在使机器人适应每一种可能的现实场景方面仍有工作要做。然而，结果清楚地表明，实现更好机器人操控的关键不仅仅是拥有更多的数据或更大的模型，而是赋予机器人对其所处空间的结构化、三维的理解。通过将平面图像转化为三维云团并利用集中的推理来导航，研究人员展示了一条让机器人能以更高技能和可靠性处理物理世界的清晰路径。

技术摘要：GaussVLA

问题陈述

目前的视觉-语言-动作（VLA）模型通常将视觉观测编码为扁平的 2D 补丁（patch）标记。虽然这些标记捕捉到了外观和语义信息，但它们缺乏内在的度量 3D 几何结构，将所有补丁视为同等对待，而不考虑深度、表面方向或几何可靠性。最近尝试注入几何信息的做法通常依赖于建模为逐像素标量值的单目深度估计。这些方法未能显式地捕捉表面方向或几何置信度，迫使策略必须从模糊的深度模式中隐式推断空间线索。此外，现有的推理机制（例如思维链，Chain-of-Thought）通常在 2D 图像空间或自回归序列中运行，这引入了延迟，并与动作解码过程脱节。因此，策略在需要精确几何推理和对空间变化具有鲁棒性的任务中表现挣扎。

方法论：GaussVLA

GaussVLA 是一个基于 Mamba 的 VLA 框架，旨在集成结构化 3D 空间表示与具备推理能力的动作生成。它使用一组紧凑的 3D 高斯原语（Gaussian primitives）取代了扁平的 2D 补丁标记，并引入了一个受流时间（flow-time）调节的非自回归推理模块。

1. 双流视觉编码

该模型利用两个冻结的编码器来处理 RGB 观测：

语义流（Semantic Stream）： 预训练的补丁编码器（SigLIP）提取具有外观感知能力的补丁特征。
几何流（Geometric Stream）： 预训练的单目深度编码器（Depth Anything V2）估计深度图，并在补丁中心进行采样，以与语义流对齐。

2. 高斯空间分词器 (Gaussian Spatial Tokenizer, GST)

GST 模块将对齐的 2D 语义和深度特征提升为结构化的 3D 高斯标记。

3D 重建： 利用相机内参和用于修正深度尺度偏差的可学习仿射校正，将补丁中心反投影到 3D 空间。
高斯参数化： 一个可学习的头部为每个补丁预测三个参数：
- 均值 ( $\mu$ )： 相对于反投影点的 3D 位置偏移。
- 协方差/尺度 ( $\sigma$ )： 通过对数尺度向量编码局部几何结构和空间范围。
- 不透明度 ( $\alpha$ )： 代表深度感知的置信度。值得注意的是， $\alpha$ 仅从语义特征中预测；与校正后的深度不一致的高置信度补丁会产生更大的损失，从而隐式地在几何模糊区域诱导低不透明度。
空间池化： 3D 高斯标记通过使用可学习查询的空间注意力池化进行精炼，将几何显著区域聚合为紧凑的表示 ( $Z_{GST}$ )。

3. 深度感知思维链 (Depth-Aware Chain-of-Thought, DA-CoT)

为了在动作解码前进行结构化推理，GaussVLA 引入了 DA-CoT：

上下文构建： GST 标记被展平并与语言嵌入和流时间嵌入拼接。
推理查询： 一组较小的可学习查询 ( $N_r$ ) 通过多头交叉注意力机制关注 GST 上下文。
非自回归推理： 与传统的生成式序列化生成标记的 CoT 不同，DA-CoT 在单步内生成空间关系的结构化摘要，并受任务语言和当前流匹配时间步的调节。这些推理标记随后被注入动作主干网络。

4. 高效主干网络与动作头

主干网络： 模型采用基于 Mamba 的主干网络（选择性状态空间模型）来处理多模态序列（GST 标记、DA-CoT 标记、语言和动作状态），具有线性时间复杂度，避免了标准 Transformer 的二次方成本。
动作生成： 流匹配（flow-matching）策略头预测动作轨迹上的条件速度场。模型采样高斯噪声和流时间，在噪声与目标动作之间进行插值，优化引导状态向目标移动的速度场。

5. 训练目标

模型使用三个互补的损失函数进行训练：

流匹配损失 ( $L_{FM}$ )：用于预测目标速度场的标准损失。
GST 深度一致性损失 ( $L_{GST}$ )：一种不透明度加权的损失，确保高斯均值的 z 坐标与校正后的深度保持一致，从而强制执行几何一致性。
DA-CoT 监督损失 ( $L_{CoT}$ )：一种辅助损失，确保推理标记能够预测目标流速度，从而将推理表示锚定到动作目标上。

核心贡献

高斯空间分词器 (GST)： 一种新颖的机制，将稠密的 2D 特征转换为由均值、尺度和置信度参数化的紧凑 3D 高斯原语。这为策略提供了显式的、结构化的空间线索和几何可靠性估计。
深度感知思维链 (DA-CoT)： 一种结构化的非自回归推理模块，在语言和流时间调节下，直接将空间推理信号注入动作解码过程，避免了顺序生成标记带来的延迟。
高效统一框架： 一个结合了 GST 和 DA-CoT 的高效参数化 VLA 架构，在 Mamba 主干网络内实现，以显著少于大规模基准模型的参数量达到了先进性能。

实验结果

GaussVLA 在模拟和现实世界基准测试中进行了评估：

LIBERO： GaussVLA 实现了 93.5% 的平均成功率，超过之前的最优模型 QueST 4.9 个百分点，并显著超越了像 $\pi_0$ (86.0%) 和 OpenVLA (76.5%) 这样的大规模基准模型。值得注意的是，它在 Spatial 套件上达到了 100.0% 的成功率。它仅用 200M 参数（179M 可训练参数）就完成了任务，而竞争对手的 VLA 则拥有 3.3B–7B 参数。
Meta-World： 该模型在不同难度等级（从 Easy 到 Very Hard）展示了强大的泛化能力，在 Easy 任务上表现最佳，并在更难的任务拆分中保持了极强的竞争力，优于那些随难度增加而性能大幅下降的基线模型。
CALVIN： GaussVLA 实现了 1.474 的平均序列长度和较高的 1–4 个连续任务完成率，表明其具有鲁棒的时间一致性。
鲁棒性 (LIBERO-PRO)： 在显著的分布偏移（物体外观、位置、语义）下，GaussVLA 实现了 0.33 的归一化成功率，证明了结构化高斯分词有助于在无需大规模模型规模的情况下实现迁移。
现实世界 (SO-101)： 在物理机器人上，GaussVLA 在多任务设置下实现了 58.8% 的平均成功率，优于 SpatialVLA (46.3%) 和 ACT (35.7%)。在 Pick-Place 任务中，分布内试验达到 81.0%，分布外试验达到 46.7%。
效率： 在 NVIDIA RTX Pro 6000 上以 12.97 ms/step 的速度运行，支持实时控制。

意义与主张

论文声称 GaussVLA 解决了传统 VLA 的根本局限：缺乏显式的、结构化的 3D 几何推理。通过将视觉特征提升为 3D 高斯原语并结合深度感知推理模块，该模型在保持高度参数效率的同时，实现了卓越的空间操作性能。

作者强调，性能的提升是由 空间表示的质量 (GST) 和 推理集成 (DA-CoT) 驱动的，而非仅仅通过增加模型容量。结果表明，几何感知分词对于需要精确空间定位和对变化具有鲁棒性的任务至关重要。然而，作者也谦虚地承认，在严重的分布偏移（特别是 LIBERO-PRO 中的视角和语言扰动）下的鲁棒性仍是一个开放性挑战，这表明尽管 GaussVLA 改进了几何接地能力，但实现更广泛的现实世界泛化仍需进一步研究。