🤖 AI

G $^3$ VLA: Geometric inductive bias for Vision-Language-Action Models

本文介绍了 G $^3$ VLA，这是一种感知相机的几何模块，它通过射线嵌入和跨视图融合，在无需深度传感器的情况下将校准后的 3D 结构注入视觉-语言-动作模型中，从而显著提升了机器人在多种基准测试和真实场景中的操控性能。

原作者： Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人厨师。这位厨师读过数百万本食谱，也看过无数烹饪视频，因此它知道什么是“三明治”，也知道如何遵循英文编写的食谱。然而，当你要求它实际去拿起面包并把它放在盘子上时，它有时会遇到困难。它可能会抓得离面包太左了，或者完全错过了盘子。

为什么会这样？因为虽然这位厨师在理解语言和图像方面是个天才，但它看世界的方式就像看一张平面的照片。它并不自然地理解深度、距离，以及不同的摄像机视角是如何在 3D 空间中相互关联的。这就像是戴着一副能把世界压扁成 2D 图画的太阳镜去接球：你知道球在那里，但你无法判断它到底有多远。

这篇论文介绍了一个名为 G3VLA 的“辅助轮”系统，旨在不改变厨师大脑的前提下，修复这个特定的视觉盲点。

问题所在：“平面图像”导致的盲目性

大多数现代机器人大脑（被称为视觉-语言-动作模型，即 VLA 模型）都是构建在能够出色识别 2D 图像中物体的庞大 AI 模型之上的。但机器人生活在 3D 世界中。当机器人拥有多个摄像头（比如头部的两侧各有一个眼睛）时，标准的 AI 会将每个摄像头视为一个独立的、互不相关的照片。它会忘记这些摄像头在物理上是连接在一起的，并且从不同的角度观察同一个物体。

论文指出，这是一种信息的浪费。我们确切地知道摄像头的安装位置及其角度（这被称为“标定”），但机器人的大脑忽略了这些数学信息，仅仅是在观察像素。

解决方案：给机器人戴上“3D 眼镜”

作者创建了一个名为 G3VLA 的模块，它就像是为机器人的现有大脑戴上了一副 3D 眼镜。它并不取代大脑，只是在机器人决定行动之前，为视觉数据增加了一层几何理解。

以下是它的工作原理，使用了简单的类比：

射线嵌入（“激光笔”效应）：
想象摄像机图像中的每一个像素都附带了一个微小的、隐形的激光笔，从摄像机镜头向外直射。标准的 AI 并不知道这些激光指向哪里。G3VLA 根据摄像机的镜头设置，精确计算出每个“激光”指向的位置。它为每个像素贴上了这个方向标签，这样机器人就知道：“这个像素不仅仅是一个红点；它是位于那个特定方向上的红点。”
PRoPE（“地图连接器”）：
如果你有两个摄像头，一个在左边，一个在右边，它们会从不同的角度看到同一个杯子。标准的 AI 会将它们视为两个独立的故事。G3VLA 使用一种特殊的数学技巧（称为投影位置编码，Projective Positional Encoding）来充当翻译官。它告诉机器人：“你在左边看到的杯子就是你在右边看到的那个杯子，而且这是它们在 3D 空间中连接的确切方式。”它将这些视角融合在一起，使机器人能够理解整个场景，而不仅仅是孤立的快照。
“老师”（无需尺子的学习）：
通常，要教会机器人关于 3D 空间知识，你需要昂贵的深度传感器（如 LiDAR）或由人类手动绘制 3D 地图。G3VLA 非常聪明：它使用了一个“老师” AI（称为 $\pi3X$ ），这个老师仅通过观察普通照片就能非常出色地推测出 3D 形状。
- 阶段 1： 机器人在尝试移动之前，先从这位老师那里学习，在“家庭作业”（预测深度图）中练习其 3D 推测技能。
- 阶段 2： 随后，机器人回到它的主线任务（遵循指令并移动），但它保留了这种 3D 理解能力作为一种有益的习惯。

结果：更擅长“空间”任务

研究人员在多个机器人基准测试中对其进行了测试。以下是他们的发现：

在空间感重要的任务中表现最佳： 机器人在需要精确定位的任务中表现显著提升，例如“拿起杯子后面的物体”或“将方块移动到红色方块的左侧”。
无需新硬件即可运行： 你不需要购买新的 3D 摄像头。你只需要现有的摄像头及其标定数据。
兼容不同的机器人大脑： 他们在三种不同类型的机器人 AI 模型上进行了测试。它在标准模型上表现出色。然而，他们注意到一个有趣的现象：如果机器人的大脑设计方式使得“视觉”部分和“动作”部分距离很远（就像一座两层楼的建筑，视觉信息必须乘坐电梯才能到达动作层），那么 3D 辅助的效果就会减弱。这表明，为了让 3D 眼镜发挥最佳效果，机器人需要将 3D 信息放在其决定如何移动的位置附近进行“观察”。

核心结论

G3VLA 是一个轻量级的升级，它为那些虽然聪明但缺乏空间感的机器人注入了关于 3D 几何的“常识”。它让机器人理解世界具有深度，且不同的摄像机视角是相互关联的，从而实现更精确、更可靠的动作，尤其是在复杂的、多摄像头的设置中。这就像是给一位 2D 画家一把尺子和一个量角器，让他们终于能够画出一幅真实的 3D 场景。

技术摘要：G3VLA – 视觉-语言-动作模型的几何归纳偏置

问题陈述

视觉-语言-动作（VLA）模型（如 RT-2、OpenVLA 和 $\pi_0$ ）通过利用预训练视觉-语言骨干网络的语义知识，在通用机器人操控方面取得了显著进展。然而，一个关键的局限性依然存在：它们的视觉标记（visual tokens）是基于 2D 图像坐标而非机器人摄像头的校准几何结构。这种不匹配在多摄像头设置中尤为明显，因为已知的内参和外参在几何上耦合了不同的视角，而传统的 VLA 公式通常将这些视角视为独立的 2D 图像进行处理。因此，模型必须仅通过动作监督来隐式学习相机几何结构，这一过程往往效率低下，并限制了空间精度，尤其是在需要精确姿态估计、距离推理和跨视图一致性的任务中。

现有的解决尝试，例如对观测进行体素化（PerAct）或将特征提升到 3D 场（Act3D），通常需要特定任务的架构，无法充分利用预训练 VLM 的语义。其他桥接努力（例如 SpatialVLA、3D-VLA）通常需要显式的 3D 传感器输入、大规模空间预训练或对动作表示的修改。本研究解决的核心问题是：校准后的相机几何能否作为一种轻量级的视觉标记路径，在不修改骨干网络、动作空间或模仿目标的情况下，提升预训练 VLA 的空间泛化能力？

方法论：G3VLA

作者提出了 G3VLA，这是一个相机感知的几何框架，它将校准后的结构直接注入到预训练 VLA 的视觉标记流中。该方法保留了预训练的骨干网络和动作公式，仅通过视觉标记引入几何信息。

核心组件

相机感知几何模块（ $F_\psi$ ）由三个关键部分组成：

内参调节的射线嵌入（Intrinsic-Conditioned Ray Embeddings）：
为了解决在不同内参下相同的像素 $(x, y)$ 会映射到不同物理视向的歧义问题，该方法使用反投影视向为每个 ViT patch 标记其投影射线。对于齐次像素坐标 $u$ ，归一化投影射线计算为 $\tilde{r}^v(u) = (K^v)^{-1}u$ 。一个可学习的嵌入 $G_\phi$ 将此射线图投影到 patch 网格并将其添加到编码器输出中：
$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$
这确保了所有下游注意力操作都在感知其内参视向的标记之上进行。
投影位置编码（Projective Positional Encoding, PRoPE）：
虽然射线嵌入编码了局部视向，但它们无法捕捉来自不同视角的标记之间的几何关系。PRoPE 通过基于每视图内参（ $K^v$ ）、相机到世界矩阵（ $T^v$ ）和 patch 位置推导出的固定投影变换来解决这一问题，为查询（query）、键（key）和值（value）表示提供投影变换。这为跨视图注意力提供了基于相机模型投影关系的几何联系，而非仅仅依赖于外观相似性。
双向跨视图融合（Bidirectional Cross-View Fusion）：
融合模块分两步处理标记：
- 帧内注意力（Frame Attention）： 在每个相机流内独立处理标记，以保留视图局部结构。
- 跨视图注意力（Cross-View Attention）： 展平视图和 patch 维度，允许所有有效标记在利用 PRoPE 作为位置信号的情况下进行双向跨视图注意力计算。这在标记到达动作模型之前交换了几何上下文。

训练策略：两阶段课程学习与几何蒸馏

由于几何模块是从头开始初始化的，且仅接收来自动作损失的稀疏任务级梯度，作者引入了一个稠密的辅助几何蒸馏目标和一个两阶段训练课程：

几何蒸馏目标： 一个附加在融合视觉标记上的辅助点头（point head）用于预测稠密的每像素射线坐标（ $\hat{q}^v_u$ ）和对数-z 深度（ $\hat{d}^v_u$ ）。监督目标来自于模拟环境中的真值点图（ground-truth point maps），或来自具有置信度门控的视觉几何教师（ $\pi_3X$ ）的预测。教师的预测通过置信度阈值（ $\tau=0.1$ ）进行过滤，以剔除不可靠的像素，从而无需深度传感器或手动 3D 注释。
两阶段训练：
- 阶段 1（几何模块预训练）： 冻结预训练的骨干网络。仅更新射线嵌入、跨视图融合层和辅助点头，此时蒸馏损失占主导地位。这使几何模块与稠密教师信号对齐。
- 阶段 2（全策略微调）： 解冻所有参数。动作损失变得占主导地位，而蒸馏损失作为轻量级的几何正则项。在推理时，辅助头和教师被丢弃；策略仅需要 RGB 图像、本体感受、语言和相机校准参数。

主要贡献

识别了几何差距： 本文强调了预训练 VLA 中基于 2D 的视觉标记与精确操控所需的校准空间结构之间的不匹配。
G3VLA 框架： 一种轻量级、保持骨干网络不变的路径，通过射线嵌入、PRoPE 和跨视图融合注入校准后的相机几何，而不改变动作空间或模仿目标。
从 $\pi_3X$ 进行几何蒸馏： 一种两阶段程序，利用具有置信度门控的稠密点图（来自视觉几何教师）来监督几何模块，消除了对手动 3D 注释或深度传感器的需求。
多架构验证： 该方法在三个不同的 VLA 系统（ $\pi_0$ 、 $\pi_0.5$ 和 GR00T 1.5）上进行了验证，证明了其一致性的增益，并提供了关于几何信号如何传播到动作生成的架构见解。

实验结果

仿真基准测试

LIBERO： 在 $\pi_0$ 骨干网络上，G3VLA (GT) 将宏观平均成功率从 84.6% 提高到 88.1%（+3.5 个百分点）。最大的增益观察于 LIBERO-Object（+5.0）和 LIBERO-Spatial（+4.0），证实了需要物体定位和空间推理的任务受益最多。G3VLA ( $\pi_3X$ ) 也取得了显著增益（比基线高 +2.4），证明了教师蒸馏几何的效用。
RoboCasa24 & RoboTwin2.0： G3VLA (GT) 在 RoboCasa24（34.2% $\to$ 37.1%）和 RoboTwin2.0（44.0% $\to$ 49.0%）上提高了成功率。值得注意的是，G3VLA ( $\pi_3X$ ) 在 RoboTwin2.0 上表现下降（降至 41.0%），作者将其归因于在视觉洁净、纹理稀疏的合成场景中， $\pi_3X$ 离线点图目标不可靠。
骨干网络兼容性：
- $\pi_0.5$ ： 增益较小但保持一致（95.9% $\to$ 97.0%），确认了与更强、接近饱和的骨干网络的兼容性。
- GR00T 1.5： 结果褒贬不一。在使用 $\pi_3X$ 监督时观察到了增益，但使用 GT 时没有。作者认为这是由于 GR00T 1.5 的双塔架构，其中扩散策略通过对冻结 VLM 的交叉注意力访问视觉特征，而非直接消费几何感知标记，从而削弱了几何信号。

现实世界结果

在配备两个机械臂的 UR5 机器人上进行的两个任务（试管取放、倾倒坚果）中进行了评估，G3VLA 在**分布外（OOD）**设置（未见的相机视角）中表现出最显著的改进。

在“倾倒坚果”任务中，G3VLA 将 $\pi_0$ 的 OOD 成功率从约 70-75% 提高到 83-87.5%。
定性分析显示，基于 GT 的变体在发生中间错误后表现出鲁棒的恢复行为（例如重新抓取、重新对齐），而这些行为在原始基线中是不存在的。

消融研究

几何组件： 移除射线嵌入导致了最大的性能下降（-2.0%），其次是移除 PRoPE（-1.1%），证实了它们的互补作用。
训练课程： 用单阶段联合训练取代两阶段课程学习会导致性能降低 0.7%，凸显了在动作优化之前预先对齐几何路径的重要性。
监督来源： 真值（Ground-truth）监督提供了最强的信号，但 $\pi_3X$ 蒸馏恢复了大部分增益，作为在缺乏深度信息时的实用替代方案。

重要性与主张

本文声称，校准后的相机几何是提升通用 VLA 策略空间精度的轻量级且有效的归纳偏置。其主要意义在于证明了可以在不修改骨干网络、动作空间或模仿目标的情况下，将几何结构注入到预训练模型的视觉标记流中。

作者谦虚地总结道，这种几何注入的有效性取决于架构：当几何感知标记能够直接访问动作生成路径时（如 $\pi_0$ 和 $\pi_0.5$ 所示），效果最为显著。在动作模型间接访问特征的架构中（如 GR00T 1.5），收益会减弱。此外，对视觉几何教师的依赖引入了对领域差异（例如纹理稀疏场景）的敏感性，这表明虽然教师蒸馏是一种可行的策略，但在有可用情况下，真值监督仍然更优。

总体而言，G3VLA 提供了一种增强现有 VLA 模型空间泛化能力的实用方法，特别是对于对物体定位和空间关系敏感的任务，它通过利用已知的相机校准参数作为结构先验来实现。