Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

本文提出了 Pose-VLA 框架，通过引入离散姿态令牌将 VLA 训练解耦为通用 3D 空间先验预训练与特定本体动作对齐两个阶段，有效解决了现有模型特征坍塌与训练效率低的问题，并在多任务基准测试及真实世界实验中实现了卓越的泛化性能。

要点

这篇论文介绍了一个名为 Pose-VLA 的新机器人学习框架。为了让你轻松理解，我们可以把机器人学习控制技能的过程，想象成教一个刚毕业的大学生（机器人）如何成为一名熟练的厨师。

1. 以前的困境：只会背菜谱，不会切菜

在 Pose-VLA 出现之前，现有的机器人模型（VLA）就像是一个只读过很多美食评论和菜谱书，但从未进过厨房的学生。

• 问题一（特征坍塌）： 这些学生很擅长识别“这是一盘红烧肉”（语义识别），但完全不知道红烧肉在盘子里的具体位置、角度，或者刀应该以什么角度切下去（3D 空间状态）。
• 问题二（数据 mismatch）： 他们学的是“互联网上的美食图片”（只有文字和图片，没有物理深度），但机器人需要的是“真实的厨房操作数据”（需要知道手怎么动、物体有多重）。
• 结果： 让这种学生去炒菜，他可能知道菜名，但一上手就切到手，或者把菜打翻，因为缺乏对空间几何的直觉。

2. Pose-VLA 的解决方案：先练“空间感”，再学“炒菜”

Pose-VLA 提出了一种**“分两步走”的全新训练策略，就像先让学生去健身房练体能和空间感**，然后再去厨房实习。

第一步：预训练（Pre-training）—— 建立“空间直觉”

• 核心创新： 作者引入了**“姿态令牌”（Pose Tokens）**。
  • 比喻： 想象给机器人发了一套通用的“空间语言”。以前机器人看东西是看“图片”，现在它看东西是看“坐标和角度”。无论是桌上的杯子、空中的飞鸟，还是机器人的机械手，在它的脑海里都被统一翻译成"3D 空间中的位置和姿态”。
• 怎么做： 他们让机器人看了140 万张带有 3D 标注的图片（包括各种物体、深度图、相机视角）。
  • 比喻： 这就像让机器人看了100 万本立体几何教科书，并且让它闭着眼睛也能在脑海里构建出物体的 3D 模型。它不再只问“这是什么？”，而是开始思考“这个物体在左边 30 度，高度 20 厘米，旋转了 15 度”。
• 输入增强： 除了看 RGB 图片，它还结合了深度图（像激光雷达一样知道距离）和相机光线（知道从哪个角度看）。这让机器人有了“立体视觉”。

第二步：对齐训练（Post-training）—— 适应“特定身体”

• 核心创新： 在有了强大的空间直觉后，再让机器人去适应具体的身体（机器人本体）。
  • 比喻： 现在这个学生已经精通了空间几何，只需要花很少的时间（比如100 次演示），就能学会如何控制特定的手臂去拿那个杯子。
• 优势： 因为空间感已经练好了，它不需要像以前那样为了学一个新任务就重新背几千次菜谱。它只需要微调一下“手怎么动”的指令即可。

3. 为什么这很厉害？（核心亮点）

• 通用语言（Pose Tokens）： 就像人类用“米”和“度”来描述世界一样，Pose-VLA 用统一的“姿态令牌”把非机器人的 3D 数据（比如网上的 3D 物体模型）和机器人的操作数据（比如机械臂的轨迹）连接起来了。
  • 比喻： 以前，看 3D 模型的人和开叉车的人说的是两种语言，无法交流。Pose-VLA 发明了一种**“通用空间语”**，让两者能无缝对话。
• 相机中心视角（Camera-centric）： 机器人不再试图去理解“我的手臂在哪里”，而是直接理解“摄像头里看到的东西在哪里”。
  • 比喻： 就像你开车时，你是通过**挡风玻璃（摄像头）**看路，而不是通过计算“我的脚在油门上移动了多少毫米”来开车。这样更直观，也更容易适应不同的车（机器人）。

4. 实际效果如何？

论文在多个测试中证明了它的强大：

• 模拟测试（RoboTwin 2.0）： 成功率达到了 79.5%，比之前的顶尖模型（如 $\pi_0$）高出很多。特别是在环境很乱、很复杂的“困难模式”下，它依然很稳。
• 真实世界实验： 只需要100 次演示，机器人就能学会叠碗、挂杯子、甚至折叠毛巾（变形物体）。
  • 对比： 以前的模型可能需要几千次演示，或者换个环境就“失忆”了。Pose-VLA 就像是一个举一反三的天才，学得快，适应力强。

总结

Pose-VLA 就像是给机器人装上了一副**“透视眼”和“空间大脑”。
它不再是一个只会死记硬背菜谱的笨学生，而是一个先通过海量 3D 数据练好了“空间感”，再花少量时间就能掌握任何新技能**的聪明学徒。这让机器人从“只能做固定动作”进化到了“能理解物理世界并灵活操作”的新阶段。

技术摘要

这是一篇关于Pose-VLA（Universal Pose Pretraining for Generalizable Vision-Language-Action Policies）的论文技术总结。该论文提出了一种新的范式，旨在解决现有视觉 - 语言 - 动作（VLA）模型在泛化性、训练效率和特征崩溃方面的不足。

以下是详细的技术总结：

1. 研究背景与核心问题 (Problem)

现有的 VLA 模型（如 $\pi_0$, GR00T 等）通常直接利用为视觉问答（VQA）优化的视觉语言模型（VLM）作为骨干网络，并直接进行动作监督微调。这种方法存在以下结构性错位：

• 粒度不匹配 (Granularity Mismatch)：VLM 的预训练侧重于高层语义识别（如物体类别、VQA），而机器人操作依赖于细粒度的 3D 状态变化（如微小的姿态变化、接触几何、相对运动）。VLM 往往能识别“是什么”，但对“物理状态如何演变”不敏感。
• 数据异质性差距 (Data Heterogeneity Gap)：互联网规模的视觉数据缺乏物理 grounding，而机器人演示数据稀缺且分布狭窄。现有模型难以同时利用这两类数据，导致在从感知到控制的迁移中出现特征崩溃 (Feature Collapse) 和训练效率低下。
• 坐标系统错位：传统方法常将动作定义在机器人基座坐标系（Robot-centric），而观察数据是相机坐标系（Camera-centric），导致跨本体泛化困难。

2. 方法论 (Methodology)

Pose-VLA 提出了一种解耦的学习范式，将 VLA 训练分为两个阶段，核心创新是引入离散姿态 Token (Discrete Pose Tokens) 作为通用表示。

A. 核心架构与表示

• 统一姿态表示 (Unified Pose Representation)：
  • 将物体状态和机器人动作统一参数化为3D 姿态（平移 + 旋转）。
  • 在相机坐标系（Camera-centric）下定义姿态，消除了观察空间与动作空间之间的坐标转换鸿沟。
  • Token 设计：
    • 类别 ($c_t$) 和 2D 框中心 ($b_t$) 沿用原有 VLM 的词汇。
    • 引入新的离散 Token：<rot> (旋转), <trans_xy> (横向平移), <trans_z> (深度平移), <size> (物体尺寸)。
    • 这种设计将连续的 3D 几何信息转化为离散的 Token 序列，使 VLM 能够像处理语言一样处理 3D 几何。
• 多模态输入增强：
  • 除了 RGB 图像，还输入深度图 (Depth Maps) 和 相机射线图 (Raymaps)（由相机内参计算得出，表示像素的物理视线方向）。
  • 通过加性融合（Additive Fusion）将这些几何先验注入到 Transformer 的视觉特征中，增强模型的 3D 感知能力。

B. 两阶段训练流程

1. 预训练阶段 (Pre-training) - 提取通用 3D 空间先验：
   • 目标：在统一的相机中心空间内，利用大规模非机器人 3D 数据集学习通用的空间 grounding 能力。
   • 数据：包含 140 万张图像和 650 万 3D 标注（来自 Omni3D, Omni6DPose, BOP 等数据集），涵盖 3D 检测、6D 姿态估计等任务。
   • 任务：通过 Next-token Prediction 预测物体类别、2D 框和 3D 姿态。
   • 策略：采用模态掩码（Modality Masking），随机屏蔽深度或射线图，确保模型在仅有 RGB 输入时仍具鲁棒性。
2. 对齐阶段 (Alignment/Post-training) - 本体适配：
   • 目标：将预训练好的空间先验适配到特定机器人的动作空间。
   • 数据：约 155 万条机器人轨迹（来自 AgibotWorld, InternData-A1 等）。
   • 方法：在 VLM 骨干后连接一个轻量级的动作专家 (Action Expert)（如 Flow Matching 模块）。VLM 输出语义和几何条件，动作专家负责去噪生成具体的机器人指令。
   • 优势：由于骨干网络已具备强大的 3D 几何理解能力，此阶段仅需少量演示数据（Few-shot）即可高效完成对齐。

3. 关键贡献 (Key Contributions)

1. 统一的 VLM 框架：提出了一种整合 RGB、深度和相机内参的架构，使 VLM 具备内在的 3D 感知能力，有效将视觉语言知识迁移到机器人控制。
2. 离散姿态 Token (Pose Tokens)：设计了一种通用的接口，用于对齐和摄入来自异构非机器人 3D 数据及专用机器人演示的空间先验，解决了数据异质性问题。
3. 大规模预训练语料：构建了包含 140 万张图像（650 万 3D 标注）的空间 grounding 语料库，以及 155 万条多样化机器人轨迹的运动对齐语料库。
4. 解耦训练范式：证明了将“空间先验学习”与“本体动作对齐”解耦，能显著提升训练效率和泛化能力。

4. 实验结果 (Results)

Pose-VLA 在多个基准测试中取得了 State-of-the-Art (SOTA) 或极具竞争力的结果：

• 3D 空间 Grounding 基准 (Omni3D)：

  • 在 Objectron 数据集上，AP@0.15 达到 87.3%，比最强的开源基线 Qwen3-VL (235B) 高出 16.1%。
  • 在 SUN RGB-D 数据集上，得分为 45.5，优于所有开源变体，接近闭源模型 Gemini Robotics-ER。
  • 证明了模型在未见过的场景（从桌面到复杂工作空间）中具有极强的泛化性。

• 仿真基准 (Simulation)：

  • RoboTwin 2.0：在具有挑战性的 "Hard" 场景下，平均成功率达到 79.1%，比强基线 $\pi_0$ 高出 14.0%，比原生 PaliGemma 高出 45% 以上。
  • LIBERO：在四个任务套件上的平均成功率为 96.0%，仅次于 $\pi_0.5$，特别是在需要多阶段推理的 LIBERO-Long 任务中达到 92.4%。

• 真实世界实验 (Real-world)：

  • 使用双机械臂平台，在堆叠、悬挂、长程交互（开抽屉）和可变形物体（折叠毛巾）任务中，仅需每个任务 100 次演示进行微调。
  • 平均成功率达到 83.75%，显著优于 PaliGemma (28.75%) 和 $\pi_0.5$ (73.75%)。
  • 消融实验表明，深度信息（Depth）对于长程交互任务至关重要（移除深度导致成功率下降 25%）。

5. 意义与影响 (Significance)

• 范式转变：论文挑战了当前 VLA 模型过度依赖 VQA 预训练和直接微调的范式，证明了基于 3D 姿态的预训练是构建具身智能骨干网络的关键。
• 数据效率：通过利用大规模非机器人 3D 数据建立几何基础，显著降低了对昂贵、大规模机器人演示数据的依赖（仅需 100 次演示即可实现良好泛化）。
• 通用性：提出的“相机中心姿态 Token"机制，成功弥合了计算机视觉（3D 感知）与机器人学（运动控制）之间的鸿沟，为构建通用的、物理感知的 VLA 模型提供了一条可行的扩展路径。

总结：Pose-VLA 通过引入统一的姿态表示和两阶段解耦训练，成功将 VLM 从单纯的语义描述者转变为具备精细 3D 几何推理能力的具身控制基础模型，在仿真和真实世界中均展现了卓越的泛化能力和数据效率。