💻 computer science

From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models

本文系统比较了面向视觉 - 语言 - 动作模型的基于图像与基于动作的潜在动作监督策略，揭示出基于图像的方法增强了长程推理能力，而基于动作的方法改善了运动协调性，其中直接令牌监督取得了最佳的整体性能。

原作者： Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做家务。你拥有一个巨大的视频库，里面展示了人类做各种事情的画面：有人在叠碗，有人在擦桌子，还有人在搬运沉重的箱子。问题在于，每个人的动作方式都不同。有人用整只手抓杯子，有人只用指尖。有的机械臂短而粗，有的则长而细。

如果你试图直接从所有这些不同的视频中教机器人，它会感到困惑。这就像试图通过同时聆听使用不同方言和口音的说话者来学习一门语言。机器人不知道哪个“动作”才是正确的。

这篇论文介绍了一位聪明的中间人，称为潜在动作（Latent Actions）。将潜在动作想象成一张通用的“编舞卡”。与其教机器人精确的肌肉运动（这些运动变化极大），我们首先教它识别动作的概念。

研究人员问道：“使用这些编舞卡来教机器人的最佳方式是什么？”他们使用统一的机器人大脑（视觉 - 语言 - 动作模型）测试了四种不同的教学风格。以下是他们的发现，简单解释如下：

1. 两种类型的“编舞卡”

论文将这些卡片分为两类，就像两种不同类型的地图：

“图片地图”（基于图像的潜在动作）：
- 工作原理： 它观察任务的之前和之后的画面。它会问：“场景之前看起来是什么样，现在看起来是什么样？”它忽略具体的机械臂，专注于视觉变化。
- 最适合： 漫长、复杂的故事。 如果机器人需要规划多步骤任务（例如“叠三个碗，然后擦桌子”），这些图片地图非常棒。它们帮助机器人理解大局和事件序列，就像阅读连环画来理解故事一样。
- 结果： 机器人在处理漫长、多步骤的任务以及应对它从未见过的杂乱新环境时，表现有了显著提升。
“动作地图”（基于动作的潜在动作）：
- 工作原理： 它观察实际的物理运动（机器人的关节和电机），并将它们转化为简单的符号列表（标记），就像将复杂的舞蹈转化为简单的“左、右、跳”代码。
- 最适合： 棘手的物理动作。 如果任务需要精确、协调的肌肉控制（例如同时移动两只手臂来拿起一个滑溜溜的瓶子），这些动作地图更胜一筹。它们帮助机器人掌握动作的“感觉”。
- 结果： 机器人成为了复杂、协调的物理任务的大师。

2. 四种教学风格

研究人员测试了向机器人大脑展示这些卡片的四种方式：

“低语”（隐式对齐）： 老师向机器人的大脑低语提示，试图在不明确说“做这个”的情况下，将其内部思维与编舞卡对齐。
- 裁决： 它有一点帮助，但有点模糊。
“直接指令”（显式直接解码）： 老师说：“首先，思考编舞卡（计划），然后再弄清楚如何移动。”机器人被强制在移动之前明确预测计划。
- 裁决： 这是长任务的最佳方案。 它迫使机器人在行动之前先思考。
“条件指令”（显式条件解码）： 老师说：“预测计划，并且在你这样做的时候，也预测动作。”它试图同时完成这两件事。
- 裁决： 不错，但对于大多数任务来说，效果略逊于直接指令。
“标记交换”（动作到标记的映射）： 老师将物理动作直接转化为简单的词语（标记），并说：“只说这些词。”
- 裁决： 这是复杂物理任务的最佳方案。 它将动作简化到了极致，使机器人能够更快地学习。

3. 重大发现：“离散标记”是王者

最重要的发现是关于机器人如何接收信息。

想象一下你正在教一个孩子画画。

连续表示： 你说：“画一条 4.32 英寸长、角度为 15.7 度的线。”（数字太多，太令人困惑）。
离散标记： 你说：“画一条‘长线’。”（简单、清晰、易于记忆）。

论文发现，将复杂的运动转换为简单的、离散的“标记”（就像句子中的单词），比试图教机器人精确的连续数值要有效得多。这就像机器人学习了一种新语言，其中“移动”是一个单词，而不是一道数学方程。这种方法 consistently 产生了最聪明的机器人。

4. 为什么这很重要（在实验室中）

研究人员在模拟机器人和他们实验室里的真实机械臂上测试了这一点。

在实验室中： 当他们混合不同的任务（同时教机器人叠碗和擦桌子）时，机器人通常会感到困惑，并忘记如何做其中一项或另一项（这被称为“负迁移”）。
解决方法： 使用这些潜在动作“编舞卡”阻止了这种混乱。机器人可以一起学习所有任务而不会忘记旧任务。它使机器人更加稳健，能够更好地应对以前无法处理的杂乱现实世界情况。

总结

这篇论文并没有声称这明天就能治愈疾病或制造自动驾驶汽车。它只是说：如果你想教机器人从许多不同的视频中做许多不同的事情，不要教它原始的肌肉运动。相反，教它识别“计划”（使用图片）或“简单动作代码”（使用标记）。

具体来说，如果你希望机器人规划长序列，请使用基于图片的计划。如果你希望它执行棘手的物理动作，请使用基于动作的代码。在这两种情况下，将这些代码转换为简单的离散标记（像单词一样）是成功的秘诀。

技术摘要：从像素到令牌：对视觉 - 语言 - 动作模型中潜在动作监督的系统性研究

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型已成为通过在大规模数据集上训练来学习通用机器人策略的范式。然而，一个关键的瓶颈依然存在：训练数据具有高度异质性，涵盖了来自各种机器人平台和人类视频的不一致动作空间。这种异质性通常会导致因跨域动作语义不匹配而引发的性能下降。

为解决这一问题，研究人员提出了潜在动作作为中间表示，从视觉转换或原始动作中抽象出运动，从而提供统一的监督信号。尽管潜力巨大，但利用潜在动作监督 VLA 的方法仍然支离破碎。现有方法范围从离散令牌监督到辅助学习目标，往往将潜在动作的构建与特定的 VLA 架构设计纠缠在一起。因此，将潜在动作监督整合到 VLA 策略学习中的最佳策略尚不明确。

2. 方法论

本研究在统一的 VLA 基线（基于带有 LoRA 微调的 Qwen3-VL-2B）下构建了潜在动作监督的研究，以隔离构建方式与整合方式的影响。作者根据视觉 - 语言（VL）空间与动作空间之间的映射方向，将整合策略分为两个互补的视角：

视角 1：轨迹正则化（基于图像的潜在动作）

该视角使用基于图像的潜在动作作为高级视觉计划，以指导视觉语言模型（VLM）的决策。作者提出了三种策略：

策略 1：隐式表示对齐（LA-Align）： 一个辅助目标利用余弦相似度，将 VLM 的内部表示（特别是动作占位符隐藏状态）与源自视觉转换的真实连续潜在动作嵌入进行对齐。
策略 2：显式直接解码（LA-Direct）： 直接监督 VLM 在专用占位符位置将基于图像的潜在动作预测为一系列离散令牌。随后从这些潜在令牌中解码出连续动作块。
策略 3：显式条件解码（LA-Cond）： VLM 联合预测潜在计划和动作表示。动作片段通过因果注意力掩码以预测的潜在计划为条件，强制执行“先计划后行动”的生成流程。

视角 2：统一目标空间（基于动作的潜在动作）

该视角通过重新构建监督目标本身来弥合模态差距。

策略 4：动作到令牌映射（LA-Tok）： 使用基于动作的潜在动作模型（一种具有频域和时间卷积特征的 VQ-VAE）将连续动作块离散化为共享的令牌空间。随后直接监督 VLM 将这些离散动作令牌预测为主要训练目标。

统一目标： 所有策略共享相同的骨干网络、占位符设计和动作头。训练目标将标准的连续动作重建损失（ $L_{action}$ ）与潜在监督损失（ $L_{latent}$ ）相结合，并通过权重 $\lambda$ 进行平衡。

3. 主要贡献

本文做出了三项主要贡献：

系统性研究： 在统一基线下隔离了潜在动作构建方式与架构整合的影响，超越了仅评估特定模型，转而深入理解监督机制本身。
分类与提出： 定义了两个互补的视角（轨迹正则化与目标统一），并提出了四种不同的整合策略。
实证分析： 提供了广泛的实证分析，揭示了“构建 - 任务对应关系”，并确定了最有效的监督信号。

4. 实验结果

作者在LIBERO（长程推理）和RoboTwin 2.0（运动复杂、双臂）基准测试上评估了这四种策略，并在JAKA 机械臂上进行了真实世界实验。

主要发现：

构建 - 任务对应关系：
- 基于图像的潜在动作（策略 1–3）显著有益于长程推理和场景级泛化。在 LIBERO-Long 上，这些策略将成功率比基线提高了 8.4%–10.8%。在真实世界的堆叠任务中，它们在多阶段操作方面表现出更优越的性能。
- 基于动作的潜在动作（策略 4）在复杂运动协调方面表现出色。在 RoboTwin 2.0 上，LA-Tok 取得了最佳性能，将平均成功率比基线提高了 17.5%，这很可能归因于通过离散化连续动作所提供的结构化监督信号。
最佳整合策略：
- 显式监督（预测离散令牌）始终优于隐式对齐。
- 直接监督 VLM 预测离散潜在动作令牌（LA-Direct 和 LA-Tok）总体上产生了最有效的性能。LA-Direct 在 LIBERO 上领先，而 LA-Tok 在 RoboTwin 上领先。
- 离散与连续： 离散令牌监督始终优于潜在嵌入的连续回归，表明令牌化提供了更强的架构约束。
鲁棒性与泛化：
- 潜在动作监督一致地提高了**分布外（OOD）**真实世界抓取 - 放置任务中的鲁棒性，在这些任务中基线性能显著下降（例如，LA-Direct 的 OOD 平均得分从 17 提升至 75）。
- 在多任务联合训练中，潜在动作监督（特别是 LA-Cond）缓解了负迁移，使得单个模型能够学习多样化任务，而不会出现基线中观察到的性能不稳定性。

5. 意义与主张

本文主张潜在动作是 VLA 训练的有效中间表示，为训练通用机器人策略提供了实践指导。其核心意义在于发现潜在动作构建方式的选择应取决于任务：

对于需要长程规划和场景理解的任务，使用基于图像的潜在动作。
对于需要复杂、高维运动控制的任务，使用基于动作的潜在动作。
直接用离散潜在令牌监督 VLM通常是最有效的整合策略，它提供了一个简单且一致的监督目标，提高了样本效率和鲁棒性。

作者总结道，虽然他们的研究涵盖了代表性的设计，但它为选择潜在动作监督策略提供了一个基础框架，指出了未来在混合数据环境中进行 VLA 训练的一个有前景的方向。他们承认了局限性，包括所研究的整合策略范围以及目前仅限于单臂真实世界评估，并将多样化的机器人形态确定为未来的工作方向。