🤖 AI

Hybrid Training for Vision-Language-Action Models

本文介绍了混合训练（HyT），这是一种面向视觉 - 语言 - 动作模型的框架，其在训练阶段利用思维链推理以提升性能，同时允许模型在推理阶段跳过思维生成，从而降低延迟并增强现实世界的可用性。

原作者： Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做家务，比如拿起一个红色积木并把它放进杯子里。

旧方法：“思考者”与“执行者”
最近，研究人员尝试教机器人在行动之前“大声思考”。这就像要求学生解方程前先写下解题步骤。这种“思维链”（Chain-of-Thought, CoT）方法帮助机器人变得更聪明，能解决更难的问题。然而，有一个大缺点：它太慢了。

就像一个学生在回答简单问题前要花 10 分钟写下每一个想法一样，这些机器人在现实生活中太慢了。如果机器人必须在每个动作之前停下来“思考”几秒钟，那么对于需要快速反应的任务（比如接住掉落的物体或在传送带上平稳移动），它就变得毫无用处。

新方案：混合训练（HyT）
这篇论文的作者提出了一个简单的问题：机器人真的需要在工作中“大声思考”，还是它们只需要在训练期间学会如何思考？

他们开发了一种名为**混合训练（HyT）**的方法。其工作原理可以用一个简单的类比来说明：

想象一所烹饪学校。

旧方法（ECoT）： 厨师（机器人）被强迫在烹饪的同时，为每一次切菜和搅拌写下详细的食谱并解释其推理。这使他们成为优秀的厨师，但烹饪速度非常慢。
混合方法（HyT）： 厨师接受了一种特殊的训练方式。
- 有时，他们练习写食谱并解释自己的想法（学习“为什么”）。
- 有时，他们练习遵循他人编写的食谱。
- 最重要的是，他们在已经内化了所有推理知识的情况下，练习仅仅烹饪（执行动作）。

结果：“熟练的直觉”
该论文声称，通过在训练阶段让机器人“思考”，机器人发展出了一种熟练的直觉。这就像一位大厨不再需要阅读食谱或自言自语；他们仅仅知道该做什么，因为他们已经无数次练习过思考过程。

当机器人真正开始工作（推理阶段）时：

它跳过“思考”步骤。 它直接进入行动。
它很快。 它的移动速度与标准机器人相同（比“思考者”机器人快约 3 倍）。
它很聪明。 因为它从“思考”练习中学习，所以即使在工作时不“大声思考”，它的表现也优于从未被教导过思考的机器人。

机器人的“三种模式”
混合训练的有趣之处在于机器人的灵活性。你可以通过给它一个特定的指令令牌（一个小关键词）来告诉它使用哪种“模式”：

“行动”模式： 机器人快速完成工作。（现实世界使用的默认模式）。
“思考”模式： 机器人停下来并大声解释它的计划。（如果人类想看机器人在想什么，这就很有用）。
“跟随”模式： 机器人忽略自己的想法，严格遵循人类的详细指令。

实验结果
团队在计算机模拟和真实机械臂（UFactory xArm 6）上测试了这种方法。

在模拟中： 混合训练的机器人在复杂的堆叠和放置任务上比标准机器人表现更好，并且比“思考者”机器人快得多。
在现实世界中： 在摆有真实物体（如香蕉、立方体和马克杯）的真实桌面上，混合机器人的成功率达到63%，而标准机器人仅为41%。它尤其擅长处理以前从未见过的、棘手的新情况。

结论
该论文总结道，“思考”是学习的有力工具，但不必成为执行的工具。通过混合训练，我们可以教会机器人内化复杂的推理，使它们能够快速高效地行动，从而让我们兼得两者之长：思考者的智慧和执行者的速度。

技术摘要：视觉 - 语言 - 动作模型的混合训练

问题陈述

视觉 - 语言 - 动作（VLA）模型已成为通用机器人控制的一种有前景的方法，其利用在机器人数据集上微调的大型预训练视觉 - 语言模型（VLM）。然而，性能与推理效率之间存在显著瓶颈。近期的策略，如具身思维链（ECoT），通过训练模型在执行动作之前生成中间语言“思维”（推理轨迹）来提升性能。虽然这些中间输出增强了智能体的规划和泛化能力，但它们显著增加了推理延迟。在需要长序列动作的真实世界机器人操作中，这种延迟对可用性和控制频率产生了负面影响。

本研究解决的核心问题是：生成长思维链是否是提升 VLA 性能的严格前提？ 作者假设，思维链（CoT）带来的性能提升并非源于测试时生成思维，而是源于训练期间对推理模式的内化。他们提出，模型可以发展出“熟练的直觉”（类似于人类认知中的系统 1 思维），使其能够在训练阶段从推理轨迹中学习后，直接高精度地预测动作。

方法论：混合训练（HyT）

本文提出了混合训练（HyT），这是一个旨在使 VLA 能够从推理轨迹中学习，同时保留执行快速、直接动作推理能力的框架。

核心概念

HyT 将 VLA 视为一个单一模型，能够基于模态变量（ $m$ ）学习多种条件分布。HyT 并非为“思考”（ECoT）和“行动”（标准 VLA）分别训练不同的模型，而是联合优化一组参数（ $\theta$ ）以处理三种不同的模式：

行动模式（ $m_a$ ）： 模型仅根据观测和任务描述直接预测动作（ $p(a_t | x_t, l)$ ）。这模拟了标准 VLA 的推理。
思考模式（ $m_\tau$ ）： 模型首先预测中间思维（ $\tau_t$ ），然后基于这些思维预测动作（ $p(a_t, \tau_t | x_t, l)$ ），类似于 ECoT。
跟随模式（ $m_f$ ）： 模型根据外部来源（如人类或神谕者）提供的思维/指令预测动作，在分层系统中充当底层策略（ $p(a_t | x_t, \tau_t, l)$ ）。

训练目标

训练目标被表述为各分布负对数似然损失的加权和：
$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$

为了避免降低批次变异性（如果每个数据点都包含所有三种模式就会发生这种情况），作者采用了蒙特卡洛估计。在训练期间，对于每个批次，模型根据系数（ $w_\alpha, w_\tau, w_f$ ）定义的概率采样输入和输出。在实验中，作者使用的系数为 $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$ ，优先选择“思考”分布，以最大化来自推理轨迹的学习信号。

推理灵活性

在测试时，显式设置模态变量以控制模型行为：

默认（行动）： 模型被指令设置为 $m = \langle act \rangle$ 以直接输出动作。这保持了标准 VLA 的推理速度（在 A100 GPU 上约为 3 Hz），同时受益于训练期间内化的知识。
替代模式： 模型可以切换到“思考”模式以获取可解释性，或切换到“跟随”模式以执行由神谕者或人类提供的细粒度指令。

主要贡献

HyT 框架： 一种新颖的训练策略，将标准 VLA 训练、ECoT 和分层指令遵循统一到一个单一模型架构中。
解耦训练与推理： 证明了模型可以在训练期间从推理轨迹（CoT）中学习，但在推理期间直接执行动作，有效地将推理过程“蒸馏”到模型内部表示中，而不会产生推理延迟。
灵活的推理模式： 能够在同一模型内动态切换直接动作预测、思维生成和指令遵循，提供了速度与可解释性之间的权衡。
实证验证： 在模拟基准（ClevrSkills, LIBERO）和真实世界机器人任务（UFactory xArm 6）上进行了广泛评估。

实验结果

模拟基准

ClevrSkills： HyT 训练的模型始终优于标准 VLA，并且在所有数据集规模（300 到 3000 次演示）上通常超越了 ECoT 和分层（HiRobot）基线。值得注意的是，HyT 在复杂、长视野任务中显示出最显著的增益。
- 推理速度： HyT 和标准 VLA 达到了约 3 Hz，而 ECoT 慢了 3 倍，HiRobot 慢了 4 倍。
- 数据效率： 在小型数据集（300 次演示）上训练的 HyT 模型表现出优于基线的性能，表明当数据稀缺时，“思考”分布提供了强大的训练信号。
LIBERO： 当与 OFT（优化微调）方案结合时，HyT 取得了最先进的结果，特别是在“目标”和“长”任务套件中，优于其他基于 CoT 和标准 VLA 的方法。

真实世界实验

设置： 实验在配备两指夹爪的 UFactory xArm 6 上进行。
性能： HyT 显著优于 OpenVLA 基线，实现了63% 的总体成功率，而 OpenVLA 为 41%。
泛化能力： 性能差距在**分布外（OOD）**任务中最为明显（54% 对比 29%），表明 HyT 提高了模型泛化到新颖物体排列和场景的能力。
定性分析： 与 OpenVLA 相比，HyT 模型在到达抓取 - 放置位置时表现出更高的精度，并且在物体选择上的错误更少。

消融研究

系数： 发现“思考”分布对于小型数据集至关重要，而“跟随”分布则在模型需要遵循外部神谕者指令时提高了性能。
推理模式： 在评估的设置中，“行动”和“思考”模式产生了相似的性能，支持了以下假设：对于原始操作任务，测试时生成中间思维并非严格必要。

意义与主张

本文主张，CoT 技术在 VLA 中的主要用途是改进模型的学习表示，而不是作为执行期间的强制中间步骤。通过内化推理模式，模型发展出一种“专家直觉”，使其能够进行鲁棒、高频的控制。

作者将 HyT 定位为一种可扩展的解决方案，弥合了高性能推理与实时机器人控制之间的差距。他们认为，虽然需要高级记忆或推理的复杂任务可能仍然受益于测试时的 CoT，但许多标准操作任务可以通过利用 HyT 以低推理成本得到鲁棒解决。该框架提供了一条实用路径，可在延迟至关重要的真实世界环境中部署高性能 VLA，而不会牺牲基于推理的训练所带来的泛化优势。