🤖 machine learning

BooST: Bridging Semantics and Motions for Efficient Skill Transfer

BooST 是一个两阶段框架，它通过跨模态 VQ-VAE 在高层语义意图与底层运动动力学之间架起桥梁，以构建统一的技能表示，从而实现高效的小样本适应、跨领域迁移以及面向现实世界机器人部署的鲁棒性。

原作者： Jusuk Lee, Daesol Cho, Jonghun Shin, Seungyeon Yoo, Jonghae Park, Taekbeom Lee, H. Jin Kim

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jusuk Lee, Daesol Cho, Jonghun Shin, Seungyeon Yoo, Jonghae Park, Taekbeom Lee, H. Jin Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人做家务。你可能会尝试向它展示每一项任务中每一个极其微小的动作——就像在教一个孩子系鞋带时，去描述每一秒钟每一根手指的角度。这不仅耗时漫长，而且效果很差，因为如果鞋子的颜色变了或者房间变乱了，这种方法就失效了。这就是**机器人学习（robot learning）**中的一个巨大难题：我们如何教会机器变得聪明且灵活，而不需要进行数百万小时的练习？

科学家们一直试图通过教授机器人“技能”来解决这个问题。把技能想象成一个预先做好的食谱或一个舞蹈动作。机器人不是从零开始学习每一步如何走路，而是学习一种可以重复使用的“走路技能”。但问题在于，有些方法教会了机器人“如何移动”（肌肉记忆），但它们并不理解“要做什么”（目标）。另一些方法完美地理解了目标，却不知道如何实际驱动身体去实现它。这就像是一个厨师非常清楚蛋糕应该是什么味道，却完全不知道如何搅拌食材；或者一个面包师可以搅拌任何东西，却不知道一个蛋糕最终应该长什么样。为了让机器人在混乱、不可预测的现实世界中真正发挥作用，我们需要一种方法，能同时教会它们“做什么”和“怎么做”，这样它们才能快速学习新任务，并忽略像猫跳上柜台之类的干扰。

这正是名为 BooST（Bridging Semantics and Motions for Efficient Skill Transfer，即：通过桥接语义与运动实现高效技能迁移）的新型框架所发挥作用的地方。BooST 的研究人员意识到，要让机器人变得高效，他们需要停止将“做什么”和“怎么做”视为两个独立的问题。他们构建了一个两阶段训练系统，就像一位大师级厨师在教徒弟。

在第一阶段，称为统一技能预训练（Unified Skill Pretraining），BooST 从一个庞大的机器人视频库（确切说是 76,000 个片段）中学习。它使用一个特殊的“翻译器”，同时观察两件事：视觉场景和语言指令（例如“拿起苹果”）以理解“意图”，以及实际的机器人运动以理解“动力学”。想象一下，机器人正在观看一段有人拿起杯子的视频。BooST 不仅仅看到手在移动；它还理解其目标是拿起杯子，并且它学会了忽略背景中奔跑的狗或光照的变化。它将所有这些信息压缩成一个紧凑的“技能代码”——一种捕捉了动作本质的数字简写。

在第二阶段，下游适配（Downstream Adaptation），这种沉重且智能的知识被提炼成一个轻量化、快速的策略。这就像是将一位大师级厨师多年的经验转化为一张简单易懂、新手也能立即使用的食谱卡。当机器人面对一个全新的任务且仅有极少示例（在现实测试中仅为 5 次演示）时，它不需要重新学习一切。它只需查看自己的“技能代码本”，挑选出正确的动作，并迅速完成适配。

论文显示，这种方法的效果极其出色。在计算机模拟中，BooST 的表现优于其他方法，尤其是在数据匮乏的情况下。例如，在仅给定 10 次任务演示的情况下，BooST 在适应新场景方面的表现比排名第二的方法高出 140%。更令人印象深刻的是，研究人员在一个真实的机械臂（UR3）上测试了该方法，而这个机械臂与用于收集训练数据的机械臂（Franka Emika Panda）在型号上并不相同。尽管身体构造和运动风格存在差异，BooST 仍成功实现了技能迁移，在每个任务仅需 5 次演示的情况下就达到了很高的成功率。

研究人员还测试了机器人处理混乱情况的能力。他们在训练视频中加入了移动的、具有干扰性的物体（比如走来走去的真人身影）。当其他方法被这些噪声干扰而无法学习正确动作时，BooST 依然能够保持专注，证明了它能够忽略无关的视觉干扰。这项研究表明，通过弥合理解目标与掌握运动之间的鸿沟，机器人可以变得更加适应环境、更具鲁棒性，并为现实世界做好准备，同时比以前使用更少的计算能力和数据。

技术摘要：BooST —— 桥接语义与运动以实现高效的技能迁移

问题陈述

本文探讨了机器人学习中高效技能迁移的挑战。虽然技能抽象（学习可重用的、具有时间延伸性的行为）为通用智能体提供了一条充满前景的路径，但现有方法难以同时满足现实世界部署所需的三个关键要素：泛化性、鲁棒性和效率。

目前的方法通常只能捕捉技能的一个方面：

低层级方法侧重于运动动力学（“如何做”），但缺乏语义落地，阻碍了在不同机器人形态和任务之间的迁移。
高层级方法侧重于源自视觉和语言的语义意图（“做什么”），但往往缺乏运动保真度，使其对视觉干扰敏感，并且需要大规模模型，这在计算上对于实时部署而言是难以承受的。

这种不完整性导致了策略学习的先验知识较弱，使得在适配时需要大量的领域内数据。作者认为，需要一种能够同时捕捉语义和运动的统一表示，以实现少样本适配、跨域迁移以及对动态视觉噪声的鲁棒性。

方法论：BooST 框架

作者提出了 BooST（Bridging Semantics and Motions for Efficient Skill Transfer），这是一个旨在学习统一技能表示并将其蒸馏用于高效下游应用的两阶段框架。

第一阶段：统一技能预训练

第一阶段涉及在大型、多样化的离线数据集（具体为 DROID 数据集）上预训练一个跨模态 VQ-VAE。其目标是学习一个离散的潜在空间，该空间可重用地编码高层语义和底层运动动力学。该架构采用了两条互补的路径：

视觉-语言路径：使用预训练的 CLIP 模型和交叉注意力机制，根据语言指令 ( $l$ ) 从当前和未来的图像 ( $I_t, I_{t+H}$ ) 中提取任务感知的视觉特征。该路径将技能锚定在语义意图中。
动作路径：直接从动作轨迹 ( $a_{t:t+H}$ ) 编码运动动力学，以确保学习到的技能是可执行且基于物理行为落地的。

这些路径通过向量量化（VQ）输入到一个共享的离散码本中。模型使用残差向量量化方案进行训练，其监督信号只有一个：动作重构。解码器根据离散技能标记和当前视觉特征重构动作序列。损失函数结合了来自两个路径的重构误差以及一个用于对齐特征空间的正则化项。至关重要的是，由于模型是通过重构动作而非像素，因此它被鼓励忽略与任务无关的视觉细节，从而增强了对动态干扰物的鲁棒性。

第二阶段：下游适配

第二阶段侧重于用于高效部署的蒸馏。来自预训练技能编码器 ( $q_\phi$ ) 的丰富知识被迁移到两个轻量化组件中：

一个因果技能先验 ( $p_\psi$ )，用于在给定过去观测和语言的情况下预测潜在技能的分布。
一个低层级策略 ( $\pi_\theta$ )，用于在以采样技能为条件的情况下执行动作。

这一阶段在小规模、领域内的数据集上进行训练，使用的是源自证据下界（ELBO）的变分目标。训练过程最小化了先验蒸馏损失（使先验与冻结的编码器的预测对齐）和行为克隆损失（训练策略以模仿专家动作）。这种解耦的方法使得系统能够利用大规模预训练，同时保持适用于实时控制的轻量化架构。

核心贡献

统一技能表示：引入了 BooST，它将语义意图和运动动力学集成到一个共享的技能码本中，克服了仅捕捉单一方面的现有方法的局限性。
解耦的两阶段流水线：一种将大规模预训练与部署效率相结合的训练范式。它将学习丰富的统一表示与训练轻量化、任务特定策略的过程分离，从而实现了少样本适配。
鲁棒性与泛化性：展示了在实现强少样本适配、跨形态迁移（例如从 Franka Panda 到 UR3）以及对动态视觉干扰物和背景变化的鲁棒性方面的能力。

实验结果

作者在模拟环境（LIBERO 基准测试）和真实世界设置（UR3 机器人）中对 BooST 进行了评估。

少样本适配：在 LIBERO 基准测试中，BooST 一致优于基准方法（包括 Diffusion Policy, VQ-BeT, QueST, LISA 和 EXTRACT）。值得注意的是，在仅有每个任务 10 次演示的情况下，BooST 在多样化的 LIBERO-90 基准测试中比排名第二的方法实现了 140% 的相对提升。
跨形态迁移：在真实世界实验中，在 Franka Emika Panda 上预训练的策略在每个任务仅需 5 次演示的情况下成功迁移到了 UR3 机器人。由于动作空间不匹配，低层级基准方法未能实现迁移，而 BooST 的语义落地能力使其实现了成功的适配。
对干扰物的鲁棒性：当使用经过动态人类干扰物增强的数据进行预训练时，BooST 在标准基准测试中保持了较高的成功率。相比之下，由于其表示编码了无关的背景运动，重建视觉转换的潜在动作基准（如 LAPA, UniVLA）出现了性能下降。
效率：蒸馏后的下游模型运行频率约为 60 Hz，显著快于同类基准方法（例如 Diffusion Policy 为 12 Hz），使其适用于实际部署。消融研究证实，动作路径和任务感知编码器对于性能都至关重要。

意义

本文声称 BooST 成功满足了高效技能迁移的三个关键要素——泛化性、鲁棒性和效率，而现有方法无法同时实现这些目标。通过桥接“做什么”（语义）与“如何做”（运动）之间的鸿沟，BooST 提供了一个强大的先验，极大地减少了下游适配所需的数据。作者认为，这种方法能够将从大规模、异构数据集中学习到的技能，以极少的领域内数据迁移到新的场景、任务和机器人形态中，同时保持对现实环境中固有视觉噪声的鲁棒性。这项工作为开发能够从“野外”数据中学习，且无需人工策划或昂贵的实时控制模型的实用型通用机器人智能体指明了方向。