💻 computer science

BEACON: Cross-Domain Co-Training of Generative Robot Policies via Best-Effort Adaptation

BEACON 是一个以理论为驱动的框架，通过将协同训练构建为一种感知差异的重要性重加权问题，从而增强生成式机器人策略在跨域场景中的鲁棒性和数据效率，该框架联合优化基于扩散的视觉运动策略与每个样本的源域权重，以最小化目标域的泛化误差。

原作者： Antong Zhang, Han Qi, Heng Yang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Antong Zhang, Han Qi, Heng Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机械臂如何堆叠积木。你拥有两类训练数据：

** “源”数据**：一个庞大的视频库，展示了机器人在完美的计算机生成世界（仿真环境）中执行该任务。这些视频有数千个之多，但其光照、纹理和物理特性与现实世界略有不同。
** “目标”数据**：一小批珍贵得多的视频，展示了真实机器人在你实际厨房中执行该任务。这些数据获取成本高且难以获得，但对于最终任务而言，它们才是真正至关重要的。

问题所在：
如果你只是将所有计算机生成的视频与那少量真实视频混合，并让机器人从所有数据中同等地学习，机器人就会感到困惑。计算机世界与现实世界差异过大（摩擦系数、光照、相机角度均不同）。机器人可能会在仿真环境中完美地堆叠积木，却在真实厨房中彻底失败。

如果你仅使用那少量真实视频，机器人学到的内容不足，无法实现泛化。

解决方案：BEACON
这篇论文介绍了一种名为BEACON（跨域协同训练的最佳努力自适应）的新方法。请将 BEACON 视为一位智能编辑或策展人，而非教师。

BEACON 并非平等对待每一段训练视频，而是为庞大库中的每一段视频分配一个“相关性评分”（即权重）。

“最佳努力”理念：系统会问：“在这数千个虚假视频中，有哪些实际上看起来、感觉起来与我拥有的那少量真实视频相似？”
编辑过程：
- 如果某个计算机生成的视频显示机器人的运动方式与真实机器人非常相似，BEACON 会给予其高分。它会说：“用这个！它很有帮助！”
- 如果某个计算机生成的视频显示了一些奇怪或不现实的内容（例如，真实积木是在木头上滑动，而视频里积木却在冰面上滑动），BEACON 会给予其低分（或零分）。它会说：“忽略这个。它会混淆机器人。”

工作原理（魔法技巧）：
通常，人们试图通过改变颜色或纹理（就像给照片加滤镜）来强行让计算机世界与现实世界看起来一样。BEACON 的做法则不同。

它并不试图让两个世界看起来相似。相反，它筛选出计算机世界中那些原本就适用于现实世界的特定时刻。

类比：想象你正在学习烹饪一道特定的菜肴。你有一本来自祖母的食谱（真实数据），以及一本来自一位使用不同食材的著名电视厨师的食谱（源数据）。
- 旧方法：你试图强行让电视厨师的食材与祖母的食材匹配，或者只是将它们全部混合在一起。
- BEACON 方法：你阅读电视厨师的那一千份食谱，只挑选出那些与祖母技法相匹配的步骤。你忽略其余部分。你从祖母的少数步骤中学习，但用电视厨师食谱中最匹配的步骤来填补空白。

令人惊讶的结果：
论文发现，通过这种“智能筛选”，机器人的大脑（其神经网络）自然地开始更好地理解现实世界。即使系统没有被明确告知要“对齐特征”或“匹配模式”，筛选正确数据这一行为本身，就促使机器人自动学习到了正确的模式。这就像一名只钻研最相关练习题的学生，自然开始洞察该学科背后的逻辑，而无需单独上一门“逻辑”课。

他们测试了什么：
他们在机械臂执行三项任务时测试了该方法：堆叠积木、清理马克杯以及穿针引线。他们将 BEACON 与以下方法进行了比较：

仅使用那少量真实视频。
平等混合所有视频。
使用其他试图强行让计算机世界与现实世界看起来相似的方法。

结果：
BEACON consistently 胜出。机器人学习速度更快，使用的真实世界数据更少，并且在环境发生变化时（例如移动相机或改变桌面纹理）具有更强的鲁棒性。这证明了成为数据的智能策展人比强行让数据看起来相同更为强大。

简而言之：
BEACON 是一个框架，它通过以下方式教导机器人：“我们拥有大量虚假数据和少量真实数据。让我们忽略那些不匹配的虚假数据，并 intensely 聚焦于那些确实匹配的虚假数据，以便我们高效地学习真实任务。”

技术摘要：BEACON

问题陈述

通过行为克隆（BC）进行的机器人学习已随着扩散策略（Diffusion Policies）等序列模型取得了显著进展，但一个关键瓶颈依然存在：在一个领域（源域）中训练的策略在部署到另一个领域（目标域）时往往会退化，即使任务语义完全相同。这些领域差异源于视觉差异（纹理、光照、相机姿态）和物理不匹配（摩擦、接触动力学、执行延迟）。虽然收集大规模目标域数据集成本高昂且难以扩展，但源数据（例如来自仿真或人类演示的数据）虽然丰富，却往往不匹配。

现有的解决该问题的方法可分为两类：

领域随机化：增加源域多样性以提高鲁棒性，但未显式对齐分布。
领域自适应：显式对齐源域和目标域表示（例如通过特征匹配或对抗训练）。然而，这些方法通常依赖启发式目标，可能忽略非视觉偏移，并且在多源设置中（即源域之间以及源域与目标域均存在差异时）表现不佳。

本文解决的核心问题是：如何利用丰富但不匹配的源域演示来改善目标域的泛化能力，同时最小化对标注目标数据的需求，且不依赖启发式对齐损失？

方法论：BEACON

作者提出了BEACON（跨域协同训练的最佳努力自适应，Best-Effort Adaptation for Cross-Domain Co-Training），这是一个理论驱动的框架，将跨域协同训练重构为差异感知的重要性重加权问题。

理论基础

BEACON 基于**最佳努力自适应（BEA）**框架 [23]。BEACON 不是天真地混合源域和目标域数据或强制特征对齐，而是联合学习策略 $\pi_\theta$ 和一组样本级权重 $q$ ，以最小化针对目标域的理论推导泛化界。

目标函数（公式 6）最小化：
$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$

其中：

$\ell_{BC}$ 是扩散行为克隆损失。
$d_i$ 是一个差异项，用于惩罚与目标域不匹配的源样本。
$p_0$ 是参考权重（仅目标域的经验分布）。
正则化项（ $\lambda_1, \lambda_2$ ）确保学习到的权重保持锚定在目标分布上，并防止退化解。

机器人领域的实际适配

将原始 BEA 框架应用于高维扩散策略需要几项关键适配：

实例级差异估计：BEACON 不是使用单一的领域级惩罚，而是计算每个样本的差异分数 $d_i$ 。默认估计器在策略的视觉编码器嵌入空间中使用k-近邻（k-NN）。它测量源样本与其最近的目标邻居之间的距离，并除以目标域内部的离散度进行归一化。这使得系统能够识别并降低特定“异常”源轨迹的权重，即使在同一仿真器内，这些轨迹在视觉或行为上与目标也不兼容。
随机交替优化：由于扩散模型的计算成本，BEACON 采用随机交替更新而非全批量最小化。它在以下步骤之间交替：
- 权重更新（ $q$ ）：基于每个样本的损失和差异进行投影次梯度步长更新。
- 策略更新（ $\theta$ ）：在加权小批量损失上使用 AdamW 步骤。
- 复杂度控制：原始的基于范数的容量控制被优化器兼容的权重衰减（ $\gamma \|q\|_\infty R(\theta)$ ）所取代，将最大样本权重与正则化强度联系起来。
多源扩展（MS-BEACON）：针对具有异构源域（例如多个仿真器）的场景，该方法引入了两级加权方案：用于选择有用源域的领域级权重 $w$ ，以及用于过滤每个领域内不匹配轨迹的实例级权重 $\tilde{q}$ 。

主要贡献

理论驱动的协同训练：BEACON 是首个将 BEA 框架适配到生成式机器人策略的方法，直接最小化基于差异的泛化界，而不是依赖启发式的特征对齐损失。
可扩展的实例级重加权：引入可扩展的实例级差异估计器（嵌入空间中的 k-NN），使该方法能够有效处理高维序列策略和异构源数据。
隐式特征对齐：论文证明，特征对齐作为差异感知重加权目标的自然副产品而出现，无需显式的对齐损失项。
多源鲁棒性：MS-BEACON 扩展有效地平衡了异构源域，当源域彼此之间以及与目标域存在显著差异时，减轻了负迁移。

实验结果

BEACON 在 Franka Emika Panda 机器人上针对仿真到仿真、仿真到真实以及多源操作任务（积木堆叠、杯子清理、穿线）进行了评估。

卓越的泛化能力：BEACON consistently 优于基线方法，包括仅目标域（Target-Only）、固定比例协同训练以及特征对齐方法（MMD, UOT）。
- 在仿真到仿真（纹理和视角差异）中，BEACON 实现了平均 0.64（纹理差异）和 0.45（纹理 + 视角差异）的成功率，显著超过了次优基线（MMD）。
- 在仿真到真实场景中，仅目标域策略几乎失败（平均成功率 0.10），而 BEACON 实现了 0.77 的平均成功率，展示了对视觉和物理差异的鲁棒性。
分布外（OOD）鲁棒性：当在目标演示分布之外的任务实例上进行评估时，BEACON 保持了性能，而特征对齐基线（如 MMD）则遭受了显著的性能下降。
隐式对齐：UMAP 可视化证实，尽管缺乏显式对齐损失，BEACON 的重加权动态机制使源域和目标域的潜在特征彼此更接近。
数据效率：增加目标演示的数量进一步提升了 BEACON 的性能，表明源域重加权放大了目标数据的价值，而非替代它。

意义与主张

论文声称，BEACON 为现有的领域自适应方法提供了一种互补范式。BEACON 不侧重于强制潜在空间匹配（这可能会破坏任务相关的几何结构），而是专注于选择哪些源轨迹应影响目标学习。

作者断言：

重要性重加权是跨域机器人学习中比“在网络中何处对齐表示”更根本的设计杠杆。
将这一杠杆建立在泛化理论之上，能带来鲁棒性和数据效率的具体提升。
该方法在低目标数据场景下特别有效，在这些场景中收集大规模目标数据集是不可行的。

论文承认了局限性，指出实验仅限于准静态交互，且“真实数据稀缺”的假设可能不适用于所有未来场景（即可能存在大量异构真实世界数据集的情况）。然而，结果表明，所提出的重加权机制仍然是处理领域偏移的稳健策略。