技术摘要：作为桥接动作的平移

问题陈述

本文解决了将新型操纵技能从人类数据迁移到配备平行夹持器的双臂机器人上的挑战。虽然人类动作数据丰富、多样且成本低廉，易于扩展机器人学习，但直接迁移受到两个主要问题的阻碍：

1. 噪声估计： 人类动作通常源自手部姿态估计器，这会引入显著的噪声，尤其是在旋转估计方面。
2. 具身差异（Embodiment Mismatch）： 人类手指的接触模式与平行机器人夹持器有着本质的不同。因此，从人类数据中提取的腕部旋转（6DoF）往往与平行夹持器的物理约束在语义上不匹配，导致直接回放时产生扭曲的行为。

以往的方法通常将人类视为另一种双臂 6DoF 具身形式，学习包含旋转的动作信号。作者认为，对于平行夹持器机器人而言，这种做法是次优的。

方法论

1. 桥接动作表示

作者没有学习完整的 6DoF 腕部姿态，而是提出了一种仅基于相对腕部平移（$a_{3D-wrist}$）的桥接动作表示。

• 定义： 动作被定义为在初始头戴相机坐标系内的相对平移。该坐标系由人类（佩戴头戴式相机）和机器人（配备头戴相机）共同使用。
• 原理： 由于人类和机器人都是基于其感知进行行动的，因此在观察坐标系中的相对平移在物理上是有意义的，对噪声旋转估计具有鲁棒性，并且与具身无关。
• 公式化： 对于时间步 $t$ 和未来窗口 $k$：
  $$a_{3D-wrist}^{t+i} = \Delta W^{3D} = \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^{t+i}) - \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^t)$$
  其中 $W$ 代表腕部姿态，$T$ 代表相机姿态。

2. 统一模型架构

作者基于类似于 $\pi_0$ 的具有流匹配（flow matching）功能的视觉-语言-动作（VLA）模型进行构建。为了处理具有不同可用动作组件的异构数据源（人类 vs. 机器人），他们引入了一个交错动作序列：

• 序列顺序： $a_{3D-wrist} \rightarrow a_{6D-eef} \rightarrow a_{gripper}$。
• 处理缺失数据： 模型使用注意力掩码（attention masking）来处理变长输入。对于人类数据，6DoF 末端执行器（$a_{6D-eef}$）和夹持器信号可能缺失或被遮蔽；对于机器人数据，所有组件均存在。
• 训练目标：
  • 流匹配（Flow Matching）： 用于生成动作块（action chunks）。损失函数仅在给定数据源可用的动作组件上计算。
  • 交错监督： 至关重要的是，在人机协同训练期间，即使地面真值是 $a_{6D-eef}$，模型也会被训练去预测 $a_{3D-wrist}$（反之亦然）。这种“绑定”策略明确地将桥接表示与可执行的机器人动作联系起来。

3. 三阶段训练策略

1. 第一阶段（预训练）： 模型在约 600 小时的大规模人类动作数据（EgoDex + 外包 + 实验室数据）上进行预训练。由于在此规模下旋转和接触模式不可靠，仅对桥接信号（$a_{3D-wrist}$）进行监督。
2. 第二阶段（协同训练）： 模型在通用的机器人抓取与放置数据（约 72 小时）和特定任务的实验室人类数据（每个任务约 3 小时）上进行协同训练。所有动作组件（$a_{3D-wrist}$、$a_{6D-eef}$、$a_{gripper}$）均处于激活状态，并通过随机用 $a_{3D-wrist}$ 替换 $a_{6D-eef}$ 来强化桥接连接。
3. 第三阶段（少样本后训练）： 模型在少量真实机器人演示（每个任务 10 条轨迹）上进行微调，以提高数据效率和最终性能。

关键结果

该方法在 ByteMini 机器人上通过 15 个新型双臂操纵任务（如打开微波炉、擦拭表面、堆叠杯子）进行了评估。

• 技能迁移： 仅在机器人抓取与放置数据上训练无法泛化到复杂任务。然而，使用桥接动作与人类数据进行协同训练，显著提高了任务进度和成功率。
• 平移 vs. 6DoF： 使用 6DoF 人类动作进行协同训练会导致噪声大、扭曲的行为。仅基于平移的桥接动作则产生了与任务需求一致的稳定、自然的姿态（例如，与微波炉把手对齐）。
• 可扩展性： 大规模纯人类预训练（阶段 I）显著提升了下游性能，证实了桥接表示的可扩展性。
• 数据效率： 与从头开始训练的模型相比，经过人类数据预训练的模型需要更少的机器人演示（few-shot）即可达到高性能。
• 对齐性： 在协同训练期间，桥接动作（$a_{3D-wrist}$）的训练损失与可执行 6DoF 动作（$a_{6D-eef}$）的损失高度一致，表明存在共享的目标景观。
• 上限： 当消除具身差异（将机器人数据视为仅使用平移监督的人类数据）时，性能进一步提升，这表明桥接表示本身非常有效，剩余的差距主要源于视觉/具身差异以及噪声。

局限性与失败案例

作者指出，仅平移的方法限制了在需要精确旋转调整的接触密集型操纵任务（如将吸管插入杯中或打开抽屉）中的迁移能力。在这些情况下，机器人通常能展示正确的意图，但由于缺乏旋转监督，在最后的接触步骤中失败。此外，由于观察间隙和人类动作噪声，捡起薄物体仍然具有挑战性。

重要性与主张

本文声称证明了：

1. 鲁棒迁移： 与噪声较大的 6DoF 姿态估计相比，基于平移的桥接动作是实现从人类到平行夹持器机器人操纵知识迁移的更优媒介。
2. 可扩展性： 这种表示能够有效地利用大规模、多样化的人类数据来预训练策略，从而减少对昂贵机器人数据采集的依赖。
3. 统一学习： 带有注意力掩码的交错动作序列允许单个模型从具有缺失动作组件的异构数据源中学习，从而促进高效的人机协同训练。

这项工作表明，通过关注共享的感知-运动信号（相对平移）而非特定的具身细节（手指关节或完整的 6DoF 姿态），可以更有效地利用丰富的人类数据来扩展机器人学习。