Embedding Morphology into Transformers for Cross-Robot Policy Learning

该论文提出了一种通过引入运动学 Token、拓扑感知注意力偏置及关节属性条件化三种机制，将机器人形态学嵌入 Transformer 架构的感知形态策略，从而显著提升了跨机器人及单机器人场景下的策略鲁棒性与性能。

要点

这篇论文解决了一个机器人领域的核心难题：如何让同一个“大脑”（AI 策略）能灵活地指挥不同长相、不同身体结构的机器人？

想象一下，如果你给一个人类大脑下达指令“拿杯子”，它知道怎么用手臂、手指去抓。但如果突然把这个大脑装进一个只有轮子没有手臂的机器人，或者一个有六条腿的蜘蛛机器人身上，这个大脑就会懵圈，因为它以前只学会了“人类手臂”的肌肉记忆，不知道轮子或蜘蛛腿该怎么动。

目前的顶级机器人 AI（比如论文里提到的 $\pi0.5$）就像是一个**“身体盲”的超级天才**。它看视频、听指令，然后直接输出动作。但它不知道机器人身体是怎么连接的（比如肩膀连着大臂，大臂连着小臂），它只能靠猜。这导致它换个机器人身体就失灵，或者在同一个机器人身上也表现得不够稳健。

这篇论文提出了一种给 AI“大脑”做**“身体植入手术”**的方法，让它在思考时就能“感觉”到身体的结构。他们用了三个巧妙的招数：

1. 给每个关节发一张“专属身份证”（运动学 Token）

• 以前的做法：AI 把机器人所有关节的动作打包成一个模糊的“动作包”扔给大脑。就像你让厨师做菜，只告诉他“做一顿饭”，却没告诉他米、油、盐分别在哪。
• 现在的做法：AI 把动作拆开，给每个关节（比如左肩、右肘）都发一张**“专属身份证”**。
• 比喻：就像以前是**“大锅炖”，现在变成了“分餐制”**。大脑能清楚地看到：“哦，这是左肘关节，它需要动 5 度；这是右腕关节，它需要转 10 度。”这样，无论机器人是 3 个关节还是 10 个关节，大脑都能按“人头”（关节）来分配任务，而不是瞎猜。

2. 画一张“社交关系网”（拓扑感知注意力）

• 以前的做法：AI 里的所有关节都可以随意“聊天”。左肘可以直接跟右脚踝说话，完全不顾它们中间隔了多远。这在物理上是不可能的，就像你试图直接跟地球另一端的邻居握手，中间没路。
• 现在的做法：AI 被强制画了一张**“社交关系网”**（拓扑图）。
  • 硬规则（Hard-Mask）：只有“邻居”才能聊天。比如，肩膀只能跟大臂说话，大臂只能跟小臂说话。这强迫 AI 学习像真实身体一样的**“接力赛”**模式：信息从肩膀传到大臂，再传到小臂。
  • 混合模式（Mix-Mask）：有时候让它们只跟邻居聊（处理局部细节），有时候让它们全员开大会（处理整体协调）。
• 比喻：以前是**“全员大乱炖”，谁跟谁都能聊；现在是“按部门开会”**。只有物理上相连的关节才能直接交换信息，这大大减少了 AI 的胡思乱想，让它更懂“身体逻辑”。

3. 给每个关节贴上“功能标签”（关节属性条件）

• 以前的做法：即使知道了关节是连着的，AI 也不知道这个关节是干什么的。比如，两个关节都是旋转的，但一个只能转 180 度，另一个能转 360 度；或者一个是推杆（直线运动），一个是关节（旋转运动）。
• 现在的做法：给每个关节贴上详细的**“功能标签”**。
  • 标签包括：它是转动的还是推拉的？它的极限在哪里？它有多硬（刚度）？
• 比喻：这就像给每个员工发**“岗位说明书”。以前 AI 只知道“张三”和“李四”是同事（连在一起），现在它知道“张三”是“大力士”（只能推拉），而“李四”是“旋转大师”**（只能转动）。这样 AI 就不会让大力士去干旋转的活，也不会让旋转大师去推重物。

实验结果：真的有用吗？

研究人员在三种完全不同的机器人身上做了测试：

1. DROID (Franka Panda)：像人类手臂的机械臂。
2. Unitree G1 Dex1：像人形机器人的腿和手。
3. SO101：另一种不同结构的机械臂。

结果非常惊人：

• 单机器人测试：即使只在一个机器人上训练，加上这些“身体植入”后，成功率也大幅提升（比如从 20% 提升到 47%）。
• 跨机器人测试：这是最难的。用同一套代码训练，让它同时学会指挥 Panda 和 SO101。以前的方法会“精神分裂”，现在的方法因为懂了“身体结构”，能轻松切换，成功率远超旧方法。

总结

这就好比给 AI 装上了**“本体感”**。

• 以前的 AI 是**“盲人摸象”**，只能靠猜身体怎么动。
• 现在的 AI 是**“拥有身体感知的指挥家”**，它清楚知道每个“乐手”（关节）的位置、能力和限制。

这项技术的意义在于，未来我们不需要为每种新机器人重新从头训练 AI。只要把机器人的“身体说明书”（结构、关节类型）喂给这个通用的 AI 大脑，它就能立刻上手工作。这大大降低了机器人普及的门槛，让机器人能更灵活地适应各种新环境和新任务。

技术摘要

这是一份关于论文《Embedding Morphology into Transformers for Cross-Robot Policy Learning》（将形态学嵌入 Transformer 以实现跨机器人策略学习）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
跨机器人策略学习（Cross-robot policy learning）旨在训练单一策略使其在多种不同的机器人形态（Embodiments）上都能表现良好。然而，现有的基于 Transformer 的机器人策略（特别是视觉 - 语言 - 动作，VLA 模型，如 $\pi0.5$）通常是**形态无关（Embodiment-agnostic）**的。

现有方法的局限性：

1. 隐式推断： 这些模型必须仅凭观测数据隐式地推断运动学结构（Kinematic structure）和关节间的协调关系，这降低了跨机器人的鲁棒性，甚至限制了单一机器人上的性能。
2. Token 接口不匹配： 先进的 VLA 模型（如 $\pi0.5$）将关节空间结构压缩为紧凑的动作 Token，导致现有的基于图神经网络（GNN）或拓扑感知注意力的形态嵌入方法难以直接应用。
3. 局部与全局的权衡： 在拓扑感知注意力中，强制强局部性（Local）有利于运动学信息传递，但可能限制长程协调；反之亦然。
4. 缺失关节语义： 现有方法仅关注连接性（拓扑），忽略了具有相同拓扑但功能角色不同（如驱动类型、运动限制）的关节语义信息。

2. 方法论 (Methodology)

作者提出了一种**形态感知（Embodiment-aware）**的 Transformer 策略，通过三种机制将机器人形态学显式地注入到 VLA 动作策略中：

(1) 运动学 Token (Kinematic Tokens, KT)

• 目的： 为 VLA 动作策略提供基于关节的表示接口，解耦动作序列的空间结构。
• 机制：
  • 将时间视界（Horizon）划分为 $G$ 个非重叠的时间块（Temporal chunks）。
  • 对于每个关节 $j$ 和每个时间块 $k$，将该块内的 $g$ 个动作拼接成一个向量，形成运动学 Token。
  • 通过轻量级 MLP 将这些 Token 投影为嵌入向量，并作为额外上下文附加到 VLA 的动作专家（Action Expert）中。
  • 辅助运动学 Token (AKT)： 为了增加每个关节的 Token 容量，引入多个辅助编码器生成额外的嵌入，丰富关节表示。
• 效果： 这种设计强调了跨关节的空间结构，使得拓扑和语义嵌入成为可能，同时保留了标准动作 Token 的时间细粒度。

(2) 拓扑感知注意力偏置 (Topology-aware Attention Bias)

• 目的： 将运动学拓扑作为归纳偏置（Inductive Bias）注入自注意力机制，鼓励沿运动学边缘进行信息传递。
• 机制： 定义运动学图 $G=(V, E)$，其中节点为关节，边为物理连接。在自注意力 logits 中添加拓扑依赖项 $B_{i,j}$。
• 三种变体：
  • Hard-Mask (Full-Mask & Mix-Mask)：
    • Full-Mask: 每一层都强制限制注意力仅能关注自身及其 1-hop 邻居（非邻居被掩码为 $-\infty$）。
    • Mix-Mask: 在偶数层应用硬掩码（局部），奇数层使用全连接注意力（全局），以平衡局部信息传递与全局协调。
  • Soft-Mask: 基于最短路径距离（SPD）的可学习偏置。允许所有关节对交互，但根据运动学距离给予不同的偏置权重（距离越近权重越高）。
• 发现： 实验表明，Mix-Mask（交替局部/全局）通常表现最好，而纯 Soft-Mask 存在优化不稳定的问题。

(3) 关节属性条件化 (Joint-attribute Conditioning)

• 目的： 补充拓扑信息，捕捉超越连接性的关节语义（如关节类型、轴方向、运动限制、接触属性等）。
• 机制：
  • 为每个关节定义描述符向量 $s_j$（包含旋转/移动关节类型、轴向量、硬限位、阻尼、摩擦等特征）。
  • 使用 FiLM (Feature-wise Linear Modulation) 层，将描述符映射为缩放（$\gamma$）和偏移（$\beta$）参数。
  • 对运动学 Token 的嵌入进行仿射调制：$\tilde{z}_j = (1 + \gamma_j) \odot z_j + \beta_j$。
• 效果： 使模型能够区分具有相同拓扑但功能不同的关节，从而生成更结构化的动作。

3. 主要贡献 (Key Contributions)

1. 架构创新： 提出了一种结合运动学 Token、拓扑感知注意力和关节属性条件化的新型 Transformer 策略架构，解决了 VLA 模型难以直接嵌入形态学的问题。
2. 机制设计：
   • 设计了Kinematic Tokens，成功在 VLA 的 Token 接口中解耦了关节空间结构。
   • 提出了Mix-Mask策略，有效解决了拓扑注意力中局部与全局信息的平衡问题。
   • 引入了FiLM 条件化，将关节的物理属性（语义）显式融入策略。
3. 实证验证： 在 DROID (Franka Panda)、Unitree G1 Dex1 和 SO101 等多个机器人平台上进行了单形态和多形态训练评估，证明了该方法在单一机器人和跨机器人场景下均能显著提升成功率。

4. 实验结果 (Results)

实验在 DROID (Panda)、Unitree G1 和 SO101 数据集上进行，主要发现如下：

• 单形态表现 (Single-embodiment)：
  • 在 DROID 上，相比 $\pi0.5$ 基线（平均成功率 19.7%），完整模型（KT + Mix-Mask + FiLM）将平均成功率提升至 47.4%。
  • 各组件均有效：仅添加运动学 Token 提升至 36.0%；加入 Mix-Mask 进一步提升至 36.9%；加入 FiLM 后达到最佳。
  • 在 Unitree G1 (16-DoF) 上，完整模型同样取得了最佳表现（28.0%），证明了方法的泛化性。
• 多形态表现 (Multi-embodiment)：
  • 在 Panda 和 SO101 混合训练任务中，完整模型在整个训练过程中均显著优于 $\pi0.5$ 基线。
  • 在 50k 步时，完整模型平均成功率为 15.5%，而基线仅为 5.0%。
• 消融实验：
  • 时间块大小 (G)： 单个时间块（G=1）效果最好，表明适度的时间压缩有利于捕捉空间结构。
  • 辅助 Token (AKT)： 增加 Token 容量（引入 AKT）能显著提升性能（在 Mix-Mask 下从 37.0% 提升至 47.3%）。
  • Soft-Mask 初始化： 尽管尝试了多种初始化策略（Zero, Hard, Mix, Linear），Soft-Mask 变体始终未能超越 Hard-Mask 变体，表明 Hard-Mask 在优化稳定性上更具优势。

5. 意义与影响 (Significance)

• 提升鲁棒性： 通过显式编码机器人形态学，显著提高了策略在不同硬件配置、升级或故障情况下的鲁棒性。
• 降低数据需求： 该方法减少了为每个新机器人平台进行大量微调（Fine-tuning）或替换动作头的需求，推动了“通用机器人策略”的发展。
• 架构启示： 证明了在 Transformer 架构中显式引入物理先验（如拓扑和语义）比完全依赖数据驱动隐式学习更有效，为未来构建更通用的机器人基础模型（Foundation Models）提供了重要方向。
• 社会影响： 有助于实现能够适应新任务、环境和形态的通用机器人策略，类比人类智能的灵活性，对老龄化社会的自动化需求具有潜在的重大意义。

总结： 该论文通过“运动学 Token + 拓扑注意力 + 关节语义条件化”的三重机制，成功将机器人形态学嵌入到 Transformer 策略中，显著解决了跨机器人策略学习的核心挑战，在多个基准测试中取得了 State-of-the-art 的性能。