技术摘要：通过强化学习实现面向语言条件的双臂灵巧操作的可扩展多任务数据生成

问题陈述

开发通用型双臂灵巧操作策略的瓶颈在于缺乏大规模、高质量且多样化的数据集。虽然人类遥操作提供了自然的演示，但在跨越多样化任务和物体时，其成本高昂到难以规模化。人类视频虽然丰富，但存在具身不匹配、部分可观测性以及重定向不完善等问题，阻碍了鲁棒的策略学习。相反，基于仿真的数据生成虽然具有可扩展性，但通常依赖于源自人类演示的以物体为中心的轨迹匹配。这种方法往往忽略了机器人执行过程中的物理可行性，导致在复杂的拥挤场景中出现不可行的轨迹。此外，现有的强化学习（RL）方法虽然能够生成多样化的轨迹，但通常受限于需要大量的、手工设计的、特定任务的奖励工程，从而限制了其可扩展性。

方法论：作为数据收集器的强化学习 (RLDC)

作者提出了 RLDC，这是一个系统性的流水线，利用强化学习来生成高质量的合成训练数据，随后将其蒸馏为受语言调控的多任务策略。该流水线分为四个阶段：

1. 可泛化的奖励设计

为了解决奖励工程的可扩展性问题，作者设计了一组适用于各种双臂任务（例如：箱子提升、多物体拾取与放置、抽屉插入）的通用奖励项：

• 初始操作手部姿态 (Initial Manipulation Hand Pose)： 鼓励机器人手部相对于物体对齐到预定义的姿势。
• 物体接触 (Object Contact)： 最小化指尖与物体质心之间的距离，以确保可靠的接触启动。
• 带有提升门槛的物体目标姿态 (Object Goal Poses with Lifting Gate)： 奖励向灵活的目标姿态迈进，但仅在物体被提升到特定高度阈值以上时才激活。这可以防止智能体仅仅是推动物体而非在空中操纵物体。
• 机器人复位 (Robot Reset)： 鼓励机器人在任务完成后返回到安全、预定义的配置，以促进任务链的衔接。

这些项通过缩放因子结合在一起，从而在无需为每个任务进行独特奖励工程的情况下解决多样化任务。

2. 教师训练与数据收集

• 教师策略 (Teacher Policies)： 使用上述可泛化奖励为特定任务训练专门的 RL 教师。双臂问题被建模为一个多智能体设置，使用独立近端策略优化 (IPPO)，其中每条手臂都由一个基于局部观测进行调控的专用策略控制。
• 领域随机化 (Domain Randomization)： 教师策略收敛后，在仿真环境中进行大规模展开。这包括物体几何形状（100 多种复杂物体）、物理参数（摩擦力、质量、恢复系数）、视觉属性（颜色、反射率）以及感知因素（摄像机视角、光照）的广泛变化。
• 自动化语言标注： 使用基于物体属性和目标的模板自动生成语言注释。这些模板通过视觉语言模型 (VLM) 进一步进行改写，以丰富自然语言标签的多样性（例如：“拿起最近的物体”对比“使用右臂拿起 A...”）。

3. 多任务策略蒸馏

收集到的合成数据集通过扩散模型 (Diffusion Model) 架构被蒸馏为一个统一的多任务策略：

• 输入： 模型处理 6 通道点云 (RGB-D)、机器人状态（关节位置/速度）和语言 Token。
• 架构： 基于 Transformer 的网络使用 PointNet++ 对点云进行编码（不使用最大池化以保留空间结构），并使用傅里叶位置编码处理机器人状态。
• 解耦动作头 (Decoupled Action Heads)： 为了处理双臂任务中既部分独立又相互协调的特性，动作表示被解耦为左、右臂各自的查询 (Queries)。这些查询通过交叉注意力机制与调节 Token 进行交互。
• 辅助损失 (Auxiliary Loss)： 辅助头从点云特征中预测真实的物体状态（位置和朝向）。这使得视觉编码器能够锚定到潜在的状态信息，而这是仅靠人类视频数据无法实现的能力。

4. 评估设置

该系统在三个任务上进行了评估：箱子提升、多物体拾取与放置以及抽屉插入。实验在 NVIDIA IsaacLab 仿真环境中进行，并在由两台配备 16 自由度 Allegro 手部的 xArm UF850 机械臂组成的真实平台进行。

关键结果

• 奖励设计效率： 所提出的可泛化奖励设计实现了与精细调优的任务特定奖励相当的成功率，并且在“提升 (Lift)”任务中优于基于物体参考的轨迹基准。它显著降低了工程开销，每个任务仅需约一小时，而基于轨迹的奖励则需要整整一天。
• 策略性能： 蒸馏后的多任务策略在仿真和现实世界设置中均显著优于最先进的基准模型 (DP3 和 iDP3)。
  • 仿真环境： 在多物体任务中达到 0.80、插入任务中达到 0.74、提升任务中达到 0.96 的成功率，而基准模型的表现范围在 0.06 到 0.70 之间。
  • 现实世界： 在多物体任务中达到 15/20、插入任务中达到 16/20、提升任务中达到 14/20 的成功率。
• 零样本迁移 (Zero-Shot Transfer)： 该策略成功迁移至现实世界，并展示了对分布外 (OOD) 物体的零样本泛化能力（例如：在多物体训练集中见过“狗”物体，但在特定的插入训练集中未见过，却能成功完成插入操作）。
• 消融研究：
  • 独立动作头： 虽然共享动作头在仿真中表现略好，但独立的动作头显著提高了现实世界中的鲁棒性，特别是在处理其中一只手臂失效不会影响另一只手臂的分布外情况时。
  • 辅助损失： 加入状态预测辅助损失一致地提升了所有任务的性能，验证了将视觉表示锚定到状态信息的益处。
  • 数据集大小： 性能随数据集大小有效扩展，更大的数据集能更好地捕捉罕见的初始情况。

重要性与主张

论文声称 RLDC 提供了一个可扩展、自动化的流水线，用于为双臂灵巧操作生成大规模、多模态的数据集。其主要意义在于：

1. 可扩展性： 从昂贵的人类遥操作和僵化的轨迹匹配，转向一种由 RL 驱动的方法，能够自主生成可行且多样化的轨迹。
2. 泛化性： 证明了单套奖励项可以有效地训练多种复杂的双臂任务，从而减轻了奖励设计的工程负担。
3. 仿真到现实的迁移 (Sim-to-Real Transfer)： 证明了完全使用该流水线生成的合成数据训练的策略，可以在无需微调的情况下，在配备灵巧手的真实机器人上实现强劲的表现。
4. 多模态集成： 成功集成了语言调控和视觉接地（通过点云和辅助状态预测），以创建鲁棒的、遵循指令的机器人策略。

作者承认了局限性，指出搭建仿真环境和初始姿态仍然耗时，且 RL 生成的轨迹可能缺乏精细操作所需的平滑度或“类人”品质，这表明未来的工作可以将 RL 数据与人类演示相结合。