技术摘要：AnyMug – 基于观测-动作规范化的姿态无关机器人功能性抓取

1. 问题定义

本文解决了功能性机器人抓取的挑战，特别针对抓取马克杯把手这一任务。与通用抓取不同，功能性抓取要求机器人与物体的特定部分（把手）进行交互，以实现后续任务（如倒水）。该任务的复杂性在于：

• 几何多样性： 把手细长且弯曲，在不同的马克杯实例之间存在显著差异。
• 姿态敏感性： 马克杯可能以不同的位置、把手方向以及两种截然不同的姿态类别出现：正置（upright）和倒置（inverted）。
• 现有方法的局限性：
  • 抓取姿态检测（开环）： 预测 6-DoF 或 7-DoF 抓取姿态的方法对估计误差高度敏感，尤其是在细长的把手结构上。
  • 学习型视觉运动策略（闭环）： 标准策略必须隐式地处理视觉外观与动作方向之间随放置位置变化的耦合变化，这限制了泛化能力，并要求学习冗余的、依赖于放置位置的策略。

目标是学习一个单一的闭环策略，使其能够跨越多样化的马克杯几何形状和姿态类别进行泛化，同时保持与把手的精确接触。

2. 方法论：AnyMug 框架

作者提出了 AnyMug，这是一个完全在仿真环境（Isaac Sim）中训练并在真实 Franka Panda 机器人上进行零样本部署的强化学习（RL）框架。其核心创新在于观测-动作规范化（Observation-Action Canonicalization）。

2.1 观测-动作规范化

AnyMug 没有训练策略去处理原始的、多变的输入，而是将传感器输入和控制输出都转换到一个共享的、以马克杯为中心的规范坐标系中。

• 观测规范化：
  • 处理原始俯视图深度图像 ($D_t$) 以识别马克杯中心和把手中心。
  • 应用仿射变换来：(1) 将马克杯置于图像中心，(2) 将把手旋转到固定的规范方向（例如指向左侧）。
  • 这产生了一个规范深度图像 ($D^c_t$)，无论物理放置位置如何，马克杯在图像中始终保持相同的位置和方向。
• 动作规范化：
  • 策略在规范坐标系下预测一个 7D 末端执行器动作 ($a^c_t$)，包括平移位移 ($\Delta p^c$)、旋转位移 ($\Delta \omega^c$) 和夹爪指令 ($u_g$)。
  • 在执行之前，空间分量通过把手旋转角 ($\theta_t$) 的逆变换旋转回世界坐标系。夹爪指令保持不变。
  • 这使得策略能够学习一种可在所有马克杯放置位置和把手方向中重复使用的单一“抓取策略”。

2.2 把手感知奖励函数

为了确保策略学习的是精确的功能性抓取而非仅仅是通用的接近动作，采用了密集的、把手感知的奖励函数：

• 接近奖励 ($r_{pos}$)： 鼓励夹爪接近把手中心。
• 定向奖励 ($r_{rot}$)： 鼓励夹爪相对于马克杯对齐目标方向。
• 手指对置奖励 ($r_{opp}$)： 这是一个关键的任务特定项，奖励在闭合前使两个指尖位于把手相对的两侧。该项由接近度进行门控，以确保手指靠近把手。
• 动作惩罚 ($r_{act}$)： 惩罚大幅度、剧烈的运动，以鼓励平滑的轨迹。

2.3 训练策略

• 算法： 近端策略优化（PPO）。
• 姿态课程学习： 训练开始时偏向于正置马克杯（70%）以建立可靠的接近行为，随后过渡到平衡分布（50/50）的正置和倒置马克杯。
• 领域随机化： 对马克杯位置、把手偏航角和马克杯几何形状进行随机化。至关重要的是，通过向姿态估计中添加高斯噪声来模拟现实世界的感知误差，该噪声根据最先进的姿态估计器（CPPF++）进行校准。

3. 核心贡献

1. 观测-动作规范化： 本文将马克杯抓取建模为一个规范化问题，其中深度观测和末端执行器动作都在共享的以马克杯为中心的坐标系中表示。这减少了姿态引起的感知和控制中的变化，从而允许单个策略复用共享策略。
2. 闭环把手感知抓取： 作者使用规范化的视觉-本体感觉反馈和专门的奖励函数训练了一个单一的 RL 策略。这实现了在无需显式运动规划的情况下，在不同几何形状和姿态之间实现精确的接近、对齐和闭合时机。
3. 全面评估： 该框架在仿真和硬件上针对运动规划和基于扩散模型的基线进行了基准测试。研究包含了隔离规范化、奖励塑造和课程学习贡献的消融实验。

4. 实验结果

4.1 仿真性能

在具有随机放置位置的未见过的马克杯实例上进行评估：

• 成功率 (SR)： AnyMug 在正置马克杯上达到了 93.18%，在倒置马克杯上达到了 94.19%。
• 对比：
  • 运动规划（开环）： 性能随姿态估计噪声增加而急剧下降（在 $\sigma=0.030$m 时降至约 60% SR），凸显了开环执行的敏感性。
  • 扩散策略 (DP)： 达到了约 36% 的 SR，失败的主要原因是空抓和超时，表明其难以仅从演示中学习精确的对齐。
  • 等变基线 (EquiDiff, EquiBot)： 优于标准 DP，但仍显著低于 AnyMug（分别为 54% 和约 12-19% SR），表明仅靠等变性不足以进行精细的把手几何推理。

4.2 现实世界零样本迁移

在真实的 Franka Panda 机器人上进行部署，无需微调，测试了 5 个物理特性截然不同的未见过的马克杯：

• 成功率： 正置和倒置类别的成功率均达到 80%（各 10 次试验中成功 8 次）。
• 失败模式： 失败分为“碰触/掉落”和“空抓”，表明策略通常能安全接近，但在现实世界的感知噪声下难以实现精准对齐。
• 基线：
  • 运动规划： 正置 70%，倒置 60% SR。
  • 扩散策略： 正置 20%，倒置 10% SR。
• 结论： 与开环和标准学习基线相比，AnyMug 展示了对现实世界感知误差更强的鲁棒性。

4.3 消融实验

• 手指对置奖励： 去除该项后成功率为 0% 且均为空抓，证明其对于功能性抓取至关重要。
• 规范化： 去除观测-动作规范化导致成功率从约 93% 下降到正置 31% 和倒置 41%，证实了它是实现泛化的主导因素。

5. 意义与主张

本文声称 AnyMug 通过将任务策略与物体姿态解耦，成功解决了姿态无关的功能性抓取问题。通过将输入（深度）和输出（动作）进行规范化，系统学习到了一个单一的、可复用的闭环策略，能够跨实例和姿态进行泛化。

作者强调：

• 规范化是关键： 它消除了策略学习依赖于放置位置的电机指令的需求，显著提高了泛化能力。
• 闭环反馈是必要的： 与开环方法不同，AnyMug 的闭环特性可以补偿残余的姿态估计误差和接触变化。
• 从仿真到现实的迁移： 该框架实现了稳健的零样本迁移到真实机器人，在无需现实世界微调的情况下，表现优于分析规划器和最先进的学习基线。

承认的局限性：

• 当前工作仅限于马克杯类物体和两种姿态类别（正置/倒置）。
• 假设存在清晰的顶视深度观测；在杂乱场景、严重遮挡或把手方向估计失效的反射表面下，性能可能会下降。
• 未来的工作需要将该框架扩展到更广泛的物体类别、更多的姿态模式（如倾斜）以及下游任务（如倒水）。