Rapid Learning of Dexterous In-Hand Pen Writing through Real-Time Jacobian Estimation

技术摘要：通过实时雅可比估计实现灵巧手内笔书写快速学习

问题陈述

灵巧的手内操纵（dexterous in-hand manipulation）——即仅通过手指运动来重新定位或操纵抓取的物体——是机器人领域的一项重大挑战。目前的基于学习的方法面临着明显的瓶颈：

• 强化学习 (RL)： 虽然在仿真环境中非常有效，但 RL 依赖于大量的领域随机化（domain randomization）来弥补从仿真到现实（sim-to-real）的差距，由于接触交互具有复杂且动态的特性，这变得非常困难。
• 模仿学习 (IL)： 这种方法需要大量的演示数据。然而，获取高质量的手内演示数据非常困难，因为手指会遮挡物体及彼此，导致纯视觉记录（即使是第一视角视图）也无法捕捉所有的接触点。此外，将人类数据重定向（retargeting）到运动学不同的机器人上也具有挑战性。

两种方法通常都需要大规模的模型构建、仿真或数据收集工作才能实现灵巧性。作者提出了一种替代方案：一种轻量级、数据高效的方法，该方法直接在物理机器人上学习手指驱动与物体运动之间的关系，而无需预先收集的数据或解析接触模型。

方法论

所提出的系统利用**在线任务雅可比估计（online task-Jacobian estimation）**方法，控制一个 17 自由度的人形机器人手（ORCA 手）进行手内笔书写。该系统无需解析的手物运动学模型、仿真训练或先验演示。

1. 系统架构与感知

• 硬件： 一个腱驱动的 ORCA 手抓取一支装在定制软 TPU 套筒中的笔（增加了直径以确保抓握稳固）。腕部、环指和中指固定；控制仅限于拇指、食指和中指的 10 个关节。
• 感知： 使用标准网络摄像头追踪笔上的 ArUco 标记以及桌面上的标记，以定义纸张坐标系。笔尖位置通过固定偏移量恢复，并使用带有离群值剔除功能的卡尔曼滤波器进行平滑处理。
• 控制循环： 系统以约 15 Hz 的感知受限速率运行。它在一个“感知–估计–执行”的循环中运行：将笔尖轨迹与参考轨迹进行比较，并基于估计的雅可比矩阵生成关节指令。

2. 在线雅可比估计
该方法的核心是一个递归最小二乘（RLS）估计器，用于学习命令空间任务雅可比矩阵 ($J$)，该矩阵将关节速度 ($\dot{q}$) 映射到笔尖速度 ($\dot{x}$)。

• 更新机制： 估计器使用指令关节增量 ($\Delta q_{cmd}$) 而非测量的速度来更新 $J$，因为“指令到运动”的映射在操作上更具相关性且噪声更小。
• 自适应性： 遗忘因子 ($\lambda$) 使估计器能够追踪缓慢变化的动力学特性（例如抓握滑动）。协方差矩阵被对角化以降低计算负载。
• 激励阶段： 为了引导估计过程，系统执行了一个 18 秒的初始化阶段，期间手部在六个预定义的抓握姿态中进行扫掠。这确保了估计器在开始追踪之前观察到一组配置良好的 $(\dot{q}, \dot{x})$ 数据对。

3. 控制律
控制器使用估计的雅可比矩阵的阻尼右伪逆 ($J^+$) 来计算关节指令：
$$\Delta q = (J^+ v_{cmd} + k_{pb} N^\perp (q_0 - q)) \Delta t$$

• 任务追踪： 第一项 ($J^+ v_{cmd}$) 利用带有前馈的 PID 控制器驱动笔尖沿期望轨迹运动。
• 抓握稳定： 第二项通过雅可比矩阵的近似零空间 ($N^\perp$) 投影一个姿态稳定力。它将手部拉回初始的稳定抓握姿态 ($q_0$)，而不会干扰主要的书写任务，从而防止抓握失稳。

核心贡献

1. 具身手内书写： 首次展示了通过纯粹的手内手指运动，使类人手能够在纸上书写任意单笔画轨迹（字母和形状），并实现了亚毫米级的精度。
2. 轻量级、无模型控制： 一种不需要解析接触模型、仿真训练或预先收集演示数据的控制架构。它完全依赖于实时交互和在线估计。
3. 泛化性： 同一套估计器/控制器公式已成功应用于三种不同的机器人手系统（一个物理 ORCA 手和两个仿真手：Shadow Hand 和 Wuji Hand 2），证明了其与具身形态无关的特性。
4. 开源： 代码和仿真实现均已开源。

结果

• 追踪精度： 在 38 次运行（22 次在空中，16 次在纸上）中，系统实现了 0.64 ± 0.10 mm 的平均平面内追踪误差。表现最好的运行达到了 ~0.39 mm（空中）和 ~0.57 mm（纸上）。第 95 百分位误差约为 1.4 mm。
• 鲁棒性： 系统能够在长时程内（例如连续 31 分钟完成整个字母表的书写）保持精度而不会出现性能下降。它可以从较大的瞬态误差（例如 ~20 mm 的突跳）中恢复，而无需重新初始化。
• 消融实验：
  • 雅可比冻结： 在初始化后冻结雅可比估计会导致精度迅速下降或发散。持续的在线更新对于应对诸如抓握滑动之类的扰动至关重要。
  • 抓握正则化： 禁用零空间姿态稳定项会导致抓握不稳定，并在 60% 的运行中导致失败，证明了其对于维持稳固抓握的必要性。
  • 速度： 书写速度被刻意保持在较低的 $8 \times 10^{-4}$ m/s (0.8 mm/s)。将速度提高到 2 倍、3 倍或 4 倍会非线性地降低精度和鲁棒性，表明吞吐量与稳定性之间存在权衡。
• 仿真： 该方法被移植到 MuJoCo 中用于 Shadow Hand 和 Wuji Hand 2。尽管控制的是 3D 坐标（不同于物理控制中的 2D）且缺乏柔性套筒，Shadow Hand 仍实现了 0.17 mm 的 RMSE，Wuji Hand 2 实现了 1.48 mm 的 RMSE，证实了该方法在不同运动学下的适用性。

意义与主张

作者声称这项工作证明了在线、实时学习是实现灵巧手内操纵的一条可行路径，特别是在需要轻量级、自适应控制器的场景下。

• 作为重型方法的替代方案： 本文将此方法定位为 RL 和 IL 的一种计算简单且数据高效的替代方案，后者通常需要大规模的模型构建或数据收集工作。
• 无需精确模型： 结果表明，缺乏精确的解析模型或大型数据集并不是实现高度灵巧性的根本障碍；相反，快速的具身学习即可足够。
• 实用性： 该系统可以在标准笔记本电脑 CPU 上运行，仅需一个普通网络摄像头，这使得它在计算资源有限的应用场景（如车载假肢控制）中具有应用前景。

作者承认的局限性：

• 系统目前仅控制 2D 平面内运动；垂直方向（z 轴）的漂移不受控制，由柔性纸架吸收。它目前还无法在刚性表面上书写，也无法在没有手臂辅助的情况下执行多笔画任务（如字母 'i' 上的点）。
• 它无法处理接触不连续的任务（例如重新抓握笔）。
• 书写速度目前比人类书写慢，且精度受限于视觉系统的抖动。