🤖 machine learning

A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation

本文介绍了 REGRIND，这是一个结合了重定向引导的强化学习与零样本实机迁移的极简流水线，旨在通过仅需单次人类演示，实现多指机器人在接触密集型灵巧操作任务中的表现。

原作者： Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个机械手如何使用剪刀或转动螺丝刀。你可以尝试手动编写每一个手指的动作，但这就像是在蒙着眼睛试图通过一次只打一个字母的方式来写一部小说。相反，这项名为 REGRIND 的研究背后的研究人员尝试了一个简单得多的技巧：他们要求人类做一次该动作，将其记录下来，然后教机器人模仿那一次表演。

但问题在于：人类的手和机器人的手构造不同。如果你只是告诉机器人，“让你的手指移动以匹配人类的形状”，你可能会得到一个试图穿过桌面去握住螺丝刀，或者是在抓空而不是抓工具的机器人手。这就像是告诉一只猫要像狗一样游泳；形状可能看起来对了，但物理机制却是一场灾难。

“保持交互”的秘密武器
该论文的主要发现是，要让这套方法奏效，你不能仅仅复制手的“形状”，你必须复制手与物体之间的“关系”。作者们称之为“保持交互的重定向”（interaction-preserving retargeting）。

可以这样理解：如果一个人拿着剪刀，他们的手指是环绕在手柄上的，且刀片是张开的。如果你只是告诉机器人把手指放在同样的位置，它可能会不小心压碎剪刀，或者因为感受不到张力而掉落工具。REGRIND 方法构建了一个数字“安全网”（称为“交互网格”，interaction mesh），使机器人的手指保持在相对于工具的正确位置，确保机器人不会以一种物理上不可能的方式去抓取物体。

配方：一次演示，无限练习
这个过程出奇地极简。他们使用了一次单一的人类演示（一段人使用工具的视频）。

重定向（Retargeting）： 他们将那个人类的动作转换成了一种符合机器人物理特性、且尊重抓取工具物理规律的路径。
“如果……会怎样”的游戏： 由于他们只有一个样本，所以使用了一个聪明的技巧来创造数千次练习。他们设想工具起始位置略有不同（偏移最多 5 厘米 或倾斜 30 度），并教会机器人如何调整其路径以依然取得成功。这就像练习投篮时，不仅要在罚球线练习，还要在稍微偏左、稍微偏右和稍微靠后的位置练习，这样如果球弹跳得有点奇怪，你也不会慌乱。
模拟训练： 机器人在类似电子游戏的模拟环境中进行了数百万次的练习，学习完美地追踪工具的运动。

奏效了吗？现实检验
结果令人印象深刻，但也带有几个重要的星号（注意事项）。在模拟器中，机器人表现得像个超级明星。在像使用 WUJI 手进行螺丝刀操作的任务中，它的成功率达到了 99.7%。即使是更复杂的剪刀任务，它也达到了 98.7% 的成功率。机器人学会了流畅地移动，几乎像人类一样。

然而，当他们将机器人从“电子游戏”移到现实世界时，情况变得有些坎坷。

好消息： 在四项现实世界测试中的三项中，机器人的表现非常出色。它成功使用 LEAP 手进行剪切任务（10 次中成功 9 次）以及转动螺丝刀（10 次中成功 10 次）。它在使用 WUJI 手完成螺丝刀任务时也表现良好（10 次中成功 9 次）。
坏消息： 它在 WUJI-剪刀 任务上完全失败了（10 次中成功 0 次）。作者怀疑这是因为现实中的剪刀与数字模型并不完全匹配，且机器人的电机过于僵硬，无法进行调整。
对比： 他们测试了其他未使用这种“保持交互”技巧的方法。那些方法就像是只会死记硬背答案而并不理解数学原理的学生。在现实世界中，它们几乎每次都失败（在大多数任务中成功率为 0%），通常是因为它们尝试抓取工具的方式导致机器人撞到了桌子。

这意味着什么（以及不意味着什么）
论文表明，如果你想让机器人学习一项复杂的、涉及大量接触的任务，你需要教它手是如何接触物体的，而不仅仅是手指在哪里。他们证明了，只要处理得当，一次人类演示就足以教会机器人完成这些任务。

但先别指望现在就能拥有一个机器人管家。该系统仍然需要一台动作捕捉相机来实时告知它工具的确切位置；它目前还不能仅凭普通的摄像头就“看到”工具。此外，如果现实世界的物体与数字模型不完全匹配（例如 WUJI-剪刀的失败案例），机器人就会陷入困境。

简而言之，作者找到了一套配方，能将一段人类视频转化为一项可行的机器人技能，但在现实世界中要实现这一点，机器人仍需要来自相机和物体完美数字孪生的辅助。

技术摘要：REGRIND —— 一种用于灵巧操控的极简主义重定向引导强化学习方案

问题陈述

灵巧操控涉及复杂的、富含接触的动力学过程，需要对接触模式和力进行精细调节。虽然类人全身控制已成功采用了“先重定向后学习”的方案（即将人类运动重定向至机器人运动学，并训练强化学习（RL）策略来追踪这些运动），但这种方法在灵巧操控领域并未得到有效转化。目前的操控技能往往依赖于真实机器人的遥操作演示，或者局限于仿真环境中。

识别出的核心挑战是：简单的运动学重定向虽然匹配了人类手部姿态，但往往忽略了手与物体之间的交互。这导致产生了物理上不合理的轨迹（例如，手与物体的穿透），从而为下游的强化学习提供了糟糕的参考。此外，与足式运动相比，灵巧操控对仿真到现实（sim-to-real）的差异（摩擦力、顺应性、几何形状）表现出显著更高的敏感性，使得零样本迁移（zero-shot transfer）变得十分困难。

方法论：REGRIND

作者提出了 REGRIND（用于灵巧操控的重定向引导强化学习），这是一个通过单次人类演示即可学习灵巧操控策略的极简主义流水线。该流水线遵循“真实 $\to$ 仿真 $\to$ 真实”的工作流：

1. 保留交互的运动重定向

该方法并非采用标准的运动学重定向，而是将重定向建模为一个优化问题，旨在保留手与物体之间的空间和接触关系。

交互网格（Interaction Meshes）： 该方法构建了连接人类手部语义关键点与物体（源端），以及对应的机器人手部关键点与物体（目标端）的“交互网格”。
优化目标： 通过优化机器人轨迹，使源端与目标端交互网格之间的变形能量最小化。这种能量是通过测量网格顶点拉普拉斯坐标（Laplacian coordinates）的变化来衡量的。
约束条件： 优化过程包含了运动学约束、碰撞规避以及时间平滑性正则项。
结果： 这生成了一条能够维持有效接触结构的机器人参考轨迹，避免了标准逆运动学（IK）方法中常见的物理上不可能实现的抓握。

2. 带有数据增强的 RL 训练

在仿真中训练一个残差强化学习策略，以追踪重定向后的参考轨迹。

动作空间： 策略学习一个叠加在标称重定向配置上的残差动作（即 $q_{target} = \bar{q}_t + \alpha \odot \pi_\theta(\bar{q}_t, o_t)$ ）。
观测空间： 执行器使用物体位姿、机器人关节位置、前一时刻动作以及相位变量。为了减小仿真到现实的差距，策略避免使用诸如速度等带有噪声的传感器测量值。
奖励函数： 主要奖励是一个基于物体关键点的接近度指标（ $\epsilon_{object}$ ），鼓励机器人追踪相对于参考目标的物体状态。这在无需显式接触奖励的情况下，隐式地编码了交互先验。
数据增强： 为了应对单次演示导致的数据稀缺问题，该方法对参考轨迹进行动态增强。它通过扰动初始物体配置（位置和朝向），并对整个重定向后的轨迹应用随时间变化的刚体变换。这种方式将轨迹的起始部分向新的初始状态进行扭曲，同时又平滑地返回到原始目标，从而在无需重新求解昂贵的重定向优化的情况下，创造出多样化的训练样本。
课程学习与随机化： 训练包括领域随机化（摩擦力、电机增益）、观测噪声，以及包含随机推搡和逐渐增加重力的课程学习。

3. 仿真到现实迁移

训练好的策略被部署到硬件上进行零样本迁移。作者强调，成功的迁移不仅需要重定向策略，还需要细致的系统辨识，并在部署期间使用动作捕捉系统提供的物体位姿，以消除感知误差作为干扰因素。

核心贡献

一个极简主义框架： 一个通用的流水线，利用保持交互的重定向技术，通过单次人类演示学习富含接触的灵巧操控。
保持交互的重定向： 一种新型的重定向目标，能够维持手与物体间的空间及接触关系，解决了纯运动学重定向在富含接触场景下的失效问题。
动态数据增强： 一种通过扰动初始状态并扭曲轨迹，从单次演示中合成多样化参考轨迹的策略，提升了策略的鲁棒性和泛化能力。
系统性分析： 对影响灵巧操控仿真到现实迁移的关键因素进行了评估，强调了交互保持型参考轨迹和细致系统辨识的必要性。

实验结果

该方法在涉及两种机器人手（16自由度的 LEAP 和 20自由度的 WUJI）以及两种工具（剪刀和螺丝刀）的四个任务上进行了评估。

重定向质量： 定性结果显示，REGRIND 生成了具有人类特征且保留了交互语义的抓握，而基准方法（Mink IK, DexMachina）则产生了物理上不合理的穿透或不稳定的抓握。
仿真性能： REGRED 在所有四个任务中均实现了接近完美的成功率（98.7%–99.8%）和极低的追踪误差。基准方法如 SPIDER 无法有效地初始化 RL，而 DexMachina 在处理剪刀任务中复杂的接触动力学时表现得非常吃力。
仿真到现实迁移：
- REGRIND 在三个任务中成功迁移至真实硬件（LEAP-剪刀, LEAP-螺丝刀, WUJI-螺丝刀），取得了 9/10 或 10/10 的成功率。
- 基准方法（DexMachina, Mink IK + RL）未能实现有效迁移，通常表现为抓握不稳定或发生碰撞，这归因于它们对仿真伪影的依赖以及缺乏保持交互的正则化。
- WUJI-剪刀任务对所有方法都失败了，这可能是由于电机不可反驱动以及对真实剪刀的网格建模不够精确所致。
泛化能力： 使用 REGRIND 训练的策略在真实世界中对随机化的初始物体配置表现出良好的泛化性，保持了与演示配置相似的性能。

重要性与主张

本文主张，在重定向过程中保留交互是提高接触丰富型灵巧操控中 RL 性能的关键因素。作者认为，虽然基于重定向的学习在足式运动中行之有效，但由于操控对建模误差高度敏感，因此需要更细致的方法。

REGRIND 的意义在于证明了，通过结合交互感知重定向、残差 RL 以及简单的辅助数据增强，一个极简主义流水线即可实现稳健、类人的真实硬件灵巧操控。这项工作为社区提供了实践指导，表明成功的操控类仿真到现实迁移需要一种整体性的方法，包括保持交互的参考、深思熟虑的观测/动作空间设计以及细致的系统辨识，而非仅仅是扩大仿真规模或进行奖励工程。