💻 computer science

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

本文介绍了 CHORD，这是一个利用从人类演示中提取的以物体为中心的接触力矩引导，来实现长程灵巧操控的可扩展强化学习框架，该框架在大规模仿真基准测试中实现了高成功率，并展示了强大的泛化能力和现实世界迁移能力。

原作者： Xinghao Zhu, Zixi Liu, Shalin Jain, Chenran Li, Milad Noori, Huihua Zhao, John Welsh, Michael Andres Lin, Wei Liu, Tingwu Wang, Xingye Da, Zhengyi Luo, Vishal Kulkarni, Naema Bhatti, Yuke Zhu, Linxi F

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinghao Zhu, Zixi Liu, Shalin Jain, Chenran Li, Milad Noori, Huihua Zhao, John Welsh, Michael Andres Lin, Wei Liu, Tingwu Wang, Xingye Da, Zhengyi Luo, Vishal Kulkarni, Naema Bhatti, Yuke Zhu, Linxi Fan, Bowen Wen, Danfei Xu, Soha Pouya, Yan Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个拥有极其灵巧双手（像人类一样）的机器人如何执行复杂的任务，例如打开一个棘手的盒子、搅拌浓稠的面糊或翻动书页。你有一段人类完美完成这些任务的视频。问题在于，机器人的手形状不同，关节数量也不同，触摸物体的位置也与人类不同。如果你只是告诉机器人：“完全模仿人类的手部动作，”它将会失败，因为它的手在物理上无法达到或移动到同样的位置。

这篇论文介绍了一种名为 CHORD（来自人类演示的接触力矩引导，Contact Wrench Guidance from Human Demonstration）的新方法来解决这个问题。以下是其工作原理的简单解释：

核心问题：“复制了错误的东西”

把人类的手和机器人手想象成两种不同的乐器。如果人类弹钢琴，他们的手指会按下特定的琴键。如果你试图让小提琴做出完全相同的指法动作，它发出的声音是不对的。

以往的方法试图通过将人类手指的位置与物体进行匹配来教导机器人。它们说：“如果人类的拇指触摸了盒子的左上角，那么你的机器人拇指也必须触摸左上角。”

缺陷： 有时，即使机器人的拇指触摸了同一个左上角，也会因为机器人的手指形状不同，导致把盒子推向错误的方向，或者从上面滑落。虽然位置相同，但效果是错误的。

解决方案：关注“推力”，而非“触碰”

CHORD 改变了问题的切入点。它不再问“人类在哪里触摸？”，而是问：“那次触摸对物体做了什么？”

我们使用了一个概念叫做接触力矩空间（Contact Wrench Space）。想象每一次手触摸物体时，都会产生一种特定的“推力和扭转力”。

类比： 想象一扇门。你可以推门把手（位置 A），也可以推门的边缘（位置 B）。这是两个不同的位置，但如果你都朝正确的方向推，它们都能让门转动开启。
CHORD 的妙招： 它忽略了机器人在哪里触摸，而是专注于触摸所产生的力和扭转（即“力矩/wrench”）。它告诉机器人：“你不需要触摸与人类完全相同的点，你只需要创造出相同的摆动动作（比如门转动的动作）即可。”

这使得机器人能够找到自己独特的触摸物体的方式，只要结果（物体运动正确）与人类的目标相符即可。

他们是如何教导机器人的（“健身房”）

为了训练机器人，研究人员不仅仅使用了几段视频。他们构建了一个庞大的数字健身房（模拟环境），其中包含 4,739 个不同的任务。

这些任务涵盖了从简单的事情（拿起一个杯子）到复杂的长序列任务（打开一个盒子，取出一种工具，然后使用它）。
他们使用人类完成这些任务的视频作为“参考指南”。
机器人在这个模拟器中进行了数百万次的练习，尝试去匹配人类动作的“力和扭转”，而不是仅仅模仿他们的手指位置。

结果：全能大师

当他们在 1,831 个不同任务上测试机器人时：

成功率： 机器人的平均成功率达到了 82%。这比以往的方法有了巨大的提升。
多功能性： 它在刚性物体（如锤子）、关节类物体（如带合页的门）甚至需要双手协作的任务中都能奏效。
现实世界： 他们将机器人从计算机中带出来，应用到了真实的机器人上。它在“开环”（执行预设序列）和“闭环”（对正在发生的世界做出反应）模式下都表现出色。

额外奖励：教导全身动作

这种方法非常灵活，即使你只向机器人展示人类手部的视频（而不展示身体部分），它也能奏效。机器人可以计算出如何移动其整个身体，以便将手部置于正确的姿态，从而产生必要的力。它甚至可以处理从第三人称视角拍摄的视频（从房间另一头观察某人），即便这些视频中的手部动作有些模糊。

总结

简而言之，CHORD 教会了机器人成为创造性的问题解决者，而不仅仅是盲目的模仿者。它不是强迫机器人模仿人类精确的手指摆放，而是教会机器人模仿动作背后的物理特性。这使得机器人能够利用其独特的身体来实现与人类相同的目标，使其在处理复杂的现实世界物体时表现得更加出色。

技术摘要：利用人类演示中的接触力矩引导学习灵巧操控 (CHORD)

问题陈述

将人类演示转化为机器人灵巧操控策略仍然是一个重大挑战。虽然人类演示提供了丰富的技能数据，但由于人类与机器人之间的形态差异，现有方法往往在可扩展性和迁移性方面表现不佳。仅仅重放人类手部运动是无效的，因为运动学、几何形状和接触点的差异要求机器人必须利用不同的动作来实现对物体的相同功能效果。

当前的方法面临两个主要局限：

脆弱的假设： 许多基于优化的方法依赖于关于如何转移演示的刚性假设，当机器人的形态与人类演示者显著不同时，这些方法往往会失效。
可扩展性问题： 表征学习方法通常需要针对每个特定任务和物体进行对齐的人机数据，这限制了它们在通用、长时程任务中的应用，而非仅限于策划的特定场景。

核心问题在于：如何从人类演示中学习可迁移且可扩展的任务知识，并考虑到对刚体和关节类物体的接触密集型、长时程操控。

方法论：CHORD 框架

作者提出了 CHORD（通过人类演示中的接触力矩引导进行机器人灵巧操控），这是一个强化学习 (RL) 框架，它通过关注以物体为中心的接触力矩空间而非原始运动学位置，来弥合人机差距。

1. 以物体为中心的力矩空间表征

CHORD 不匹配 3D 接触位置（这取决于手部形态），而是通过接触对物体产生的**力与力矩（力矩/Wrenches）**来表征交互。

力矩矩阵 (Wrench Matrix)： 对于每个接触点，系统使用单位量级边缘力的多面体锥来近似库仑摩擦锥。这些力生成代表能够诱导物体运动的原始力矩 ( $w \in \mathbb{R}^6$ )。
支撑函数 (Support Function)： 为了在人类和机器人接触点数量或顺序不同的情况下进行比较，该方法使用了一个支撑函数。它将力矩矩阵投影到一组预采样的单位方向上，生成一个支撑向量 ( $\sigma$ )。这使得直接比较接触产生的诱导运动能力成为可能。

2. 奖励函数构建

策略使用复合奖励函数 $r = r_{task} + r_{imit} + r_{contact} + r_{VOC}$ 进行训练：

任务奖励 ( $r_{task}$ )： 鼓励展开过程遵循参考物体的运动（位姿及部件间的关系）。对于多物体任务，在交互阶段会添加相对奖励，以确保精确的几何关系（例如插入、倾倒）。
模仿奖励 ( $r_{imit}$ )： 将机器人运动正则化向重定向后的人类运动靠拢。
接触力矩空间奖励 ( $r_{cws}$ )： 这是核心贡献。它通过相对容差 $\beta$ 将机器人的支撑函数 ( $\sigma_{r,k}$ ) 与人类参考 ( $\sigma_{h,k}$ ) 进行比较。它奖励那些诱导出的力矩处于人类演示特定范围内的接触，并惩罚未达到的接触以及多余的非预期接触。
虚拟物体控制器 (VOC)： 在训练早期使用辅助控制器施加力矩，使物体沿参考轨迹运动，从而平滑探索景观。该控制器随时间逐渐退火。

3. 鲁棒性与泛化

处理噪声数据： 对于从 RGB 视频重建且接触估计存在噪声的演示，CHORD 会切换到简化力闭合目标 (reduced force-closure objective)。该目标奖励在力矩空间基方向上产生正向支撑的行为，而不需要精确匹配，从而有效地学习实现力闭合。
全身扩展： 该框架可扩展至全身操控。对于仅有手部的参考（如第一视角），使用补全模块预测全身运动。对于第三人称参考，则使用简化力闭合目标来处理不准确的手指重建。

4. 基准测试构建

作者构建了一个大规模仿真基准，包含 4,739 个双臂灵巧操控任务。这些任务源自开源运动捕捉数据集和内部重建的视频，涵盖了：

单个及多个刚体对象。
关节类对象。
长时程和高密度接触事件。

核心贡献

CHORD 框架： 一种新型 RL 框架，通过接触力矩空间引导将人类演示迁移到灵巧机器人策略，实现了跨多样化形态的可扩展学习。
大规模基准测试： 一个精心策划的数据集，包含 4,739 个长时程、双臂操控任务，涵盖刚体、关节类及多物体交互，规模和复杂度显著高于以往基准。
实证验证： 通过全面的评估，证明了其在仿真中的卓越性能以及向现实世界硬件的成功迁移。

结果

论文报告了以下定量和定性结果：

仿真性能： 在 1,831 个基准任务上进行评估，CHORD 的平均成功率达到了 82.12%。它在原有的任务集及新基准测试中均优于先前的基线方法（ManipTrans, DexMachina, SPIDER）。
全身操控： 当扩展到全身操控（使用仅手部或第三人称演示）时，CHORD 达到了 90.77% 的成功率。
奖励消融实验： 对比“接触力矩”与“仅位置”及“无接触”奖励的实验表明，力矩空间引导至关重要。例如，在“使用搅拌器”任务中，CHORD 达到了 89.4% 的成功率，而“仅位置”下降至 62.4%，“无接触”下降至 42.3%。
相关性： 观察到接触力矩支撑奖励与任务成功率之间存在强正相关（Pearson $r \approx 0.80$ ），验证了该奖励作为操控质量可靠代理指标的有效性。
长时程稳定性： 在长达 48 秒的时程内，CHORD 保持了高跟踪精度（ADD-AUC $\approx 0.85-0.98$ ），而基线方法随着任务长度增加而性能显著下降。
现实世界部署： 在仿真中训练的策略成功迁移到配备两个 Sharpa 灵巧手的真实 Dexmate 机器人上，在开环和闭环设置下均能处理刚体和关节类物体。

意义与主张

论文声称 CHORD 解决了灵巧操控学习中的根本性扩展瓶颈。通过将对齐度量从运动学位置（具有体现特异性）转向接触力矩（对于诱导物体运动而言具有体现无关性），该框架允许机器人从人类演示中学习，而无需针对特定任务的机器人数据或完美的形态对齐。

作者强调，这种方法实现了：

可扩展性： 在无需为每个任务重新设计奖励函数的情况下，学习数千个多样化任务。
鲁棒性： 通过关注接触的机械效应，处理噪声演示和形态不匹配（例如人类 5 指手与机器人 3 指手）。
泛化性： 成功地将技能从手部演示迁移到全身体现，并从仿真环境迁移到现实世界。

这项工作将接触力矩引导定位为超越简单抓取、迈向需要协调、长时程策略的复杂、高接触密集型操控任务的必要抽象。