💻 computer science

ContactMimic: Humanoid Object Interaction via Contact Control

ContactMimic 是一个通过显式追踪二进制接触指令以及关键点轨迹来增强类人对象交互的学习框架，从而实现精确的物理接触以及在多种操纵任务中的按需接触可控性。

原作者： Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人跳舞。长期以来，教机器人跳舞最好的方法是给它一段人类舞者的视频，并对它说：“模仿这些精确的身体姿态。”机器人会移动它的关节，以完美匹配人类的臀部、手肘和膝盖。

但问题在于：仅仅模仿舞蹈的形状是不够的。

如果一名人类舞者在白板附近挥手，他们只是在挥手。如果他们把手按在白板上，他们就是在擦拭。如果机器人只观察手的位置，它可能会在白板旁边挥手，并认为自己做得很好，尽管它实际上并没有进行任何清洁工作。这就像试图通过站在门旁边而不是去碰门把手来开门一样。

这就是名为 CONTACTMIMIC 的新项目背后的核心理念。研究人员发现，要让机器人真正胜任诸如坐下、擦拭或推家具等任务，你不能只告诉它在哪里，你必须告诉它是否接触物体。

“触碰”的魔法开关

团队构建了一个系统，不再仅仅是给机器人一条路径让它跟随，而是给了它一个开关。这个开关是针对机器人身体每个部位的一个简单的“是/否”标签。

开关开启 (接触 ✔)： “好了，机器人，我希望你的手压在那块白板上。”
开关关闭 (接触 ✘)： “好了，机器人，移动你的手到完全相同的位置，但不要碰到板子。只是悬停在那里。”

在测试中，他们展示了通过这个开关，同一个机器人可以完成完全相同的舞蹈动作，却能改变其行为模式。它可以坐在椅子上并向后靠，也可以坐在同一把椅子上而不接触靠背；它可以拿起一个盒子，也可以仅仅保持着拿盒子的手势而不实际拿起它。

为什么这很难？

你可能会想：“为什么不直接教机器人自然地去触摸物体呢？”研究人员发现了一个隐蔽的数据陷 else（陷阱）。

当人类与物体互动时，他们的身体姿势和触摸行为通常是紧密耦合的。如果一个人坐在椅子上，他们的臀部总是接触着座垫。如果一个人擦拭黑板，他们的手总是接触着表面。因此，如果你只是向机器人展示数千段人坐着的视频，机器人就会学习到：“哦，如果臀部在这个位置，臀部一定是在接触椅子的。”它会停止听从“接触”指令，因为它认为位置已经说明了一切。

为了解决这个问题，团队必须发挥创意。他们对训练数据进行了打破规则的操作：

“幽灵”物体： 他们拿了一段某人擦拭黑板的视频，但告诉机器人：“那块板不存在。”机器人必须学会将手移动到黑板的位置，但不接触任何东西。
“膨胀”物体： 他们在模拟中把物体做得更大（就像充气气球一样），这样机器人就必须绕过物体移动手部，即使“接触”指令说应该接触物体。
“虚假”触摸： 他们拿了一段机器人本该触摸的视频，但告诉它：“不要触摸”，反之亦然。

通过这种混合方式，他们迫使机器人停止根据位置进行猜测，转而开始真正听从“接触”开关的指令。

成功了吗？

团队在名为 Unitree G1 的真实机器人（一台拥有 29 个关节的人形机器人）以及计算机模拟中测试了该系统。

在模拟中： 他们运行了 10 种不同的任务，如踢椅子、踩在椅子上和拿起一个盒子。当他们将开关切换到“接触”时，机器人产生了接触；当他们切换到“无接触”时，机器人停止了接触。机器人甚至可以通过被告知去“触摸”来拿起一个盒子，而不需要任何特殊的“拿起盒子”指令。
在现实世界中： 他们测试了五种真实的动作，包括擦拭白板和靠在椅背上。
- 当被告知要擦拭时，机器人的手压力足够大，足以在板上留下可见的痕迹。
- 当被告知要悬停时，手移动到了相同的位置，但没有留下痕迹。
- 当被告知要靠时，机器人将重量靠在了椅背上。当被告知不要靠时，它保持直立并靠自身平衡。

结果令人印象深刻。在现实世界中，机器人在大多数任务中遵循接触指令的成功率达到了 90% 到 100%（例如，在靠在靠背的任务中，10 次中有 9 次成功；在擦拭黑板的任务中，5 次全中）。

它目前还做不到什么

论文非常明确地说明了这不是什么。

它不是一个可以用一个大脑完成任何任务的“通用”机器人。研究人员为每种特定的动作都训练了一个单独的“大脑”（策略）。他们目前还没有找到如何让一个单一的机器人同时完成所有这些事情的方法。
它依赖于高质量的人类与物体互动的视频。他们没有使用来自互联网的随机视频；他们使用的是一个名为 HUMOTO 的特定数据集。
他们没有在机器人的皮肤上使用特殊的触觉传感器。相反，机器人通过感知自身的肌肉和关节（本体感受）来判断自己是否正在触摸物体。他们证明了这行得通，因为如果要求一个简单的计算机程序根据机器人的内部感觉来猜测“机器人是否正在接触”，该程序几乎在所有时候都是正确的（在大多数任务中的 F1 分数约为 0.90 到 0.99）。

总结

论文表明，如果你想让机器人从事有用的物理工作，你不能只告诉它去哪里。你必须明确告诉它是否要接触。通过在训练期间打破“位置”与“接触”之间的联系，他们教会了机器人去听从一个简单的开关。这是迈向那些不仅看起来在执行任务，而且通过做出正确的物理接触来真正完成任务的机器人的重要一步。

技术摘要：CONTACTMIMIC

问题陈述

目前的类人全身运动协调系统主要依赖于追踪关键点轨迹（运动学目标）来模仿人类动作。然而，对于许多有用的交互任务——例如坐在椅子上、擦拭白板或推家具——成功的定义不仅在于机器人的姿态，还在于与环境建立明确的物理接触。

现有的追踪器通常只能重现动作的形状，却无法建立必要的物理接触（例如，只是在黑板附近挥手，而不是擦拭黑板）。因此，这些系统不足以执行任务，并且通常需要通过特定任务的奖励进行微调才能实现成功。此外，当前的方法缺乏在部署期间显式控制“应当进行接触”还是“应当抑制接触”的能力，这限制了它们在同一运动几何结构需要不同接触行为时的通用性（例如，坐在椅子上与不接触椅子的蹲姿）。

方法论

作者提出了 CONTACTMIMIC，这是一个能够实现显式、测试时可控接触行为以及关键点追踪的学习框架。该系统构建在三个核心支柱之上：

1. 接触条件策略 (Contact-Conditioned Policy)

策略 $\pi_\theta(a_t | p_t, \bar{k}_t, \bar{c}_t)$ 接收三个输入：

本体感受 ( $p_t$ )： 机器人的内部状态。
关键点目标 ( $\bar{k}_t$ )： 各身体部位的参考轨迹。
二值接触标签 ( $\bar{c}_t$ )： 一个随时间步变化的、针对每个身体部位的映射表，指示是否希望与特定物体部件发生接触 (1) 或抑制接触 (0)。

策略输出目标关节角度，并通过 PD 控制器转换为力矩。值得注意的是，该系统并不使用显式的接触传感器作为输入；它依赖本体感受来推断运行时的接触状态。

2. 奖励设计

为了训练策略遵循接触指令，作者在标准的追踪和正则化项之外，引入了感知接触的奖励：

接触标签匹配奖励 ( $r^{lm}_t$ )： 鼓励策略匹配指令中的接触状态（机器人身体部位与物体表面之间的真阳性率和真阴性率）。使用了两种变体：平衡准确率（默认）和 TP-FP（针对稀疏接触动作）。
接触距离奖励 ( $r^{cd}_t$ )：
- 正向项： 鼓励旨在接触物体的身体部位保持在靠近表面的状态。
- 负向项： 如果旨在“不接触”物体的身体部位过于接近物体（在阈值 $\delta$ 之内），则进行惩罚。

3. 用于打破相关性的数据增强

一个关键的挑战是，在原始的人机交互数据中，关键点轨迹与接触模式是强相关的（特定的动作通常意味着特定的接触模式）。如果进行朴素训练，策略可能会忽略接触指令，仅从关键点中推断接触。

为了缓解这一问题，作者提出了一个增强方案，生成具有相似关键点结构但具有不同接触标签的运动对：

接触标签翻转 (Contact-Label Flipping)： 保留原始轨迹，但翻转接触标签，从而惩罚机器人与物体发生接触的行为。
物体移除 (Object Removal)： 从模拟中移除交互物体，并将接触标签强制设为零，同时保持关键点轨迹完整。
膨胀几何 (Inflated Geometry)： 在重定向过程中膨胀物体的碰撞网格，以迫使机器人绕行，从而创建一个自然不发生接触的扰动轨迹，并将其标记为零。

这些增强后的运动对迫使策略去关注显式的接触指令，而不是仅仅从几何形状中推断接触。

核心贡献

显式接触控制： 一个允许单一策略针对同一关键点轨迹，在实现物理接触与抑制接触之间进行切换的框架，实现了对交互行为（如带靠背支撑的坐姿与无支撑的坐姿）的精细控制。
无任务驱动的操作： 仅通过追踪关键点和接触轨迹即可完成物体操作任务（如搬运箱子），无需特定任务的奖励。
数据工程策略： 证明了通过特定的增强手段（翻转、移除、膨胀）来打破关键点与接触之间的相关性，对于学习真正的接触条件行为是必要的。
本体感受推断： 发现该策略能够仅通过本体感受隐式地学习并推断运行时的接触状态，从而消除了推理阶段对外部接触传感器的需求。

实验结果

该框架在 Unitree G1 类人机器人在模拟和现实世界中进行的 10 种多样化人机交互动作（如擦拭、坐下、靠背、踢、捡箱子）上进行了评估。

接触可控性： 在模拟和现实测试中，策略成功遵循了接触指令。当被指令接触时 ( $\checkmark$ )，机器人建立了物理接触（例如，擦拭白板、靠在靠背上）。当被指令抑制接触时 ( $\times$ )，机器人保持了相同的姿态几何，但避免了接触。
与基准对比： 与 BeyondMimic（一种最先进的仅基于关键点的追踪器）相比，CONTACTMIMIC 在保持相当的关键点追踪精度 (MPJPE) 的同时，显著提高了接触指标（接触部位和冲量）。BeyondMimic 无法为操作任务建立必要的物理接触。
消融实验： 移除所提出的数据增强策略会导致接触可控性显著下降，证实了增强方案对于解耦接触行为与关键点几何结构是至关重要的。
现实世界迁移： 该策略成功迁移到真实的 Unitree G1 机器人上，在五种不同的动作（如擦拭、坐下、靠背）中展示了鲁棒的接触可控性，并具有较高的成功率。

意义与主张

论文声称 CONTACTMIMIC 代表了迈向让类人机器人有目的地而非偶然地与世界进行交互的一步。通过引入显式的接触调节，作者提供了一个表达接触密集型任务的简单且通用的接口。

其重要性在于：

解耦几何与接触： 证明了接触行为可以独立于运动的几何轨迹进行控制。
消除特定任务奖励： 展示了通过简单地匹配接触和关键点轨迹，即可学习复杂的操控任务，从而无需手工设计的任务奖励。
可扩展性： 该方法表明，单一的策略架构可以通过简单地切换标签来处理多样化的交互模式（接触 vs 非接触），为开发更通用、更具适应性的类人机器人提供了路径。

作者也承认了局限性，包括目前仍需为每个动作训练单独的策略（而非通用追踪器）、依赖高质量的人机交互数据集 (HUMOTO)，以及仅在单一机器人平台上进行评估。未来的工作建议解决跨动作的联合训练以及使用野外视频数据的问题。