OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction
OmniRetarget 是一个利用交互网格（interaction mesh）来克服具身差距并保留关键人-物/环境关系的交互保持型数据生成引擎，旨在无需复杂学习课程的情况下，高效创建用于开发鲁棒的长程类人运动与操控及跑酷技能的高质量训练数据。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想教一个机器人做跑酷、搬着一把重椅子上坡，或者爬墙。你可以尝试手动编写每一个肌肉动作的程序，但这就像试图通过写一本关于水阻力的物理教科书来教一个人游泳一样。这太难了，也太慢了。
相反，OmniRetarget 背后的研究人员决定让机器人通过观察人类完成动作来学习。但问题在于：人类和机器人的外观非常不同。如果你只是把人类的动作直接复制到机器人身上，机器人可能会出现双脚在地上打滑（像在滑冰）、腿部穿过椅子，或者关节发生不可能的扭曲等情况。
OmniRetarget 是一个修复这一问题的“神奇翻译器”。它是如何工作的，以下是使用简单类比的解释：
1. “交互网格”（隐形的蜘蛛网）
把人类、机器人、椅子和地面想象成被一个隐形的、有弹性的蜘蛛网连接在一起。
- 问题： 当人类移动时，这张网会自然地拉伸。如果你只是把人类的姿态复制到机器人身上，这张网会断裂或撕裂，因为机器人的身体部位位置不同。
- 解决方案： OmniRetarget 构建了一个数字“交互网格”（一个 3D 网格），将人类的关节与他们接触的物体连接起来。在将人类动作转换为机器人动作时，系统会通过拉伸和收缩这个网格来适应机器人的身体，但它能保持网格的完整性。
- 结果： 如果人类的手正在触摸一把椅子，那么在新的版本中，机器人的手也必须触摸那把椅子。如果人类的脚稳稳地踩在地上，机器人的脚也会保持站稳。它防止了机器人“穿模”穿过物体或发生打滑。
2. “严厉的教练”（硬约束）
在过去，这些转换系统就像是一个这样的教练：“尽量看起来像人类，但如果稍微穿过地板也没关系。”
OmniRetrix 是一个严厉的教练。它使用一套不可逾越的规则（数学约束）来规定：
- “你的脚不能滑动。”
- “你的身体不能穿过椅子。”
- “你的关节不能向后弯曲。”
它通过解一个复杂的谜题，找到一种既看起来像人类运动，又遵守所有物理定律的机器人运动方式。
3. “一对多”复印机（数据增强）
通常，为了教机器人拿起一个红盒子，你需要人类演示拿起一个红盒子的过程。要教它拿起蓝盒子，你需要一段新的演示。
OmniRetarget 就像一台智能复印机。
- 你展示给它一次人类演示（例如：拿起一个盒子）。
- 系统会自动生成数百种新的变体：拿起一个高盒子、一个矮盒子、在不同位置的盒子，甚至是爬上一个更高的平台。
- 它通过在保持核心运动逻辑不变的前提下，通过数学手段重新塑造“蜘蛛网”来适应这些新场景。这使得仅凭几段人类视频就能创造出一个庞大的训练数据库。
巨大的胜利：从模拟到现实
研究人员使用该系统通过强化学习（一种试错学习方法）来训练一个机器人（Unitree G1 人形机器人）。
- 训练： 由于数据非常干净且符合物理规律，机器人只需要 5 个简单的规则（奖励）就能学会。它不需要复杂的、混乱的指令来纠正错误。
- 结果： 机器人学会了完成一个 30 秒的跑酷课程，其中包括搬着一把椅子、踩在上面、跳下并翻滚。
- 零样本迁移（Zero-Shot Transfer）： 这是最令人印象深刻的部分。机器人在计算机模拟中使用这些转换后的动作完成了学习。当他们在现实世界中开启机器人时，它立即就能投入使用，无需任何额外调优。它不需要“重新学习”如何在真实的混凝土上行走；它已经知道该怎么做了。
总结
简而言之，OmniRetarget 解决了人类与机器人之间的“具身差异”（embodiment gap）。它提取人类动作，将其包裹在一个受保护的、符合物理规律的“网”中，以确保这些动作对机器人来说是有意义的，然后利用这一点来生成无穷无尽的练习场景。这使得机器人能够快速学习复杂的敏捷技能（如跑酷和物体操控），并将这些技能成功地从计算机转移到现实世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。