Weave: Learning Whole-Body Dexterous Loco-Manipulation from Human-Object Interactions
Weave 是一个统一的框架，它通过将人类演示转化为可执行的参考轨迹（通过具备接触感知能力的重定向技术实现），并利用具备几何感知能力的策略，使人形机器人能够学习全身灵巧的运动控制与操作，从而在已训练及未见过的交互场景中均实现高成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
为了制造出能够穿行于人类世界的机器人，工程师们面临着一个远比仅仅教机器走路或抓取物体更为复杂的协调问题。机器人必须同时完成这两项任务，而且通常是在搬运一个会改变其重心并改变平衡方式的物体时。这被称为“全身操控”（loco-manipulation），这个术语描述了在移动身体的同时，利用双手操纵物体的艰巨任务。对于机器人而言，若要取得成功，它不能将行走和抓取视为两个独立的任务；如果它在伸手去拿椅子时没有调整脚步，它就会摔倒。如果它在走向桌子时没有规划好手指将如何接触桌面，它就会无法举起桌子。挑战在于，如何教会机器理解它的整个身体——从脚部到指尖——必须作为一个统一的、平衡的整体来与物理世界进行交互。
研究人员长期以来一直尝试通过展示人类动作来教导机器人，这一过程被称为模仿学习（imitation learning）。然而，直接复制人类动作往往会失败，因为机器人的身体形状和关节运动方式与人类不同。人类可以像那样扭转手腕，而机器人却做不到；或者机器人的手指可能太僵硬，无法模仿人类柔软的触感。此外，以往大多数教授机器人处理物体的方法，要么侧重于身体的大幅度运动，要么侧重于手的精细运动，极少将两者结合在一个统一的系统中。这一差距意味着，虽然机器人可以学会走路或学会握住杯子，但它们在处理复杂的日常任务时却显得力不从心，例如走近一个沉重的物体，稳固地抓取它，然后将其搬运到某处，而不至于掉落或摔倒。
一组研究人员推出了一种名为 WEAVE 的新系统来解决这一特定问题。他们的方法始于记录真实人类与日常物体（如椅子、箱子和桌子）进行交互的过程。这些录像捕捉了人在接近、抓取和移动物品时的完整动作。随后，研究人员将这些人类动作转化为机器人可以理解并执行的格式。这种转化并非简单的复制粘贴，而是一种尊重机器人物理极限的精细重建。系统首先填补了动作中缺失的部分，例如机器人为了接近物体而需要采取的步伐，这些步骤在原始的人类录像中并不存在。然后，它调整了人类的手部动作以适配机器人的特定手指，确保机器人的抓握在物理上是可行且强度足以支撑物体的。至关重要的是，该系统密切关注手指接触物体的精确位置，从而保留了使抓握稳定的接触点。
在创建了这些参考动作后，研究人员训练了一个单一的计算机程序，即“策略”（policy），来从中学习。该程序旨在控制机器人全身的每一个关节，包括躯干和腿部的二十九个关节，以及两只手中的十二个关节。研究人员并没有为每种类型的物体训练单独的程序，而是将这一个程序同时应用于多种不同的物品和交互风格。机器人在模拟环境（一个数字世界，在那里它可以进行数千次练习而不损坏任何东西）中学习。它学习观察参考动作，并尝试与之匹配，同时实时调整其平衡感和手指压力，以保持物体稳固。训练过程非常严格，涉及对机器人的摩擦力和重量进行随机变化，以确保它能应对突发状况。
训练结果令人印象深刻。当在训练期间见过的特定物体和动作上进行测试时，机器人的任务成功率达到了 92.5%。更重要的是，该系统展现出了强大的泛化能力。当研究人员使用相同的物体，但在不同的角度或以不同的动作进行测试从未见过的动作序列时，机器人依然能以 65.0% 的成功率完成任务，且无需额外训练。这表明机器人学到的是一种与物体交互的通用策略，而非仅仅是记忆特定的动作。研究人员还发布了一个包含这些成功动作的大型数据集，总计约 23 小时的机器人活动记录，以帮助其他科学家研究机器人如何学习与物理世界进行交互。
这项研究强调，通过同时学习全身协调，能最有效地让机器人学会处理物体。通过对多种不同物体进行共同训练，机器人发现了共同的模式，例如在抬起重箱子时如何平衡重量，或者在伸手拿高灯时如何安置双脚。这种统一的方法比为每个物体训练专门的专家更为成功。研究人员发现，虽然专门针对某一特定物品的“专家”在模仿该物品的精确姿势方面可能略胜一筹，但“通才型”机器人则在更广泛的情况下完成任务的能力要强得多。这表明，适应新形状和新情况的能力比完美模仿单一动作更具价值。
尽管取得了这些成功，研究人员也明确指出了这项工作的局限性。整个研究都是在计算机模拟中进行的，这意味着机器人从未真正接触过现实世界。该系统依赖于对机器人和物体位置的完美认知，而在传感器数据可能存在噪声的现实世界中，这种信息并不总是可获得的。此外，模拟中使用的机器人其手部并不完全灵活，限制了其能进行的抓握复杂度。研究人员还指出，他们的系统需要遵循预先规划好的动作序列；它目前还不具备自主决定要拿起什么以及带往何处的决策能力。这些是该领域的下一步方向，未来的系统需要将这种物理技能与理解复杂指令以及在不可预测的现实世界中导航的能力相结合。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。