M3-Tele: A Unified Multimodal Teleoperational Framework for Compliant Whole-Body Mobile Manipulation

能够在房屋中移动并拿起物品的机器人长期以来一直是科幻小说中的梦想，但要将这一梦想变为现实，需要解决一个复杂的物理难题。要真正发挥作用，机器人必须同时完成两件事：在杂乱的房间中导航，并温柔地操纵物体而不将其损坏。这需要在移动身体与感知所接触的世界之间取得微妙的平衡。如果机器人推力过大，可能会撞倒花瓶；如果动作过于僵硬，它就无法打开抽屉或擦拭干净表面。为了让机器人从人类身上学习这些技能，人类必须能够以一种感觉自然且具有灵敏度的水平来引导它，同时机器人必须能够倾听自身的传感器，并实时调整其抓握力和压力。如果没有这种感知和适应的能力，用于教导机器人的数据往往是笨拙且不一致的，导致机器日后难以学习复杂的任务。

深圳技术大学的研究人员开发了一种名为 M3-Tele 的新系统来解决这个问题。他们构建了一个框架，允许人类使用智能手机控制移动机械臂，但有一个关键的转折点：该系统旨在感知机器人与世界之间的接触。机器人配备了特殊的传感器，安装在其抓取器上，这些传感器可以观察到当手指的软垫接触物体时挤压程度的变化，同时还有传感器可以测量施加在手腕上的压力。当人类操作员引导机器人擦拭白板或打开抽屉时，系统并不仅仅是盲目地跟随手的路径。相反，它会不断检查压力和抓取器的挤压情况，自动调整机器人的运动，以保持接触的轻柔与稳定。这创造了一种平滑、响应迅速的体验，使机器人表现得像一个顺应性的伙伴，而非一台僵硬的机器。

团队在四个从简单到困难不同的任务上测试了该系统。他们要求志愿者使用该系统进行捡起方块、旋转长条、拉开抽屉和擦拭白板的操作。结果显示，新系统在保持机器人与物体接触且不丢失抓握或施加过大力量方面表现显著优于以往。当研究人员将他们的系统与不使用这些力觉调节功能的旧方法进行比较时，差异非常明显。新控制器将追踪目标力的误差从超过 4 牛顿降低到了不到 0.35 牛顿。在实际应用中，这意味着机器人可以更精确地对表面保持稳定的压力。此外，该系统防止了机器人意外失去与物体的接触，将抓握滑脱的次数从每次尝试接近 2.5 次降低到了几乎为零。

研究还调查了该系统的易用性。研究人员发现，向操作员提供关于机器人触感的反馈，使任务感觉更加直观。用户对这种具备反馈功能的界面易用性的评分显著高于标准控制方法，得分约为 8.4（满分 10 分），而基础版本仅为 5.8。这表明，当人类可以通过控制器“感觉到”机器人所感受到的东西时，他们就能更有效地引导它。该系统在所有不同任务中都表现良好，成功完成了挑战性的擦拭任务 80% 的次数，以及较简单的任务高达 94% 的次数。这种可靠性至关重要，因为这意味着机器人可以收集到足够一致的高质量演示数据，以便用于训练。

最后，研究人员利用该系统收集的数据，通过一种被称为扩散策略（diffusion policy）的学习方法，教会机器人如何自主擦拭黑板。他们测试了当机器人能够获取所有感官信息（摄像机视图、力测量和触觉挤压数据）时，是否比仅依靠摄像机学习效果更好。实验表明，当机器人结合了这三种信息时，学到了最有效的擦拭行为。即使研究人员只给学习算法提供少量的触觉数据，触觉和力传感器组合的效果也比单纯依靠视觉能让机器人更好地理解任务。这证实了对于需要涉及物理接触的任务，机器人需要通过捕捉不仅是“看到”而是精确捕捉“如何感受世界”的数据来进行教学。这项工作表明，通过将这些感官集成到控制系统中，我们可以制造出不仅能在我们的家中移动，而且足够温柔且精准以与其中物体进行交互的机器人。