MoDeSuite: Robot Learning Task Suite for Benchmarking Mobile Manipulation with Deformable Objects

想象一个机器人不再仅仅是只能推动沉重、僵硬木箱的笨拙方块的世界。想象它们是灵巧的助手，能够系鞋带、叠衣服或在挂满窗帘的房间里穿行。这就是**移动操作（mobile manipulation）的前沿领域——这一机器人学领域结合了两种高难度技能：移动（像狗或汽车一样）和使用手臂抓取物体（像人类一样）。虽然机器人在移动刚性物体（如箱子或门）方面已经做得相当出色，但它们在处理可变形物体（deformable objects）**时仍然表现得极其糟糕。这些物体会挤压、拉伸、弯曲或晃动，比如橡皮筋、湿毛巾或一段绳子。因为这些物体每当你触摸它们时都会改变形状，对于试图预测下一步会发生什么的计算机程序来说，它们简直是噩梦。如果机器人无法处理一条松软的毯子，它就无法真正进入我们杂乱的现实家庭中提供帮助。

这正是名为 MoDeSuite 的新项目介入的地方。把它想象成一个专门为训练机器人处理“松软之物”而设计的、高科技的“电子游戏”。研究人员创建了一个充满八种不同挑战的数字游乐场，从将具有弹性的带子拖过障碍物，到在不撞倒桌上餐具的情况下从桌上拉下桌布。他们用两类机器人测试了这个游乐场：一种是带轮子的（像带有机械臂的智能吸尘器），另一种是带腿的（一只看起来像狗的四足机器人）。目标是观察机器人是否能学习如何将它们的身体与手臂协同工作，以解决这些“软乎乎”的谜题。结果表明，虽然机器人在计算机游戏中可以学会这样做，但将它们转移到现实世界仍然是一个棘手的业务，尤其是在感知和应对视觉变化方面。

论文的故事：教机器人与“松软之物”共舞

这篇论文介绍了 MoDeSuite，这是第一个标准化的“任务套件”（一组挑战集合），旨在基准测试机器人在移动的同时处理弯曲和拉伸物体的能力。在此之前，研究人员必须为每一个新实验构建自己的定制模拟环境，这使得比较不同的机器人或学习方法变得非常困难。MoDeSuite 通过提供一个高质量的共享数字环境解决了这个问题，任何人都可以用它来测试机器人的学习算法。

该套件包含八个截然不同的任务，涵盖了两类主要的“松软”材料：

1. 弹性物体（Elastic objects）： 会拉伸并回弹的物体，如橡皮筋或泡沫棒。
2. 塑性物体（Plastic objects）： 会垂坠和折叠但不回弹的物体，如窗帘、桌布或绳索。

这些任务的设计非常具有挑战性。例如，在**“弯曲”（Bend）任务中，机器人必须携带一根长而有弹性的杆通过一个 L 形走廊。如果机器人移动太快或握持方式不对，杆可能会撞到墙壁。在“拖拽”（Drag）任务中，机器人必须将一条有弹性的带子抬起并越过障碍物，然后将其放置在另一侧，同时保持自身平衡。在“窗帘”（Curtain）**任务中，机器人必须拉开悬挂的窗帘并穿过开口，同时不撞到窗帘。这些任务迫使机器人协调其底座（轮式或足式）与其手臂，利用物体的灵活性而非与之对抗。

为了测试该系统是否有效，作者在模拟器中训练了四种不同的“学习大脑”（算法）。其中两种是**强化学习（Reinforcement Learning, RL）算法，通过试错法学习，试图获得高分；另外两种是模仿学习（Imitation Learning, IL）**算法，通过观察人类（或键盘控制器）执行任务并尝试模仿其动作来学习。

他们在模拟中的发现：
机器人在数字世界里的表现出奇地成功。PPO 算法（一种 RL 算法）在大多数任务中的表现普遍优于 SAC 算法。然而，机器人的类型至关重要。轮式机器人（安装在 Ridgeback 底座上的 Franka 机械臂）发现这些任务更容易；而足式机器人（波士顿动力的 Spot）则表现得更为挣扎，经常失去平衡或在狭窄空间内撞到墙壁。这表明，在操纵松软物体时保持机器人的平衡是一个巨大的挑战，尤其是对于足式机器而言。

现实世界测试（Sim-to-Real）：
论文中最令人兴奋的部分是当他们将训练好的机器人从计算机带到真实的地面上时发生了什么。他们将策略部署到一台真实的 Spot 机器人上，且没有进行任何额外的微调。

• 使用“状态（State）”数据时： 当机器人使用直接传感器数据（确切知道物体在 3D 空间中的点位）时，迁移效果令人印象深刻。对于“放置（Place）”和“拖拽（Drag）”任务，真实机器人的成功率达到了 90% 到 100%，非常接近其在模拟中的表现。它能在现实世界中成功地将橡胶带拖过障碍物。
• 使用“图像（Image）”数据时： 当机器人尝试仅通过摄像头图像（就像人类观察世界一样）进行学习时，它遇到了困难。对于“窗帘（Curtain）”任务，即使机器人在模拟中表现良好，但在现实世界中却完全失败了。研究人员发现，机器人的“眼睛”看到的模拟世界与现实世界完全不同。视觉差距太大，导致机器人如果不经过额外训练，就无法跨越这个鸿沟。

这意味着什么：
这篇论文并不声称已经解决了移动操作处理可变形物体的问题。相反，它提供了一个至关重要的全新工具：一个标准化的、具有挑战性的基准测试，它揭示了当前机器人在哪里成功，又在哪里失败。它证明了机器人可以在模拟中学习操纵松软物体，并且这种知识可以迁移到现实世界，但前提是机器人拥有关于物体形状的精确信息。如果机器人仅依赖于摄像头所看到的内容，那么模拟与现实之间的“恐怖谷”依然深不可测，难以逾越。

作者建议，未来的工作需要专注于帮助机器人更好地理解视觉数据，并提高足式机器人在处理重物或松软负载时的稳定性。通过向公众开放这个“MoDeSuite”，他们希望加速研究进程，将“一个能帮你叠衣服或解开耳机线”的机器人梦想变为现实。