Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space

想象一下，你正试图教一只机械手玩杂耍、转动硬币，或者在握持的同时重新排列一副扑克牌。这就是**灵巧操控（dexterous manipulation）**的世界，科学家们试图让机器人像人类手指一样灵活。长期以来，工程师们试图通过编写完美的数学方程来解决这个问题，这些方程精确地描述了每一个手指、弹簧和摩擦力应该如何表现。但现实生活是混乱的：橡胶会打滑，金属会弯曲，摩擦力也会变化，因此这些完美的数学模型在机器人实际尝试移动时往往会失效。

最近，科学家们开始使用一种不同的技巧，叫做强化学习（Reinforcement Learning, RL）。你可以把它想象成一款电子游戏，机器人是其中的角色，通过不断尝试来学习。如果它掉落了物体，就会面临“游戏结束”，然后重新开始；如果它成功了，就会得到一个分数。问题在于，如果没有引导，机器人的学习速度会非常慢。它可能会偶然发现一种“作弊码”，比如把物体抛向空中再接住；或者它可能会以一种看起来像错误的方式掉落物体，但实际上对学习毫无帮助。机器人会陷入不稳定且危险动作的循环中，因为它并不理解维持物体不坠落的基本物理规则。

这篇题为《在非掉落动作空间中学习稳定的抓握内操控》（Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space）的论文提出了一种聪明的折中方案。作者并没有让机器人从零开始学习，也没有完全依赖完美的数学模型，而是建议给机器人一套基于坚实物理学的“辅助轮”系统。他们采用了一种已知的稳定持物方法，并以此构建了一个安全的游乐场。在这个游乐场内，机器人可以自由实验并变得更优秀，但在物理上是不可能掉落物体或损坏其手指的。结果是，与以往相比，机器人学习操控物体的速度更快、更准确，同时也更加安全。

机器人手的“辅助轮”

来自日本九州大学的研究团队解决了机器人领域的一个特定难题：如何教机器人如何在握持物体的同时进行移动而不松手。他们称之为“抓握内操控”（in-grasp manipulation）。想象一下，你手里拿着一个网球，试图旋转它让上面的 Logo 面向你，同时确保你的手指不会滑脱。

论文指出，试图使用纯强化学习来教机器人这项技能，就像是在悬崖边教一个蹒跚学步的幼儿开车赛车。机器人最终可能会学会开车，但在此之前很可能会发生很多次撞车。在强化学习领域，这被称为“长尾不稳定性问题”（long-tail instability problem）。机器人会找到一些看似有效但实际上会在瞬间导致物体掉落的怪异且不稳定的移动方式。作者发现，当机器人掉落物体时，学习过程会变得混乱，因为它不知道失败的原因，并且会在本不该出错的地方浪费时间去尝试修复。

解决方案：一个安全的沙盒

为了解决这个问题，作者并没有抛弃数学，只是改变了使用数学的方式。他们从一种经过验证的物理方法——FTODG（基于手指-拇指对掌性的动态抓握）开始。你可以把 FTODG 想象成一位非常严格且聪明的老师，它确切知道如何握住物体以确保永不掉落。这位老师利用关于力和平衡的具体规则来保持物体的稳定。

然而，这位“老师”也有缺陷：它有点僵化。它可以完美地握住物体，但在精确移动物体到新位置或按特定方式旋转方面表现不佳。这就像一位能防止你从自行车上摔下来的老师，却无法教你如何玩“翘头”。

论文的核心思想是将老师与学生结合起来。他们创建了一个名为 TSIGL（理论稳定抓握内学习）的系统。其工作原理如下：

1. 安全区： 他们构建了一个“稳定动作空间”。想象一个带有高墙的沙盒。在沙盒内部，机器人可以自由移动手指，尝试各种旋转或移动物体的方式。
2. 安全网： 他们使用了一种名为**控制障碍函数（Control Barrier Functions, CBFs）**的数学工具。你可以把它们想象成围绕沙盒的隐形力场。如果机器人尝试做出会导致掉落物体或过度挤压物体的动作，力场会立即停止该动作，并将其温柔地推回安全位置。
3. 学习： 机器人（使用强化学习）被允许仅在这个安全区域内进行探索。它通过微调手指的力量和速度来学习寻找移动物体的最佳方式，但它永远不必担心“游戏结束”这种掉落物体的场景。

研究发现

团队在名为“Shadow Dexterous Hand”的机械手模拟器中测试了这个想法。他们教会了机器人三种技能：用三根手指握住物体、在不松手的情况下将物体移动到新位置，以及旋转物体。

结果非常清晰且令人印象深刻。当他们让机器人不带“安全沙盒”进行学习（使用标准的端到端学习）时，机器人掉落了物体数千次。在一项测试中，标准方法在尝试学习旋转易拉罐时掉落了 3,138 次。相比之下，带有安全网的 TSIGL 方法掉落物体的次数为 0 次。

因为机器人从未在失败的尝试上浪费时间，所以它学习得更快。在模拟中，TSIGL 机器人达到了连续 42 次成功的记录，而标准方法在掉落物体之前甚至连连续一两次都做不到。此外，一旦机器人学会了这项技能，它的表现甚至比原始的物理老师（FTODG）本身还要好。机器人学会了通过精准调整握力来移动物体，其精度超过了僵化的数学模型。

为什么这很重要

作者谨慎地指出，这项研究目前是在计算机模拟中进行的，尚未在真实的物理机器人上进行测试。然而，模拟结果表明，通过将物理安全性与学习的灵活性相结合，机器人可以更高效地学习复杂技能。

论文明确反对了仅仅依靠强化学习本身来解决这些问题的观点，并证明了如果没有“安全网”，学习过程会过于缓慢且不稳定。他们还展示了仅仅添加一个“掉落惩罚”（告诉机器人“不要掉落”）是不够的；机器人在学习过程中仍会找到漏洞导致掉落。他们发现，真正解决问题的唯一方法是物理性地约束机器人的动作，使得掉落物体在数学上成为不可能。

简而言之，这篇论文表明，教机器人变得灵巧的最佳方式不是让它在失败中挣扎，而是给它一个安全的游乐场，让它在受到物理定律保护的同时，通过练习直到掌握这项技能。