LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

想象一个这样的世界：化学实验室中最细腻、最重复且最精密的工作不再由人类之手完成，而是由机器完成。几十年来，科学家们一直梦想着实现这些空间的自动化以加速科学发现，但我们目前制造的机器人往往显得笨拙。它们配备的是简单的、类似钳子的夹持器，可以抓取盒子或方块，但在处理玻璃试管、倾倒液体而不洒出、或用细棒搅拌溶液等需要微妙、流体动作的任务时却显得力不从心。为了取得进展，研究人员需要一种方法来教会机器拥有人类那样的灵巧性——即利用手指去感知、调整并小心翼翼地操纵物体的能力。这就是“灵巧操纵”（dexterous manipulation）的挑战，这一领域旨在赋予机器人不仅仅是“握住”东西的手，还要让它们能够执行复杂的、多步骤的任务，这些任务需要轻柔的触感和稳定的手感。

在一项新的研究中，一个研究小组创建了一个全新的大规模测试场来解决这个问题，专门针对化学实验室。他们将其命名为 LabDex。研究人员并没有仅仅要求机器人拿起单个物体，而是将整个实验室工作的范畴组织成一个清晰的三层层级结构。底层是“原子技能”（atomic skills），即微小的、基础的动作，如抓取玻璃棒、倒水或摇晃试管。上一层是“组合技能”（compositional skills），机器人必须将这些微小的动作串联起来以完成单一功能，例如拿起烧杯、倾倒其内容物并将其放下。最后，顶层是“长程工作流”（long-horizon workflows），即完整的实验，要求机器人执行一系列不同的动作序列以达成最终的科学结果。通过这种方式分解工作，研究团队可以准确地看到机器人在哪里成功，又在哪里失败，而不仅仅是观察最终实验是否成功。

为了构建这个基准测试，研究人员构建了一个在现实世界和计算机模拟中都能运行的统一系统。在他们的物理实验室中，他们使用了一个配备了先进的多指手的机器人手臂，这个手看起来并动起来都非常像人类的手。一名操作员戴着特殊的感应手套并使用动作捕捉设备，通过物理引导机器人完成这些动作来进行远程操控。机器人记录了每一次移动、每一个摄像视角和每一个关节位置，从而创建了一个包含数千次演示的库。随后，他们将这些现实世界的经验教训转化为虚拟环境，使他们能够在尝试实际硬件之前，在安全、可重复的数字空间中测试机器人的学习情况。这种双重方法确保了数据不仅仅是数字的集合，而是对化学实验室物理现实的忠实呈现。

研究人员随后使用这个新基准测试对几种最先进的机器人学习系统进行了测试。他们观察了这些系统如何尝试从演示数据中学习任务。结果令人警醒。虽然一些较新的、更先进的模型可以成功执行简单的单步任务——比如高精度地拿起烧杯或将其放在桌子上——但当被要求将这些步骤串联起来时，它们却表现得非常吃力。当任务变得更加复杂，需要机器人将液体从一个容器倒入另一个容器并返回原容器时，成功率大幅下降。最强大的模型平均在每个多部分任务中仅能完成 0.73 个原子技能，而且没有任何一个模型能够独立完成整个实验序列。

对失败原因的深入观察表明，问题不仅仅在于犯了一次错误，而在于早期过程中的一个小错误是如何毁掉后续所有环节的。例如，如果机器人拿起了漏斗，但持握角度略有偏差，它就会无法将其插入烧瓶，导致整个实验停止。研究发现，机器人特别不擅长处理长而细或由玻璃制成的物体，如试管和量筒。这些物体对手指触摸的位置极其敏感，而机器人缺乏实时调整抓握姿态的精细控制能力。此外，当研究人员在桌上添加了外观相似的目标物体时，机器人会变得困惑，经常抓错物品或完全无法采取行动。

团队还测试了这些机器人从更多数据中学习的能力。他们发现，仅仅向机器人展示更多任务示例确实会有所帮助，但仅限于一定程度。最先进的模型在看到数百次演示而非仅仅几次演示时有了显著进步，这表明这些系统需要大量的经验来学习“成功的倾倒”与“洒出的倾倒”之间的微妙区别。然而，即使有了这些额外数据，机器人仍然无法像人类化学家那样可靠地完成完整的长程实验。研究结论认为，虽然我们在教机器人执行单个简单动作方面取得了进展，但如何将这些动作组合成稳定、可靠且持久的工作流，仍然是一个主要的障碍。

这项工作并不声称已经解决了自动化实验室的问题。相反，它提供了一张清晰的路线图，指明了道路在哪里被阻断。通过精确展示哪些技能缺失以及一个步骤中的错误如何连锁反应导致整个过程失败，研究人员为科学界提供了一个精准的改进目标。LabDex 基准测试作为一个标准标尺，允许不同的团队在同一套困难的现实任务中衡量各自的进展。它提醒我们，要制造出一个真正能在实验室工作的机器人，需要的不仅仅是一条强壮的手臂；它需要一只能够像思考、感知和适应一样去“思考”、去“感觉”和去“适应”的手，就像那些从事这项工作的双手传承了几个世纪一样。