LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

Imaginez un monde où le travail le plus délicat, répétitif et précis d'un laboratoire de chimie n'est pas effectué par une main humaine, mais par une machine. Pendant des décennies, les scientifiques ont rêvé d'automatiser ces espaces pour accélérer la découverte, mais les robots que nous avons construits jusqu'à présent sont souvent maladroits. Ils sont équipés de préhenseurs simples, semblables à des pinces, qui peuvent saisir une boîte ou un bloc, mais ils ont du mal avec les mouvements nuancés et fluides requis pour manipuler un tube à essai en verre, verser un liquide sans en renverser ou remuer une solution avec une tige fine. Pour progresser, les chercheurs avaient besoin d'un moyen d'enseigner aux machines le type de dextérité qu'un humain possède : la capacité d'utiliser ses doigts pour sentir, ajuster et manipuler des objets avec soin. C'est le défi de la « manipulation dextre », un domaine qui cherche à donner aux robots des mains capables de faire plus que simplement tenir des objets ; ils doivent être capables d'accomplir des tâches complexes à étapes multiples qui exigent un toucher délicat et une main stable.

Dans une nouvelle étude, une équipe de chercheurs a créé un nouveau terrain d'essai massif pour résoudre ce problème, spécifiquement pour les laboratoires de chimie. Ils l'appellent LabDex. Au lieu de simplement demander à un robot de ramasser un seul objet, les chercheurs ont organisé l'ensemble du travail de laboratoire en une hiérarchie claire à trois niveaux. Au bas se trouvent les « compétences atomiques », qui sont les mouvements minuscules et fondamentaux comme saisir une tige de verre, verser de l'eau ou secouer un tube. Le niveau suivant est celui des « compétences compositionnelles », où le robot doit enchaîner plusieurs de ces petits mouvements pour accomplir une fonction unique, comme ramasser un bécher, verser son contenu et le reposer. Enfin, au sommet se trouvent les « flux de travail à long horizon », qui sont des expériences complètes nécessitant au robot d'exécuter une longue séquence d'actions différentes pour parvenir à un résultat scientifique final. En décomposant le travail de cette manière, l'équipe a pu voir exactement là où un robot réussit et là où il échoue, plutôt que de simplement regarder si l'expérience finale a fonctionné ou non.

Pour construire ce benchmark, les chercheurs ont construit un système unifié qui fonctionne à la fois dans le monde réel et dans une simulation informatique. Dans leur laboratoire physique, ils ont utilisé un bras robotisé équipé d'une main sophistiquée à plusieurs doigts, qui ressemble et se déplace beaucoup comme une main humaine. Un opérateur humain, portant des gants de données spéciaux et utilisant des dispositifs de suivi de mouvement, a téléopéré le robot pour lui faire accomplir ces tâches en le guidant physiquement à travers les mouvements. Le robot a enregistré chaque mouvement, chaque angle de caméra et chaque position d'articulation, créant une bibliothèque de milliers de démonstrations. Ils ont ensuite traduit ces leçons du monde réel dans un environnement virtuel, permettant de tester l'apprentissage du robot dans un espace numérique sûr et reproductible avant de l'essayer à nouveau sur le matériel réel. Cette double approche garantit que les données ne sont pas seulement une collection de chiffres, mais une représentation fidèle des réalités physiques d'un laboratoire de chimie.

Les chercheurs ont ensuite mis à l'épreuve plusieurs des systèmes d'apprentissage robotique les plus avancés en utilisant ce nouveau benchmark. Ils ont observé ces systèmes tenter d'apprendre les tâches à partir des données de démonstration. Les résultats étaient révélateurs. Bien que certains des modèles les plus récents et les plus avancés puissent accomplir avec succès les tâches simples à étape unique — comme ramasser un bécher ou le poser sur une table avec une grande précision — ils éprouvaient des difficultés significatives lorsqu'on leur demandait d'enchaîner ces étapes. Lorsque les tâches devenaient plus complexes, nécessitant au robot de verser un liquide d'un récipient à un autre puis de remettre le récipient en place, les taux de réussite chutaient drastiquement. Le modèle le plus capable a réussi à accomplir en moyenne 0,73 compétence atomique par tâche multi-parties, mais aucun des modèles n'a été capable de terminer la séquence entière d'une expérience complète de manière autonome.

Un examen plus approfondi des échecs a montré que le problème n'était pas seulement de commettre une erreur une seule fois ; il s'agissait de la manière dont une petite erreur au début du processus ruinaient tout ce qui suivait. Par exemple, si un robot réussissait à ramasser un entonnoir mais le tenait selon un angle légèrement erroné, il échouerait à l'insérer dans un flacon, et toute l'expérience s'arrêterait. L'étude a révélé que les robots étaient particulièrement mauvais pour manipuler des objets longs, fins ou en verre, tels que les tubes à essai et les éprouvettes graduées. Ces objets sont sensibles à l'endroit exact où les doigts les touchent, et les robots manquaient de contrôle fin pour ajuster leur prise en temps réel. De plus, lorsque les chercheurs ajoutaient des objets supplémentaires sur la table qui ressemblaient au sujet cible, les robots devenaient confus, saisissant souvent le mauvais article ou ne parvenant pas à agir du tout.

L'équipe a également testé l'efficacité avec laquelle ces robots pouvaient apprendre à partir de plus de données. Ils ont découvert que le simple fait de montrer au robot plus d'exemples de la façon de réaliser une tâche aidait, mais seulement jusqu'à un certain point. Les modèles les plus avancés se sont nettement améliorés lorsqu'ils voyaient des centaines de démonstrations plutôt que seulement quelques-unes, suggérant que ces systèmes ont besoin d'une vaste quantité d'expérience pour apprendre les différences subtiles entre un versement réussi et un renversement. Cependant, même avec ces données supplémentaires, les robots ne pouvaient toujours pas accomplir de manière fiable les longues expériences complètes qu'un chimiste humain peut faire avec aisance. L'étude conclut que bien que nous ayons progressé dans l'enseignement aux robots l'exécution de mouvements individuels simples, la capacité de combiner ces mouvements en un flux de travail stable, fiable et durable reste un obstacle majeur.

Ce travail ne prétend pas avoir résolu le problème du laboratoire autonome. Il fournit plutôt une carte précise de l'endroit où la route est bloquée. En montrant exactement quelles compétences manquent et comment les erreurs dans une étape se propagent en cascade pour ruiner tout le processus, les chercheurs ont donné à la communauté scientifique une cible précise pour les améliorations futures. Le benchmark LabDex sert de jauge standard, permettant à différentes équipes de mesurer leurs progrès par rapport au même ensemble de tâches difficiles du monde réel. C'est un rappel que construire un robot capable de réellement travailler dans un laboratoire exige plus qu'un bras puissant ; cela exige une main capable de penser, de sentir et de s'adapter, tout comme les mains humaines qui accomplissent ce travail depuis des siècles.