RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

Enseigner à un robot à utiliser deux mains comme un humain est l'un des défis les plus difficiles de la robotique moderne. Pour apprendre des tâches complexes comme plier du linge, ouvrir un bocal ou porter une boîte lourde, un robot a besoin de voir des milliers d'exemples de la façon de le faire. Dans le monde réel, la collecte de ces exemples est lente, coûteuse et souvent dangereuse. Si un robot fait tomber un verre, il se brise ; s'il renverse une pile d'assiettes, le nettoyage est une corvée. C'est pourquoi les scientifiques se sont tournés vers les simulations informatiques. Ils construisent des mondes virtuels où les robots peuvent s'entraîner des millions de fois sans rien casser. Cependant, un problème majeur a freiné ce domaine : la plupart des simulations sont comme des pièces fermées avec des meubles fixes. Vous pouvez faire circuler le robot dans la pièce autant que vous le souhaitez, mais vous ne pouvez pas facilement ajouter un nouvel objet, comme une tasse à café spécifique appartenant à l'utilisateur, ou changer la disposition de la pièce. Pour ce faire, un ingénieur humain doit généralement passer des heures à reconstruire manuellement la forme de l'objet, définir sa masse et déterminer exactement où les doigts du robot doivent le toucher. Ce travail manuel est si lent qu'il empêche la création des ensembles de données massifs et diversifiés nécessaires pour enseigner aux robots comment être véritablement adaptables.

Une équipe de chercheurs a introduit un nouveau système appelé RoboCousin qui résout ce goulot d'étranglement en transformant la simulation en un atelier ouvert et extensible. Au lieu de forcer le robot à n'apprendre qu'à partir d'une liste d'objets pré-sélectionnés, ce système permet à un utilisateur de prendre une simple photographie de n'importe quel objet ou une description d'une pièce et de la transformer instantanément en un modèle 3D réaliste et interactif pour que le robot puisse s'entraîner avec. Le système ne crée pas seulement une belle image ; il détermine automatiquement les propriétés physiques de l'objet, telles que son poids et la glissance de sa surface, et il calcule les meilleurs endroits où les pinces du robot doivent le saisir. Ce processus transforme une image plate en un « cousin numérique » — une version virtuelle qui ressemble et agit comme la chose réelle, mais qui est assez flexible pour être mélangée à d'autres objets et arrière-plans afin de créer d'innombrables nouveaux scénarios d'entraînement.

Les chercheurs ont construit ce système sur une plateforme de simulation existante et ont ajouté un pipeline qui gère tout, de la photo initiale au mouvement final du robot. Lorsqu'un utilisateur fournit une image d'un objet, le système l'isole d'abord de l'arrière-plan et reconstruit sa forme tridimensionnelle. Il utilise ensuite l'intelligence artificielle pour deviner les traits physiques de l'objet, tels que sa masse et sa friction, garantissant que le robot interagit avec lui de manière réaliste. Crucialement, le système identifie automatiquement les « points de contact », qui sont les endroits spécifiques sur l'objet où une main de robot peut saisir l'objet de manière sûre et efficace. Dans les configurations traditionnelles, un humain devrait marquer manuellement ces points pour chaque objet, un processus fastidieux qui limite le nombre d'objets pouvant être ajoutés. Dans ce nouveau système, l'ordinateur le fait instantanément. Le résultat est une bibliothèque de plus de 3 000 instances d'objets différents et 50 environnements d'arrière-plan différents, tous prêts à être utilisés par le robot.

Pour rendre l'entraînement encore plus robuste, le système crée des « cousins numériques ». Alors qu'un « jumeau numérique » est une copie exacte et rigide d'une scène réelle, un cousin numérique est une variation qui conserve les relations importantes mais change les détails. Par exemple, si un robot doit apprendre à ramasser une bouteille sur une table, le système peut générer une scène où la bouteille est d'une couleur différente, la table est d'un matériau différent, ou l'arrière-plan est une cuisine plutôt qu'un salon, tant que la bouteille est toujours posée sur la table d'une manière qui fait sens. Cette approche enseigne au robot le concept central de la tâche plutôt que de simplement mémoriser une configuration spécifique. Le système s'étend également au niveau de la pièce. Il peut planifier un chemin pour qu'un robot mobile navigue à travers une maison virtuelle, approche une table, puis effectue la tâche de manipulation, le tout au sein d'une seule simulation continue. Cela permet au robot d'apprendre non seulement comment bouger ses bras, mais aussi comment bouger tout son corps pour atteindre la tâche.

L'équipe a testé si cette approche automatisée fonctionne réellement dans le monde réel. Ils ont généré plus d'un million de trajectoires d'entraînement en utilisant le système, puis ont entraîné un robot physique doté de deux bras pour effectuer des tâches spécifiques. Les résultats ont été frappants. Lorsque le robot a été entraîné sur des objets que le système avait automatiquement reconstruits à partir d'images, il a performé aussi bien, et dans certains cas mieux, que lorsqu'il a été entraîné sur des objets qui avaient été soigneusement fabriqués à la main par des experts humains. Par exemple, dans une tâche consistant à ramasser une bouteille, le taux de réussite est passé de 40 pour cent à 80 pour cent en utilisant les ressources du nouveau système. De plus, lorsque le robot a été entraîné sur une variété de scènes « cousines » plutôt que sur une copie exacte d'une pièce, il est devenu bien meilleur pour gérer de nouvelles situations. Dans un test impliquant le ramassage d'un étui à lunettes, un robot entraîné sur une seule scène exacte a totalement échoué, tandis que celui entraîné sur les diverses scènes cousines a réussi 55 pour cent du temps.

Les chercheurs ont également vérifié que les suppositions automatiques de l'ordinateur sur l'endroit où saisir un objet étaient précises. Ils ont comparé les points de saisie suggérés par le système à un ensemble de points qui avaient été soigneusement marqués par des humains. Les suggestions de l'ordinateur étaient légèrement meilleures, atteignant un taux de réussite de 76 pour cent en simulation contre 72 pour cent pour les points marqués par l'homme. Cela prouve que le système peut remplacer le processus manuel et lent d'annotation des objets par un processus automatisé rapide qui est au moins aussi fiable. En reliant la capacité de transformer les observations du monde réel en ressources de simulation avec la capacité de générer des scénarios d'entraînement diversifiés, RoboCousin offre une voie pratique vers l'avenir. Il suggère que l'avenir de l'apprentissage des robots ne nécessite pas d'attendre que les ingénieurs construisent chaque nouvel objet à la main, mais repose plutôt sur des systèmes capables de comprendre instantanément et de s'adapter au monde complexe et varié dans lequel nous vivons.