Imaginez une main robotique essayant de ramasser un œuf fragile, un citron glissant ou un marteau lourd. Contrairement à un humain, dont les doigts ressentent instinctivement la texture, le poids et la glissance d'un objet pour ajuster la prise en une fraction de seconde, un robot s'appuie généralement sur des caméras ou des instructions préprogrammées. Si l'objet bouge ne serait-ce qu'un peu, ou si la surface est plus lisse que prévu, le robot perd souvent sa prise. Pendant des décennies, des scientifiques ont tenté d'apprendre aux robots à manipuler des objets avec la même dextérité qu'une main humaine, une tâche qui nécessite de coordonner des dizaines de minuscules articulations et de réagir à un contact physique constant. Le défi n'est pas seulement de déplacer la main vers un point, mais de maintenir un équilibre de pression délicat et changeant pendant que l'objet tourne, roule ou glisse dans la prise.

Une équipe de chercheurs de Sharpa Robotics a développé une nouvelle approche pour résoudre ce problème, en se concentrant sur la manière dont un robot peut apprendre à réorienter des objets — les retourner ou les faire pivoter — en utilisant le sens du toucher comme guide principal. Leurs travaux, présentés dans une étude intitulée TacBPM, abordent un goulot d'étranglement spécifique de l'apprentissage robotique : la difficulté d'apprendre à une machine à découvrir la bonne séquence de mouvements des doigts sans rompre le contact ou lâcher l'objet. Au lieu de forcer le robot à apprendre chaque mouvement à partir de zéro, les chercheurs ont créé un « a priori de comportement » (behavior prior), qui agit comme une bibliothèque fondamentale de mouvements riches en contacts et sécurisés. Cette bibliothèque est construite en entraînant le robot sur de nombreuses tailles de sphères, lui apprenant comment faire rouler et tenir des objets de différentes échelles. L'innovation clé est que cette bibliothèque n'est pas seulement un ensemble d'instructions visuelles ; elle est conditionnée par le retour tactile, ce qui signifie que le système de guidage interne du robot vérifie constamment ce que ses doigts ressentent pour décider de la prochaine étape.

Les chercheurs ont entraîné leur système en utilisant une méthode appelée distillation, où ils ont pris huit politiques d'experts différentes, chacune spécialisée pour une sphère d'une taille spécifique allant de très petite à grande, et ont compressé leurs connaissances dans un contrôleur unique et compact. Ce contrôleur ne génère pas de commandes motrices brutes pour les vingt-deux articulations de la main du robot. Au lieu de cela, il génère une action « latente » de haut niveau, qui est une instruction simplifiée représentant un motif de mouvement sûr et stable en termes de contact. Le robot apprend ensuite à effectuer de petits ajustements à cette instruction en fonction de la tâche spécifique demandée. En gardant le guidage tactile central figé et en permettant seulement au robot d'apprendre de petites corrections, le système évite l'essai-erreur chaotique qui fait habituellement lâcher les objets aux robots. L'étude montre que lorsqu'on donne au robot un nouvel objet qu'il n'a jamais vu auparavant, comme un bloc, une bouteille ou un outil de forme irrégulière, il peut tout de même réussir car il s'appuie sur les motifs tactiles appris grâce aux sphères.

Dans une série de tests, les chercheurs ont évalué si cette approche pouvait gérer des objets qui n'étaient pas des sphères et des tâches plus complexes qu'une simple rotation. Ils ont demandé au robot de tourner des objets vers des angles spécifiques, de les faire pivoter autour d'axes spécifiques, et même d'effectuer une séquence complète consistant à saisir un objet, le soulever, le déplacer et le placer dans une nouvelle position. Comparé aux robots qui tentaient d'apprendre ces tâches à partir de zéro en déplaçant leurs articulations de manière aléatoire, le système TacBPM a obtenu des performances nettement supérieures. En simulation, l'approche standard échouait souvent à trouver une manière stable de tenir l'objet, entraînant des chutes ou des positions bloquées, tandis que le système conditionné par le tactile réussissait les tâches dans la grande majorité des tentatives. Par exemple, lorsqu'on demandait de faire pivoter un bloc ou une bouteille vers une orientation cible, la nouvelle méthode atteignait des taux de réussite proches de quatre-vingt-dix pour cent, alors que la méthode standard peinait à atteindre ne serait-ce que dix pour cent.

L'étude a également testé le système sur un véritable bras robotique équipé de la même main dextre. Sans aucun entraînement supplémentaire sur le matériel physique, la politique apprise en simulation a été transférée directement dans le monde réel. Le robot a saisi avec succès divers outils, notamment un marteau en caoutchouc et une brosse bleue, les a soulevés et les a déplacés vers des positions cibles. Il a également réussi à faire pivoter des objets comme une balle de tennis et un bloc d'angle selon des directions spécifiques, suivant des commandes pour tourner à gauche, à droite, en haut ou en bas. Lors de ces essais en conditions réelles, le robot utilisant l'a priori tactile a réussi à faire pivoter un bloc d'angle de plus de six cents degrés en une seule tentative, tandis que d'autres méthodes échouaient souvent à maintenir le contact ou perdaient l'objet entièrement. Les chercheurs ont noté que le système était particulièrement robuste lorsque la forme ou la taille de l'objet changeait, suggérant que le guidage tactile aidait le robot à s'adapter à de nouvelles géométries sans avoir besoin de réapprendre les bases de la tenue d'un objet.

L'une des découvertes les plus significatives fut que le système fonctionnait même lorsque le robot devait manipuler des objets qu'il n'avait jamais vus lors de l'entraînement. Les chercheurs ont testé le robot sur des formes telles qu'une poubelle, une fraise et un bloc multifacette, dont aucun n'avait été utilisé pour construire la bibliothèque initiale de mouvements de sphères. Le robot a pu généraliser ses connaissances, utilisant les motifs tactiles appris des sphères pour comprendre comment saisir et faire pivoter ces articles inconnus. Cela suggère que le sens du toucher fournit un langage universel pour la manipulation qui transcende les formes spécifiques. L'étude a également exploré un scénario où le robot devait suivre des commandes compactes, telles que « pivoter autour de l'axe vertical », plutôt que de recevoir un angle final spécifique. Le système a appris à interpréter ces directions et à ajuster ses mouvements de doigts en conséquence, maintenant une prise stable pendant que l'objet tournait.

Les chercheurs ont veillé à montrer que le succès de leur méthode dépendait fortement de l'information tactile. Lorsqu'ils ont supprimé les capteurs de toucher du système et se sont appuyés uniquement sur la position des articulations du robot, les performances ont chuté de manière significative, surtout pour les objets glissants ou de forme irrégulière. Cela a confirmé que le robot avait besoin de « sentir » l'objet pour savoir quand ajuster sa prise ou changer de stratégie. L'étude a également démontré que le système pouvait être adapté à différents types de robots. Dans un test distinct impliquant un bras et une main travaillant ensemble, le même paradigme d'entraînement a permis au robot de saisir, soulever et transporter divers outils, prouvant que l'approche pouvait passer à l'échelle au-delà d'une simple main pour des corps robotiques plus complexes.

Le travail ne prétend pas avoir résolu tous les problèmes de manipulation robotique, et les chercheurs reconnaissent qu'il existe des limites quant à la capacité du système à s'extrapoler à des objets qui sont très différents des exemples d'entraînement. Par exemple, lorsque le robot a dû manipuler une sphère nettement plus grande que toutes celles qu'il avait vues, son taux de réussite a diminué, indiquant que le système possède encore des limites. Cependant, les résultats montrent clairement qu'en ancrant l'apprentissage du robot dans le retour tactile et en fournissant une base stable de comportements riches en contacts, il est possible d'enseigner aux machines à manipuler des objets avec un niveau de dextérité qui était auparavant hors de portée. L'étude suggère que l'avenir de la manipulation robotique ne réside peut-être pas dans l'enseignement au robot de voir chaque détail d'un objet, mais dans l'apprentissage de la façon de tâter son chemin à travers la tâche, en utilisant le toucher comme guide principal pour la stabilité et le contrôle.