Imaginez que vous essayez d'apprendre à un robot comment porter une boîte géante et de forme irrégulière. Vous pourriez vous dire : « Montre simplement au robot le mouvement de tes mains ! » Mais voici le piège : quand les humains portent des objets volumineux, nous n'utilisons pas seulement nos doigts. Nous serrons la boîte contre notre poitrine, nous nous appuyons dessus avec nos coudes et nous la pressons contre nos flancs pour la stabiliser. Pendant longtemps, les robots ont été comme des danseurs maladroits qui ne savent bouger que le bout de leurs doigts, ignorant complètement le reste de leur corps. C'est un problème dans le monde de l'« apprentissage robotique », où les scientifiques essaient d'enseigner aux machines en leur montrant quoi faire, un peu comme un enfant apprend à faire du vélo en regardant un parent. La grande question que se posent les chercheurs est la suivante : comment apprendre à un robot à utiliser tout son corps pour toucher, tenir et déplacer des objets, tout comme le fait un humain ? Pour ce faire, ils ont besoin d'un moyen de capturer non seulement les mouvements des mains du robot, mais aussi la sensation d'un objet lourd pressant contre sa poitrine ou son bras.

Entrez en scène TWINS, un nouveau système ingénieux qui agit comme un « double corporel » de haute technologie pour les robots. Voyez cela comme un costume porté par un opérateur, qui ressemble et bouge exactement comme le robot qu'il veut enseigner. Mais ce n'est pas seulement un costume ; c'est une combinaison sensorielle complète. Lorsque la personne dans le costume serre une boîte contre elle ou s'appuie sur un mur, la combinaison ressent cette pression, et parce que le robot est un « jumeau » exact avec la même taille et les mêmes articulations, il apprend exactement ce que ce contact signifie. Les chercheurs ont découvert qu'en utilisant ce système, ils pouvaient apprendre aux robots à effectuer des tâches complexes — comme suspendre une serviette sur un bras ou tenir un panier contre la poitrine — qui étaient auparavant impossibles à enseigner parce que les robots ne pouvaient pas « ressentir » le contact avec leur corps. Ils ont réussi à collecter des données sur ces contacts de surface corporelle et les ont utilisées pour entraîner le robot à accomplir ces mêmes tâches de manière autonome, prouvant que si vous donnez à un robot un moyen de ressentir tout son corps, il peut manipuler le monde de manière beaucoup plus naturelle.

Le Problème : Des robots avec un « cerveau uniquement tactile des doigts »

Pendant des années, les robots ont été capables de bouger leurs mains pour ramasser une tasse ou ouvrir une porte. C'est ce qu'on appelle la « manipulation de l'effecteur terminal », une façon sophistiquée de dire « utiliser l'outil au bout du bras ». Mais la vie réelle est désordonnée. Parfois, vous devez porter un objet volumineux qui ne tient pas dans une pince. Vous pourriez devoir le bercer contre votre poitrine, le suspendre à votre coude ou le presser contre votre avant-bras pour l'empêcher de glisser. Les humains font cela naturellement, mais les robots éprouvent des difficultés car ils n'ont généralement que des caméras pour voir le monde. Les caméras sont excellentes pour voir ce que quelque chose ressemble, mais elles sont très mauvaises pour savoir exactement avec quelle force quelque chose presse le bras ou la poitrine d'un robot.

Pour enseigner ces compétences aux robots, les scientifiques utilisent généralement l'« apprentissage par imitation ». C'est comme montrer à un robot une vidéo d'un humain effectuant une tâche et lui demander de copier les mouvements. Mais il y a un obstacle : la plupart des systèmes utilisés pour enregistrer ces vidéos ne suivent que les mains ou les articulations du robot. Ils manquent le « contact de la surface corporelle » — la sensation d'un objet reposant sur une épaule ou un bras. Sans cette information, le robot ne sait pas pourquoi il doit bouger son bras d'une certaine manière, ou quand il doit lâcher prise. C'est comme essayer d'apprendre à jongler en regardant seulement le bout des balles, sans voir comment vos mains les tiennent réellement.

La Solution : Le costume « Jumeau »

Les auteurs de cet article, Takahide Kitamura et son équipe, ont construit un système appelé TWINS (Tactile Wearable Isomorphic Arm Networked System) pour résoudre ce problème. Le nom est un peu long à prononcer, mais l'idée est simple : c'est un système de deux jumeaux identiques.

1. Le dispositif à deux bras portable : C'est une combinaison qu'un opérateur humain porte. Elle possède deux bras qui ressemblent exactement aux bras du robot, avec les mêmes articulations et la même taille. Lorsque l'humain l'enfile, il peut tendre les bras et toucher des objets exactement comme le robot le fera plus tard.
2. Le robot isomorphe : Il s'agit du robot réel. « Isomorphe » est un mot scientifique qui signifie « même forme ». Ce robot est construit pour être le miroir parfait de la combinaison portable. Il possède les mêmes angles articulaires, les mêmes longueurs de bras et les mêmes dimensions de poitrine.

La magie opère grâce à cette correspondance parfaite. Lorsque l'humain dans la combinaison se penche en avant et presse une boîte contre sa poitrine, les capteurs de la combinaison ressentent cette pression. Comme le robot est un jumeau exact, les chercheurs peuvent simplement copier les angles articulaires de l'humain et les données de pression directement vers le robot. Il n'est pas nécessaire d'utiliser des calculs mathématiques complexes pour traduire un « bras humain » en « bras robotique » car ils ont déjà la même taille et la même forme.

La « Peau » qui ressent tout

Ce qui rend TWINS spécial, c'est qu'il ne mesure pas seulement le mouvement des articulations ; il mesure ce que le corps ressent. Les chercheurs ont recouvert la combinaison portable et le robot de capteurs spéciaux appelés « e-Skin » (peau électronique). Ce sont des patchs flexibles et extensibles composés de petites cellules hexagonales (pensez à un motif en nid d'abeille).

• Où se trouvent-ils : Ils sont placés sur l'ensemble des bras, des avant-bras et de la poitrine.
• Que font-ils : Ils peuvent ressentir deux choses : la pression (la force avec laquelle quelque chose pousse) et la proximité (à quel point un objet est proche avant même de toucher).
• Le résultat : Lorsque l'humain dans la combinaison saisit un panier, les capteurs de la poitrine et des bras enregistrent exactement où le panier touche le corps et avec quelle force il presse. Ces données sont enregistrées 10 fois par seconde (10 Hz), créant une carte extrêmement détaillée du contact.

Le Test : Le robot peut-il apprendre à faire un câlin ?

Pour voir si ce système fonctionne réellement, l'équipe a mis en place quatre tâches délicates qui nécessitent que le robot utilise son corps, et pas seulement ses mains :

1. Suspension de serviette : Une serviette est placée sur le bras du robot. Le robot doit faire pivoter son bras pour suspendre la serviette.
2. Maintien de panier : Un panier est pressé contre la poitrine du robot. Le robot doit le saisir avec les deux bras et le tenir fermement.
3. Dépôt de balles : Le robot tient un panier contre sa poitrine avec un bras, tout en utilisant l'autre bras pour ramasser des balles et les déposer dedans.
4. Maintien adaptatif : C'est la tâche la plus difficile. Le robot doit comprendre comment tenir différents objets en fonction de l'endroit où ils le touchent. Si une boîte longue touche la poitrine, il la tient avec les deux bras. Si un sac de couchage touche juste un bras, il le tient avec ce bras.

L'équipe a collecté 40 démonstrations (10 pour chaque tâche) en utilisant la combinaison portable. Un opérateur humain a porté la combinaison et effectué les tâches pendant qu'un assistant lui tendait les objets. La combinaison a enregistré les angles articulaires et les données des capteurs tactiles.

Les Résultats : Le robot apprend à ressentir

Après avoir collecté les données, ils ont entraîné un programme informatique (appelé « politique » ou policy) pour apprendre des démonstrations. Ils ont ensuite injecté ce programme dans le robot isomorphe et ont observé le résultat.

Les résultats ont été impressionnants. Le robot a réussi à apprendre à :

• Passer d'une stratégie de maintien à une autre en fonction de l'endroit où un objet le touchait.
• Réagir à de nouvelles situations qu'il n'avait pas vues auparavant. Par exemple, si l'ordre des objets était modifié, le robot trouvait toujours le bon moyen de les tenir.
• Manipuler plus de balles que celles présentées lors de l'entraînement.

Le robot n'a pas seulement copié les mouvements ; il a appris la logique du contact. Lorsque les capteurs de sa poitrine ressentaient un panier, il savait qu'il devait le saisir. Lorsque les caprons de son bras ressentaient une serviette, il savait qu'il devait pivoter. Les chercheurs ont noté que les mouvements du robot étaient très proches de ceux de l'humain, avec une erreur moyenne de moins de 1 degré dans les angles articulaires.

Il y a eu quelques petits accrocs. Parfois, lorsque le robot tentait de tenir un objet entre son bras et sa poitrine, il le faisait tomber. Les chercheurs ont découvert qu'ajouter un rembourrage en mousse sur la poitrine et sur l'objet aidait à rendre la prise plus douce et plus stable. Cela suggère que si le robot a appris le mouvement, la physique de la prise peut encore être améliorée.

Pourquoi cela importe

Le système TWINS prouve que vous n'avez pas besoin d'un cerveau ultra-complexe pour apprendre à un robot à utiliser son corps ; vous avez simplement besoin d'un moyen de capturer les sensations du corps. En créant un système où l'enseignant (l'humain dans la combinaison) et l'élève (le robot) sont physiquement identiques, les chercheurs ont éliminé toute incertitude. Ils ont démontré que les robots peuvent manipuler des objets en utilisant leur poitrine et leurs bras, et pas seulement leurs mains, s'ils disposent des bonnes données sensorielles.

Ce n'est pas encore une baguette magique qui résout tous les problèmes robotiques, mais c'est une étape significative. Cela suggère que si nous voulons que les robots nous aident dans des tâches du monde réel — comme porter des meubles lourds, aider dans une cuisine ou travailler dans un entrepôt — nous devons leur apprendre à ressentir le monde avec tout leur corps, et pas seulement avec le bout de leurs doigts. Et avec TWINS, nous avons enfin un moyen d'y parvenir.