M3-Tele: A Unified Multimodal Teleoperational Framework for Compliant Whole-Body Mobile Manipulation

Les robots capables de se déplacer dans une maison et de ramasser des objets sont depuis longtemps un rêve de la science-fiction, mais transformer ce rêve en réalité nécessite de résoudre un casse-tête physique complexe. Pour être véritablement utile, un robot doit faire deux choses à la fois : naviguer dans une pièce encombrée et manipuler des objets délicatement sans les briser. Cela exige un équilibre délicat entre le mouvement de son corps et la perception du monde qu'il touche. Si un robot pousse trop fort, il pourrait renverser un vase ; s'il se déplace de manière trop rigide, il ne peut ni ouvrir un tiroir ni essuyer une surface. Pour qu'un robot apprenne ces compétences de la part d'un humain, l'humain doit pouvoir le guider avec un niveau de sensibilité qui semble naturel, tandis que le robot doit être capable d'écouter ses propres capteurs et d'ajuster sa prise et sa pression en temps réel. Sans cette capacité à ressentir et à s'adapter, les données collectées pour enseigner au robot sont souvent maladroites et incohérentes, ce qui rend difficile l'apprentissage de tâches complexes par la machine plus tard.

Des chercheurs de l'Université de technologie de Shenzhen ont développé un nouveau système appelé M3-Tele pour résoudre ce problème. Ils ont conçu un cadre permettant à un humain de contrôler un bras de robot mobile à l'aide d'un smartphone, mais avec une nuance cruciale : le système est conçu pour ressentir le contact entre le robot et le monde. Le robot est équipé de capteurs spéciaux sur sa pince qui peuvent voir à quel point les coussinets souples de ses doigts s'écrasent lorsqu'ils touchent un objet, ainsi que de capteurs qui mesurent la force poussant contre son poignet. Lorsqu'un opérateur humain guide le robot pour essuyer un tableau blanc ou ouvrir un tiroir, le système ne se contente pas de suivre aveuglément le chemin de la main. Au lieu de cela, il vérifie constamment la pression et l'écrasement de la pince, ajustant automatiquement le mouvement du robot pour maintenir un contact doux et régulier. Cela crée une expérience fluide et réactive où le robot se comporte comme un partenaire docile plutôt que comme une machine rigide.

L'équipe a testé ce système sur quatre tâches différentes, allant du simple au difficile. Ils ont demandé à des volontaires humains d'utiliser le système pour ramasser un bloc, faire pivoter une barre, tirer un tiroir et essuyer un tableau blanc. Les résultats ont montré que le nouveau système était nettement meilleur pour maintenir le robot en contact avec les objets sans perdre sa prise ou appliquer trop de force. Lorsque les chercheurs ont comparé leur système aux méthodes plus anciennes qui n'utilisaient pas ces ajustements de détection de force, la différence était frappante. Le nouveau contrôleur a réduit l'erreur de suivi de la force souhaitée de plus de 4 newtons à moins de 0,35 newton. En termes pratiques, cela signifie que le robot pouvait maintenir une pression constante contre une surface avec une précision bien plus grande. De plus, le système a empêché le robot de perdre accidentellement le contact avec un objet, réduisant le nombre de fois où la prise glissait de près de 2,5 fois par tentative à presque zéro.

L'étude a également examiné la facilité d'utilisation du système pour les humains. Les chercheurs ont constaté que donner à l'opérateur un retour d'information sur le toucher du robot rendait la tâche beaucoup plus intuitive. Les utilisateurs ont évalué la facilité d'utilisation de l'interface dotée de ce retour d'information nettement plus haut que les méthodes de contrôle standard, lui attribuant un score d'environ 8,4 sur 10 contre 5,8 pour une version de base. Cela suggère que lorsqu'un humain peut « sentir » ce que le robot ressent à travers le contrôleur, il peut le guider plus efficacement. Le système a bien fonctionné à travers toutes les différentes tâches, réussissant la tâche difficile d'essuyage 80 % du temps et les tâches plus simples jusqu'à 94 % du temps. Cette fiabilité est essentielle car elle signifie que le robot peut collecter des démonstrations de haute qualité, suffisamment cohérentes pour être utilisées pour l'entraînement.

Enfin, les chercheurs ont utilisé les données collectées par ce système pour apprendre à un robot comment essuyer un tableau de manière autonome, en utilisant une méthode d'apprentissage connue sous le nom de politique de diffusion (diffusion policy). Ils ont testé si le robot apprenait mieux lorsqu'il avait accès à toutes les informations sensorielles — la vue de la caméra, les mesures de force et les données tactiles d'écrasement — ou s'il pouvait s'en sortir avec seulement la caméra. Les expériences ont montré que le robot apprenait le comportement d'essuyage le plus efficace lorsqu'il disposait de ces trois types d'informations combinées. Même lorsque les chercheurs ont fourni à l'algorithme d'apprentissage seulement une petite quantité de données, la combinaison des capteurs de toucher et de force a aidé le robot à mieux comprendre la tâche que la seule vision. Cela confirme que pour que les robots maîtrisent des tâches impliquant un contact physique, ils doivent être enseignés avec des données qui capturent non seulement ce que le robot voit, mais aussi exactement comment il ressent le monde. Ce travail démontre qu'en intégrant ces sens dans le système de contrôle, nous pouvons construire des robots qui sont non seulement capables de se déplacer dans nos maisons, mais aussi assez doux et précis pour interagir avec les objets qui s'y trouvent.