Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

Les robots sont depuis longtemps les maîtres des usines, se déplaçant avec précision le long de trajectoires préprogrammées pour assembler des voitures ou trier des colis. Pourtant, lorsque ces machines pénètrent dans le chaos imprévisible du monde réel, particulièrement lorsqu'elles doivent manipuler des objets sans simplement les saisir, elles éprouvent souvent des difficultés. Le défi réside dans la manipulation « riche en contacts », où un robot doit pousser, faire glisser, pivoter ou basculer un objet pour le déplacer. Contrairement à un simple levage, ces actions dépendent d'interactions complexes et changeantes entre l'objet, le bras du robot et l'environnement. Si un robot pousse une boîte trop fort, elle pourrait glisser ; s'il la pousse sous le mauvais angle, la boîte pourrait basculer ou rester coincée. Pendant des années, des chercheurs ont tenté d'apprendre aux robots à gérer ces situations en les entraînant avec des quantités massives de données, espérant que la machine finirait par apprendre les règles de la physique par essais et erreurs. Cependant, cette approche est souvent lente, gourmande en données et échoue lorsqu'un robot entraîné dans une simulation informatique est placé dans une pièce réelle.

Une équipe de chercheurs a proposé une autre façon de résoudre ce problème en imitant la manière dont les humains réfléchissent au déplacement d'objets. Au lieu d'essayer d'apprendre d'un coup chaque minuscule mouvement musculaire et chaque détail de friction, ils ont divisé la tâche en deux niveaux de pensée distincts. Au niveau élevé, le robot décide où toucher un objet et quel résultat général il souhaite obtenir, par exemple : « pousser la poignée pour faire glisser la boîte vers l'avant ». Au niveau bas, un système séparé détermine comment exécuter ce plan en temps réel, en s'ajustant à la physique exacte du moment, comme le fait qu'un objet colle ou glisse. Ce nouveau cadre, qui combine un « cerveau » basé sur l'apprentissage avec un « muscle » basé sur la physique, permet aux robots d'apprendre beaucoup plus vite et de transférer leurs compétences de la simulation à la réalité sans entraînement supplémentaire.

Les chercheurs ont testé cette idée sur un bras robotique équipé d'un outil simple en forme de bâton, en lui demandant d'accomplir des tâches qui ne nécessitent pas de saisie. Dans un scénario, le robot devait pousser diverses formes de blocs de lettres à partir de positions de départ aléatoires vers des cibles spécifiques. Dans un autre, il devait réorienter un cube, en le faisant basculer et pivoter jusqu'à ce qu'il atteigne une pose souhaitée. Dans un troisième, il devait utiliser un escalier pour aider à basculer un objet sur une table. La clé de leur succès fut un type spécifique d'instruction qu'ils ont appelé une « intention de contact ». Il ne s'agit pas d'une commande détaillée pour chaque mouvement d'articulation, mais plutôt d'un objectif de haut niveau qui dit : « Touche l'objet ici, et vise à l'amener à cette position ». La politique de haut niveau du robot, entraînée par apprentissage par renforcement, prédit cette intention en fonction de ce qu'elle voit. Une fois l'intention fixée, un contrôleur de bas niveau prend le relais. Ce contrôleur agit comme une calculatrice à haute fréquence, planifiant constamment les prochaines secondes de mouvement pour s'assurer que le bâton du robot reste en contact avec l'objet à l'endroit choisi et le déplace vers l'objectif, en s'ajustant instantanément si l'objet glisse ou heurte quelque chose.

Ce qui rend cette approche particulièrement efficace est la séparation du « quoi » et du « comment ». La politique de haut niveau n'a besoin de comprendre que la forme de l'objet et l'objectif, ignorant la physique complexe et désordonnée du contact. Cela lui permet d'apprendre rapidement et de se généraliser à des formes qu'elle n'a jamais vues auparavant. Dans leurs tests, le robot a appris à pousser des lettres inédites avec un succès quasi parfait après un entraînement relativement court. En revanche, un système qui tentait d'apprendre l'ensemble du processus à partir de zéro, sans cette séparation des fonctions, nécessitait beaucoup plus de données et échouait tout de même à être aussi performant. Les chercheurs ont constaté que leur méthode nécessitait environ quarante fois moins d'étapes de décision pour apprendre une tâche par rapport à ces méthodes traditionnelles de bout en bout. De plus, comme la politique de haut niveau se concentre sur la géométrie plutôt que sur les dynamiques physiques spécifiques, elle peut être entraînée dans une simple simulation informatique puis déployée sur un robot réel sans aucun ajustement.

Les résultats de cette séparation furent frappants, tant en simulation que dans le monde réel. Lorsque les chercheurs ont déplacé le robot entraîné de l'ordinateur vers un bras robotique Franka physique, celui-ci a accompli les tâches avec une grande fiabilité sans aucun ajustement fin. Pour la tâche de poussée de lettres, le robot a atteint un taux de réussite de 100 % sur les lettres vues pendant l'entraînement et de 95 % sur les lettres qu'il n'avait jamais rencontrées. Même pour la tâche plus complexe consistant à faire basculer un cube dans l'espace tridimensionnel, le robot a réussi presque à chaque fois. Dans les tests en conditions réelles, le robot a poussé avec succès des lettres inconnues et réorienté des objets, accomplissant souvent la tâche en moins de dix décisions de haut niveau. Les seuls échecs mineurs étaient dus à des problèmes pratiques, comme la perte de suivi de l'objet par la caméra, et non à une faille de la logique du robot. Cela a démontré que le robot avait véritablement appris une stratégie robuste pour interagir avec le monde, plutôt que de simplement mémoriser un ensemble spécifique de mouvements.

L'étude a également exploré ce qui se passe lorsque certaines parties de ce système sont retirées, confirmant que chaque composant est essentiel. Lorsque les chercheurs ont supprimé la capacité de définir des objectifs intermédiaires, le robot s'est souvent retrouvé bloqué, poussant l'objet en cercles ou dans des coins parce qu'il essayait d'atteindre la destination finale directement sans plan. Lorsqu'ils ont supprimé l'information sur l'endroit où le robot pouvait toucher en toute sécurité sans heurter l'environnement, le robot a eu du mal à trouver des points de contact valides. Ces tests ont montré que le robot a besoin à la fois d'une compréhension de la forme de l'objet et d'un plan pour le déplacer par étapes pour réussir. Le cadre s'est également avéré supérieur aux autres méthodes qui tentent d'apprendre directement la dynamique de contact, lesquelles se retrouvent souvent bloquées dans des boucles locales ou nécessitent des quantités massives de données pour converger. En confiant les calculs physiques difficiles à un contrôleur dédié, le système d'apprentissage est libéré pour se concentrer sur les décisions stratégiques les plus importantes.

En fin de compte, ce travail offre une nouvelle voie pour rendre les robots plus capables dans des environnements non structurés. Il suggère que la meilleure façon d'enseigner à une machine à manipuler le monde physique n'est pas de la forcer à apprendre chaque détail de la physique à la fois, mais de lui donner une hiérarchie de tâches. Le robot apprend à raisonner sur la géométrie et la stratégie, tandis qu'un système distinct et fiable gère l'exécution physique immédiate. Cette approche rend non seulement l'apprentissage plus rapide et plus efficace, mais elle comble également le fossé entre la simulation et la réalité, permettant aux robots d'être entraînés dans des mondes virtuels et d'être immédiatement mis au travail dans le monde réel. Alors que les chercheurs envisagent l'avenir, ils ambitionnent d'étendre ce cadre à des mains plus complexes dotées de plusieurs doigts, tout en reconnaissant que la méthode actuelle repose sur un suivi précis de la position de l'objet et pourrait faire face à des défis liés au nombre important de points de contact dans des tâches plus dextres. Pour l'instant, cependant, les résultats montrent une manière claire et robuste pour les machines d'apprendre l'art de toucher et de déplacer le monde qui les entoure.