ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPT est un cadre d'apprentissage par renforcement à grande échelle qui accélère le développement d'une dextérité de niveau humain pour les robots à haut degré de liberté en effectuant un pré-entraînement sur des tâches génériques et en employant une recette de post-entraînement stable pour permettre un transfert sim-to-real zero-shot afin de résoudre des tâches de manipulation complexes et à long horizon à partir d'une perception visuo-tactile brute.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les robots sont depuis longtemps les maîtres de l'atelier de fabrication, se déplaçant avec une précision rigide pour assembler des voitures ou empiler des boîtes. Pourtant, lorsqu'on leur demande d'accomplir les tâches fluides et délicates de la vie quotidienne — comme ramasser un œuf fragile, le retourner et le placer délicatement dans un bol — la plupart des machines échouent. C'est le défi de la dextérité. Cela exige qu'un robot coordonne des dizaines de pièces mobiles simultanément, réagissant au toucher et à la vue en temps réel pour gérer la physique chaotique des objets qui glissent, roulent ou entrent en collision. Pendant des années, les chercheurs ont tenté d'enseigner ces compétences aux robots en les programmant avec des règles rigides ou en leur montrant des démonstrations humaines, mais ces méthodes échouent souvent lorsque l'environnement change, même légèrement. Une nouvelle approche suggère toutefois que le secret de la dextérité robotique ne réside pas dans l'apprentissage de chaque tâche spécifique à partir de zéro, mais dans l'apport d'une expérience fondamentale et large du monde physique au préalable.
Une équipe de chercheurs a développé un nouveau cadre appelé ADEPT qui enseigne aux robots à apprendre des compétences de manipulation complexes en maîtrisant d'abord un jeu générique de « repositionnement » d'objets. Imaginez une main robotique qui passerait des mois dans un monde virtuel à simplement ramasser des formes aléatoires — cylindres, cubes, sphères — et à les déplacer à différents endroits sur une table. Elle apprend à atteindre, saisir, soulever et tourner ces objets sans aucun objectif spécifique, si ce n'est de les déplacer avec succès. Cette phase permet de construire une compréhension profonde et intuitive du comportement des objets et de la manière dont les propres doigts du robot doivent bouger pour les contrôler. Une fois cette base établie, les chercheurs introduisent une nouvelle tâche spécifique, telle que l'insertion d'une cheville dans un trou ou le placement d'une assiette dans un égouttoir. Au lieu de repartir de zéro, le robot utilise son expérience préalable comme un guide. Les chercheurs ont constaté que cette méthode permet au robot de sauter la phase initiale d'apprentissage maladroit et d'appliquer immédiatement ses compétences générales au nouveau défi spécifique.
La puissance de cette approche devient évidente lorsque le robot est confronté à une tâche qu'il n'a jamais vue auparavant. Lors de leurs expériences, les chercheurs ont testé le système sur deux bras robotiques équipés de mains multi-doigts : l'un possédant vingt-trois articulations mobiles et l'autre vingt-neuf. Ils ont entraîné les robots dans une simulation haute fidélité où ils pouvaient exécuter des milliers d'essais simultanément. Les robots ont d'abord appris à repositionner une variété de formes simples. Lorsqu'on a ensuite demandé aux robots d'accomplir une tâche difficile, à savoir insérer une cheville dans une planche — un défi qui nécessite un alignement précis et la gestion des forces de contact — les robots n'ont pas commencé à zéro. Ils ont immédiatement reconnu la nécessité d'atteindre, de saisir et de soulever la cheville, des compétences qu'ils maîtrisaient déjà. La seule partie qu'ils devaient apprendre était l'insertion finale et délicate.
Cependant, le simple fait de prendre un robot entraîné sur une tâche et de lui demander d'en accomplir une autre provoque souvent l'oubli de ce qu'il a appris. Les chercheurs ont découvert que s'ils tentaient d'affiner directement le comportement du robot, les nouvelles instructions écrasaient les anciennes compétences, faisant perdre au robot sa capacité à saisir ou à soulever correctement les objets. Pour résoudre ce problème, ils ont développé une recette d'entraînement minutieuse. D'abord, ils ont utilisé une technique pour pousser doucement le nouveau comportement du robot à ressembler à l'ancien comportement réussi, garantissant que les compétences de base restent intactes. Ensuite, ils ont progressivement ajusté la compréhension du robot de ce qu'est un « bon » mouvement pour la nouvelle tâche, lui permettant de s'adapter sans perdre son équilibre. Enfin, ils ont entraîné une seconde version plus simple du robot qui pouvait s'appuyer uniquement sur ce qu'il voyait via les caméras et ce qu'il ressentait via ses doigts, supprimant ainsi les données internes utilisées par le robot pendant l'entraînement. Ce robot « étudiant » a ensuite été envoyé dans le monde réel.
Les résultats ont été frappants. Dans le monde réel, ces robots pouvaient saisir avec succès une cheville, la réorienter dans leur main et l'insérer dans un trou, tout en s'appuyant uniquement sur un retour visuel et tactile. Ils pouvaient manipuler une cheville en forme d'étoile symétrique ainsi qu'une cheville carrée et ronde asymétrique beaucoup plus difficile, qui nécessite une orientation unique et précise pour s'insérer. Le système a également appris à saisir une assiette plate, à la retourner et à la placer dans un égouttoir, une séquence d'actions que l'entraînement initial n'avait jamais explicitement montrée. Les robots ont accompli ces tâches en cinq à dix secondes, une vitesse comparable à celle d'un humain, alors que les méthodes précédentes utilisant des préhenseurs plus simples et des dispositient de fixation externes prenaient vingt à soixante-dix secondes.
De manière cruciale, les chercheurs ont constaté que les robots développaient des façons de tenir les objets naturelles, semblables à celles de l'homme. Sans qu'on lui dise comment tenir la cheville, le robot a appris à enrouler ses doigts autour pour obtenir une prise stable à plusieurs points, tout comme une main humaine. Les robots entraînés sans la phase initiale de repositionnement, en revanche, développaient souvent des manières de tenir l'objet maladroites et instables qui fonctionnaient un instant mais échouaient sous la pression. L'étude suggère qu'en offrant d'abord à un robot une expérience large et générale de la physique des objets, celui-ci peut apprendre de nouvelles compétences spécifiques bien plus rapidement et plus fiablement qu'en essayant de tout apprendre à la fois. Cette approche ne rend pas seulement les robots plus rapides ; elle les rend plus robustes, capables de gérer la nature imprévisible du monde réel avec un niveau de dextérité qui était auparavant hors de portée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.