Asymmetric physics enables efficient learning in quadrupedal robot swarms

Résumé Technique : La physique asymétrique permet un apprentissage efficace pour les essaims de robots quadrupèdes

Énoncé du problème
Bien que les collectifs d'animaux naviguent dans des environnements encombrés grâce à une coordination locale, reproduire cette capacité dans des essaims de robots physiques reste un défi important. L'apprentissage de bout en bout (end-to-end) offre une voie potentielle, mais le porter à l'échelle des essaims incarnés est entravé par l'inefficacité de l'apprentissage par renforcement (RL) standard basé sur l'échantillonnage. Cette inefficacité provient du fait que la perception visuelle, les interactions robot-robot denses et la locomotion riche en contacts doivent être apprises simultanément. Plus précisément, pour les plateformes riches en contacts comme les robots quadrupèdes, l'espace d'états-actions conjoint croît rapidement avec le nombre d'agents, et la nature discontinue des contacts et des collisions crée des gradients instables pour le RL sans modèle (model-free). De plus, les politiques entraînées sur des robots isolés échouent souvent à se généraliser à des scénarios multi-robots denses car elles manquent d'exposition aux interactions locales complexes nécessaires pour céder le passage, faire une pause ou résoudre l'encombrement.

Méthodologie
Les auteurs proposent un cadre d'entraînement de bout en bout qui exploite la physique asymétrique pour permettre un apprentissage efficace. L'innovation centrale est la séparation de la physique utilisée pour la génération de comportements de celle utilisée pour l'apprentissage :

1. Séparation de la physique asymétrique :

   • Simulation directe (Haute fidélité) : Un simulateur de haute fidélité non différentiable (Isaac Gym) modélise le mouvement quadrupède réaliste, les contacts, les collisions et les interactions robot-environnement. Cela garantit que les comportements générés sont ancrés dans la réalité physique.
   • Rétropropagation (Surrogats différentiables) : Au lieu de différencier à travers la dynamique de contact complexe et non différentiable, le système utilise des modèles de substitution simples et différentiables pour fournir des gradients lisses pour l'optimisation de la politique.
     • Un modèle de masse ponctuelle approxime la dynamique de navigation et d'interaction multi-robots.
     • Un modèle de corps rigide approxime la dynamique de locomotion quadrupède, en se concentrant sur les forces de réaction au sol.
   • Cette approche permet l'extraction de signaux d'optimisation du premier ordre à partir d'interactions à grande échelle sans l'instabilité associée à la différenciation de dynamiques de contact discontinues.

2. Pile de politiques hiérarchiques :
   Le cadre entraîne une pile de contrôle hiérarchique :

   • Politique de navigation de haut niveau : Associe les observations de la caméra de profondeur et les informations d'objectif à des commandes de vitesse. Elle fonctionne sans communication explicite, sans cartes globales et sans connaissance de l'état des autres robots.
   • Politique de locomotion de bas niveau : Convertit les commandes de vitesse en actions au niveau des articulations pour les pattes du quadrupède.

3. Régime d'entraînement :
   Le système est entraîné dans des environnements multi-robots partagés où jusqu'à 512 quadrupèdes interagissent simultanément. Cette interaction dense est cruciale pour apprendre des comportements d'essaim émergents qui ne peuvent être acquis via un entraînement isolé sur un robot unique.

Résultats clés

• Scalabilité : Le cadre parvient à entraîner une politique décentralisée unique pour contrôler jusqu'à 512 quadrupèdes dans des environnements riches en obstacles (ex: forêts denses, labyrinthes, ponts étroits, pavillons encombrés) en simulation.
• Déploiement en conditions réelles : La politique apprise a été déployée sur six quadrupèdes physiques Unitree Go2 à travers cinq scénarios réels (forêt, pont étroit, passage de la largeur d'un seul robot, pavillon encombré, pièce dense en obstacles) sans ajustement supplémentaire (fine-tuning). Chaque robot reposait uniquement sur une caméra de profondeur frontale.
• Comportements émergents : Sans programmation explicite ni communication, les robots ont exhibited des comportements de coordination complexes, notamment :
  • Évitement prédictif des agents proches.
  • Cession de passage sur le côté droit lors de rencontres frontales.
  • Pause dans les zones ouvertes avant les goulots d'étranglement.
  • Suivi de mur sous perception limitée.
• Comparaison de performance :
  • Vs Heuristiques : La politique apprise a produit des trajectoires plus fluides et un espacement inter-robots plus cohérent par rapport aux algorithmes de flottement (flocking) standards et aux contrôleurs basés sur le potentiel de binning de profondeur.
  • Vs Transfert de robot unique : Les politiques entraînées uniquement sur des robots uniques n'ont pas réussi à passer à l'échelle, entraînant un passage désordonné et des taux de réussite inférieurs dans les essaims denses.
  • Vs RL standard (PPO) : L'approche de l'apprentissage par physique différentiable (DPL) a atteint la récompense finale de l'optimisation de politique proximale (PPO) en utilisant seulement 2 % des échantillons d'entraînement. La DPL a également démontré une meilleure aptitude au contrôle de la vitesse et des taux de réussite supérieurs dans la navigation de passages étroits (jusqu'à des interstices de 0,5 m) là où le PPO a échoué.

Signification et revendications
L'article affirme fournir la première démonstration de la navigation d'essaim basée sur la vision pour des robots quadrupèdes sous une détection décentralisée, une locomotion riche en contacts et une interaction multi-robots dense. La signification primaire ne réside pas dans les comportements spécifiques eux-mêmes, mais dans le principe d'entraînement qui les permet :

• Efficacité : En séparant la simulation physique directe haute fidélité de l'optimisation par substitut différentiable, la méthode transforme l'interaction à grande échelle d'un goulot d'étranglement d'échantillonnage en un signal d'entraînement efficace.
• Généralisation : L'approche démontre qu'un apprentissage visuel de bout en bout efficace dans des environnements partagés peut produire des politiques de contrôle décentralisées et scalables qui se généralisent au matériel réel sans infrastructure de communication ou planification centralisée.
• Applicabilité plus large : Les auteurs suggèrent que cette séparation de la physique directe réaliste et de la physique de substitut différentiable pourrait éclairer les méthodes d'entraînement pour d'autres systèmes incarnés riches en contacts, tels que les robots à chenilles et d'autres plateformes de locomotion jambes.

Le travail reconnaît des limites, notant des défis dans les interactions physiques et les scénarios d'impasse dans les labyrinthes, et identifie des directions futures telles que l'intégration d'entrées RGB, des canaux de communication explicites et le transfert de politique vers différentes morphologies de robots.