Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

Résumé Technique : Co-conception Rapide de Robots à Assistance par Flottabilité via des Spécialistes Évolutifs Gaussiens

Énoncé du Problème

L'article traite du défi de la co-conception de robots, qui implique l'optimisation conjointe de la morphologie du robot (structure physique) et des politiques de contrôle pour atteindre des performances de tâche impossibles à obtenir par l'un ou l'autre composant de manière isolée. Plus précisément, les auteurs se concentrent sur le BALLU (Buoyancy-Assisted Light Legged Unit), un robot bipède qui utilise des ballons d'hélium pour compenser son poids.

La difficulté fondamentale réside dans le coût computationnel du processus de co-conception. Il s'agit d'un problème d'optimisation bi-niveau :

1. Boucle Extérieure : Recherche dans l'espace de conception morphologique.
2. Boucle Intérieure : Pour chaque morphologie candidate, un contrôleur robuste doit être entraîné (généralement via l'Apprentissage par Renforcement, RL).

Les approches existantes font face à des goulots d'étranglement importants :

• Réentraînement RL Répété : Entraîner une nouvelle politique à partir de zéro pour chaque morphologie candidate est extrêmement coûteux en termes de calcul.
• Politiques Universelles : Le pré-entraînement d'une politique « universelle » unique, conditionnée par des paramètres de morphologie pour permettre une évaluation zero-shot, échoue en raison de l'effondrement de la diversité comportementale. La politique converge vers une stratégie de locomotion unique et sous-optimale car les gradients conflictuels provenant de morphologies diverses se moyennent durant l'entraînement.
• Mélange d'Experts (MoE) de bout en bout : Bien que les architectures MoE permettent théoriquement des experts spécialisés, elles souffrent d'un effondrement de la représentation dans ce contexte. Le routeur ne parvient pas à différencier les experts tôt dans l'entraînement, provoquant une convergence de tous les experts vers des comportements similaires, ce qui rend le mélange inefficace.

Méthodologie : Spécialistes Évolutifs Gaussiens (GES)

Les auteurs proposent les Spécialistes Évolutifs Gaussiens (GES), un cadre qui découple le partitionnement de l'espace de conception de l'apprentissage des politiques de contrôle afin de capturer explicitement des comportements divers sans les modes de défaillance des politiques universelles ou des politiques MoE de bout en bout.

Mécanisme Central :
GES maintient un ensemble de $K$ politiques spécialistes, chacune associée à un territoire Gaussien (défini par une moyenne $\mu_k$ et une covariance diagonale $\Sigma_k$) sur l'espace des paramètres de conception. Le cadre opère dans une boucle itérative composée de trois phases jusqu'à ce que l'espace de conception soit suffisamment couvert (couverture Monte Carlo de 95 %) :

1. Initialisation :

   • $K$ centres Gaussiens sont initialisés dans l'espace de conception normalisé en utilisant l'Échantillonnage de Point le plus Lointain (FPS) suivi d'une Relaxation de Lloyd pour garantir une couverture dispersée et remplissant l'espace.
   • Chaque spécialiste est initialisé comme un MLP aléatoire.

2. Évolution Itérative des Territoires :

   • Entraînement (Train) : Chaque spécialiste $\pi_k$ échantillonne des conceptions à partir de son territoire Gaussien actuel et s'entraîne via l'Optimisation de Politique Proche (PPO), en reprenant à partir de points de contrôle précédents pour conserver les comportements appris.
   • Sondage (Probe) : Des conceptions candidates sont échantillonnées près des frontières ($2\sigma$) de tous les territoires Gaussiens. Ces candidates sont évaluées par les $K$ spécialistes. Chaque candidate est assignée de manière compétitive au spécialiste qui obtient le score de performance de tâche ($J$) le plus élevé.
   • Réajustement (Refit) : Les paramètres Gaussiens ($\mu_k, \Sigma_k$) de chaque spécialiste sont mis à jour pour refléter la moyenne et la covariance des conceptions qu'il a « gagnées » lors de la phase de sondage. Cela permet aux territoires de s'étendre et de s'adapter en fonction de la performance empirique.

3. Intégration de la Co-conception :

   • Une fois l'entraînement terminé, les spécialistes servent d'évaluateurs zero-shot pour la boucle d'optimisation de conception externe (par exemple, l'Optimisation Bayésienne).
   • Pour une nouvelle conception candidate, un routeur géométrique sélectionne le spécialiste le plus proche basé sur la vraisemblance Gaussienne, et la performance du spécialiste est évaluée directement, éliminant ainsi le besoin de réentraînement.

Contributions Clés

1. Identification des Modes de Défaillance : L'article identifie l'effondrement de la diversité comportementale comme un mode de défaillance auparavant non reconnu des politiques universelles dans la co-conception de robots, où les politiques convergent vers une stratégie unique quel que soit la morphologie. Il souligne également comment l'effondrement de la représentation mine l'entraînement MoE de bout en en bout.
2. Cadre GES : La proposition d'un cadre en deux étapes utilisant l'évolution itérative des territoires Gaussiens pour résoudre ces deux problèmes d'effondrement. En découplant le partitionnement de la spécialisation, GES garantit que chaque spécialiste s'entraîne sur une région stable et bien définie de l'espace de conception.
3. Validation Matérielle : Déploiement réussi d'une conception optimisée par GES sur du matériel physique, démontrant une amélioration significative des capacités de franchissement d'obstacles.

Résultats

La méthode a été validée sur la plateforme BALLU en simulation (Isaac Lab) et sur matériel.

• Performance en Simulation :

  • Franchissement d'Obstacles (Espace 2D) : GES a obtenu une amélioration de la performance moyenne de 25,5 % par rapport à une politique universelle monolithique (MLP de bout en bout) et de 8,62 % par rapport à un MoE de bout en bout. Les conceptions GES ont franchi des obstacles allant jusqu'à 54 cm, contre 38 cm pour la politique universelle.
  • Franchissement d'Obstacles (Espace 3D) : GES a montré un gain de pointe de 31,7 % par rapport à la politique universelle, avec une amélioration moyenne de 18,8 %.
  • Montée de Rampe : GES a amélioré la performance moyenne d'environ 13 % par rapport aux bases de référence en espace 2D.
  • Efficacité : GES a réduit le temps de calcul total de la co-conception de 37 % (passant d'environ 100 heures à environ 63 heures) en remplaçant le coûteux réentraînement RL par une évaluation directe.

• Résultats Matériels :

  • Un BALLU co-conçu (optimisé pour $GCR=0,86, SPCF=0,008$) a réussi à franchir un obstacle de 24 cm.
  • Cela représente une amélioration de 3x par rapport à la conception de base du BALLU, qui ne pouvait franchir qu'un obstacle de 8 cm.
  • Les résultats confirment que les améliorations morphologiques découvertes en simulation se transfèrent efficacement à la plateforme physique, malgré les écarts sim-to-real.

• Analyse Comportementale :

  • Contrairement aux bases de référence, les spécialistes GES ont maintenu une diversité comportementale. Les visualisations ont montré que différentes trajectoires de pieds et stratégies pour franchir les obstacles étaient produites par différents spécialistes contrôlant la même conception de robot.
  • La base de référence MoE de bout en bout a souffert d'un effondrement de la représentation, distribuant les conceptions de manière égale entre les experts, tandis que GES a établi des partitions strictes où chaque spécialiste dominait son propre sous-espace.

Signification et Revendications

L'article affirme que GES fournit une solution évolative et efficace pour la co-conception de robots en surmontant les limitations fondamentales des politiques universelles et des architectures MoE standards. En capturant explicitement des comportements divers via l'évolution itérative des territoires, GES permet la découverte de morphologies de robots de haute performance qui seraient autrement manquées par des évaluateurs effondrés. Le cadre est présenté comme indépendant de la plateforme, bien que sa validation actuelle soit spécifique aux robots à jambes assistés par flottabilité. Les auteurs notent que la méthode suppose un nombre fixe de spécialistes et un espace de conception continu et borné, identifiant ces points comme des domaines pour de futures adaptations.