Résumé technique : ECo-MoE : Le mélange d'experts conditionné par l'incarnation augmente l'évolvabilité des robots

Énoncé du problème

La co-optimisation de la morphologie et du contrôle des robots (co-conception) fait face à un compromis fondamental entre évolutivité et performance. Les approches existantes tombent généralement dans deux extrêmes inefficaces :

1. Politiques individuelles : Entraîner une politique de contrôle sur mesure pour chaque conception de robot unique est prohibitif en termes de calcul pour faire évoluer de grandes populations.
2. Contrôleurs universels monolithiques : Entraîner un seul contrôleur « universel » pour toutes les conceptions (comme le font les travaux récents les plus avancés de Li et al., 2025) aboutit souvent à des structures et des comportements excessivement conservateurs. Cette approche peine à généraliser à travers des morphologies hautement diverses et échoue à explorer adéquatement des paysages de recherche clairsemés ou trompeurs, en particulier lorsque la complexité de la tâche augmente.

De plus, bien que l'évolution soit un mécanisme puissant pour générer des agents généralement intelligents et de nouvelles conceptions morphologiques, elle est coûteuse en calcul. Réduire la résolution morphologique pour rendre l'évolution traitable sacrifie souvent la pertinence par rapport à la robotique réelle. Les auteurs recherchent un juste milieu qui préserve les connaissances ancestrales tout en permettant une adaptation modulaire à de nouveaux plans corporels sans perturber les connaissances de contrôle acquises avec difficulté.

Méthodologie

L'article introduit ECo-MoE (Mélange d'experts conditionné par l'incarnation), un cadre qui co-optimise une distribution de vecteurs de conception latents (génotypes) et un mélange d'experts de contrôle (modules neuronaux).

1. Cadre de co-optimisation conjointe

Le système fonctionne sur deux échelles de temps :

• Évolution (plus lente) : Met à jour la distribution latente $N(\mu, \Sigma)$ des génotypes $z \in \mathbb{R}^{512}$ en utilisant CMA-ES. Chaque génotype est décodé via un Autoencodeur Variationnel (VAE) préentraîné en une morphologie endosquelettique 3D (64³ voxels) comprenant des tissus mous et des os rigides.
• Apprentissage (plus rapide) : Met à jour les paramètres du contrôleur en utilisant PPO. Le contrôleur reçoit l'état du robot $s$ et son génotype latent $z$ pour produire des actions $a$.
• Objectifs : Le système maximise une récompense de comportement dense $R(\tau)$ (pour l'apprentissage) et une fitness de conception sparse $F(\tau)$ (pour l'évolution).

2. Mélange d'experts conditionné par l'incarnation (ECo-MoE)

Au lieu d'une politique monolithique unique, le contrôleur se compose de $K=4$ sous-réseaux experts (Transformeurs Graphiques réduits) et d'un réseau de commutation (gating).

• Mécanisme de commutation : Une couche de commutation linéaire prend le génotype latent $z$ comme entrée pour produire des poids de routage $w_\phi(z) = \text{softmax}(Wz + b)$.
• Agrégation de la politique : La politique finale est une somme pondérée des sorties des experts :
  $$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$$
• Régularisation de la diversité : Pour prévenir l'effondrement des experts (où la commutation ne s'appuie que sur un seul expert), un terme de perte $L_{div}$ encourage des poids de routage distincts pour les génotypes qui sont éloignés dans l'espace latent. Cela garantit que différents plans corporels activent différentes combinaisons de circuits sensorimoteurs appris.

3. « Évolution par démonstration »

Le cadre introduit un mécanisme pour guider l'évolution en utilisant des connaissances antérieures :

• Injection d'expert préentraîné : Un expert spécifique du mélange est remplacé par une politique préentraînée sur une « démonstration prédéfinie » spécifique (par exemple, un quadrupède spécifique). Ses paramètres sont figés.
• Initialisation de l'a priori latent : La moyenne et l'écart-type de la distribution latente initiale peuvent être définis en fonction du codage latent de la démonstration prédéfinie.
• Orientation de la compatibilité : Un score de compatibilité appris $\hat{c}_g(z)$ (le poids de commutation attribué à l'expert figé) est utilisé pour augmenter le score de fitness : $\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$. Cela oriente l'évolution vers des morphologies compatibles avec la stratégie de contrôle de l'expert préentraîné.

Contributions clés

1. Co-conception modulaire : L'article propose une alternative évolutive aux contrôleurs monolithiques en utilisant un mélange d'experts commuté par le génotype latent du robot. Cela permet de réviser différentes parties du contrôleur pour de nouvelles espèces sans perturber les connaissances dans d'autres modules.
2. Augmentation de l'évolvabilité : Les auteurs démontrent que la modularité améliore considérablement la capacité des robots à faire évoluer des comportements efficaces dans des environnements complexes (par exemple, la locomotion debout et les terrains accidentés) par rapport aux bases non modulaires.
3. Évolution orientable (« Évolution par démonstration ») : L'article introduit une méthode pour diriger l'évolution libre vers des structures canoniques définies par des modèles préentraînés, combinant efficacement le pouvoir exploratoire de l'évolution avec la précision de l'apprentissage supervisé.

Résultats

Des expériences ont été menées dans trois environnements : Sol plat, Locomotion debout et Nids-de-poule (terrain accidenté).

• Gains de performance :

  • Sol plat : ECo-MoE a performé de manière comparable à la base (contrôleur monolithique), car les tâches de déplacement simples ne nécessitent pas de spécialisation conditionnée par l'incarnation.
  • Tâches complexes : ECo-MoE a considérablement surpassé la base dans la locomotion debout et les Nids-de-poule. L'approche modulaire a permis au système d'évoluer vers des conceptions plus diverses et robustes capables de maintenir la posture et de naviguer dans les obstacles.
  • Efficacité des paramètres : Malgré l'utilisation de plusieurs experts, la taille totale de la politique ECo-MoE était légèrement inférieure à celle de la base, avec substantiellement moins de paramètres dédiés à la génération d'actions par expert.

• Analyse de l'évolvabilité :

  • La visualisation de l'espace latent a montré que ECo-MoE n'explorait pas nécessairement une zone plus large que la base, mais a atteint une meilleure exploitation des conceptions rencontrées.
  • Les poids de routage se sont adaptés dynamiquement au fil des générations, les experts devenant spécialisés pour des caractéristiques structurelles spécifiques.
  • Le système était robuste au nombre d'experts (testé avec 2, 4 et 8), 4 offrant le meilleur équilibre.

• Évolution par démonstration :

  • Combiner une initialisation prédéfinie avec un expert préentraîné figé (CoSteering) était la méthode la plus efficace pour guider l'évolution vers des traits morphologiques spécifiques (par exemple, la symétrie radiale et des nombres de membres spécifiques).
  • Cette approche a produit des robots évolués avec des « nombres de membres effectifs » plus élevés et des « magnitudes de vecteurs de biais de masse » plus faibles (anatomie plus équilibrée) par rapport à une initialisation aléatoire.
  • Bien que PredesignOnly (initialisation sans expert préentraîné) ait atteint une fitness élevée, CoSteering a produit des morphologies structurellement les plus similaires à la démonstration cible.

Importance et affirmations

L'article affirme que ECo-MoE fournit une abstraction de haut niveau des systèmes de contrôle modulaires à travers les incarnations trouvés dans la nature, où des gènes modulaires partagés et des circuits neuronaux génèrent des parties corporelles et des motifs de mouvement diversifiés.

• Évolutivité : L'approche offre une voie évolutive pour faire évoluer des agents incarnés complexes en découplant le contrôle de morphologies spécifiques tout en maintenant un cadre unifié.
• Contrôlabilité : En permettant une modification modulaire, le système aboutit à l'évolution de conceptions plus contrôlables, tamponnant contre les mutations délétères.
• Implications pratiques : Le travail suggère une voie pour la robotique où « l'évolution par démonstration » peut orienter la découverte de nouveaux robots à corps mou avec des traits désirés, menant potentiellement à des agents plus bénéfiques et moins dangereux que les formes rigides actuelles.
• Limites : Les auteurs notent modestement que l'espace latent actuel du VAE peine à reconstruire des formes hors distribution (comme les bipèdes ou les hexapodes) mal représentées dans les données d'entraînement. Ils suggèrent que des travaux futurs pourraient impliquer l'adaptation incrémentale du VAE pendant l'évolution pour étendre la variété latente. Les expériences sont actuellement limitées à la locomotion terrestre simulée, avec la réalisation physique et des comportements plus diversifiés (natation, manipulation) identifiés comme étapes futures.