RoboMorph: Evolving Robot Morphology using Large Language Models

1. Problématique

La conception de morphologies robotiques (la forme physique et la structure des robots) reste un défi majeur en robotique moderne. Les approches traditionnelles reposent sur l'intuition humaine, sont chronophages et peinent à explorer l'immense espace des designs possibles. Bien que des méthodes automatisées existent (algorithmes évolutionnaires, recherche par graphes comme Robogrammar, ou optimisation dans des espaces latents), elles souffrent souvent de limitations :

• Coût computationnel élevé et temps de convergence long.
• Difficulté à écheller avec la complexité croissante des designs.
• Biais vers des solutions locales ou des heuristiques fixes qui limitent la diversité des morphologies découvertes.

L'objectif est de créer un système capable d'automatiser la découverte de morphologies robotiques modulaires, optimisées pour des terrains spécifiques, en exploitant les capacités de raisonnement et de génération des Grands Modèles de Langage (LLM).

2. Méthodologie : Le Framework RoboMorph

RoboMorph est un pipeline automatisé qui intègre quatre composantes clés : la génération par LLM, les algorithmes évolutionnaires, les grammaires de robots et l'évaluation par contrôle basé sur l'apprentissage par renforcement (RL).

A. Représentation et Grammaire

Les designs sont représentés par une grammaire context-free (adaptée de Robogrammar). Cette grammaire définit des règles structurelles (blocs de construction, symétrie bilatérale) garantissant que tout design généré est physiquement plausible et assemblable à partir de modules modulaires.

B. Boucle Évolutionnaire et Prompting

Le processus suit une boucle itérative (génération par génération) :

1. Génération par LLM (GPT-4o) : À chaque itération, le LLM propose de nouveaux designs sous forme de texte structuré selon la grammaire.
2. Stratégie "Best-Shot" : Contrairement au zero-shot, le prompt inclut des exemples few-shot (quelques-uns des meilleurs designs des générations précédentes) accompagnés de leurs traces de raisonnement.
   • Pourquoi ? Cela ancre le modèle dans les règles de la grammaire (réduisant les erreurs de compilation) et encourage l'exploration de la diversité tout en guidant l'amélioration.
   • Note importante : Les scores de fitness numériques sont exclus des exemples few-shot pour éviter le surapprentissage (overfitting) et maintenir la diversité structurelle. Le modèle infère les traits réussis qualitativement.
3. Compilation et Simulation : Le texte généré est compilé en un fichier XML compatible avec le simulateur MuJoCo (via MJX).
4. Évaluation par RL : Une politique de contrôle (locomotion) est entraînée pour chaque design utilisant l'algorithme SAC (Soft Actor-Critic). Le score de fitness est la vitesse moyenne vers l'avant obtenue sur plusieurs épisodes.
5. Sélection Évolutionnaire : Les meilleurs designs (Top-K) sont conservés pour former la nouvelle population et servir d'exemples pour la génération suivante. Les designs invalides ou à faible performance sont éliminés.

C. Infrastructure Computationnelle

L'évaluation repose sur l'entraînement parallèle de politiques RL sur des GPU (NVIDIA A100), permettant d'évaluer des centaines de designs simultanément, ce qui rend la boucle évolutionnaire praticable malgré le coût de l'entraînement RL.

3. Contributions Clés

1. Premier Framework Intégré : RoboMorph est la première approche combinant génération par LLM, algorithmes évolutionnaires, grammaires de robots et contrôle RL pour la conception automatique de morphologies.
2. LLM comme Opérateur de Mutation : L'article démontre que traiter le LLM comme un opérateur de mutation stochastique permet de découvrir des designs compétitifs, voire supérieurs, par rapport aux méthodes de recherche par graphes classiques, tout en produisant une diversité structurelle bien plus grande.
3. Découverte de Solutions Non Intuitives : Le système découvre des morphologies spécialisées (ex: quadrupèdes à roues, hexapodes) qui dépassent les solutions conçues par des humains ou des heuristiques fixes, sans nécessiter d'opérateurs de mutation manuels.

4. Résultats Expérimentaux

Les expériences ont été menées sur 4 types de terrains distincts avec 8 graines aléatoires différentes :

• Terrain accidenté (Ridged) : Découverte d'un quadrupède à membres allongés avec des articulations de genou permettant de lever les pieds pour franchir les obstacles. Performance comparable à Robogrammar.
• Terrain plat (Flat) : Découverte d'un quadrupède à roues. Ce design, inexploité par la recherche par graphes (qui peine à combiner roues et articulations de manière incrémentale), surpasse nettement les solutions uniquement à pattes de Robogrammar en termes de vitesse et d'efficacité énergétique.
• Terrain gelé (Frozen) : Découverte d'un hexapode avec une base large et des articulations rigides pour maximiser la stabilité sur surface glissante. Ce design surpasse la structure bipède de Robogrammar.
• Terrain avec poutres (Beams) : Un design bas et compact pour passer sous des obstacles aériens, similaire au design plat mais adapté aux contraintes de hauteur.

Comparaison avec Robogrammar :

• Sous contrôle RL, RoboMorph égale ou dépasse Robogrammar sur tous les terrains partagés.
• Sous contrôle MPC (Model Predictive Control), RoboMorph surpasse également Robogrammar sur les terrains plats et gelés.
• La diversité morphologique est nettement supérieure avec RoboMorph, évitant la convergence prématurée vers des optima locaux.

Ablation Studies :

• L'utilisation de modèles LLM plus grands (GPT-4o) améliore significativement la performance par rapport aux modèles plus petits.
• L'ajout de la boucle évolutionnaire est crucial : une génération sans évolution (zero-shot) ou sans sélection des meilleurs exemples donne des résultats inférieurs.
• L'exclusion des scores de fitness numériques dans les prompts préserve la diversité et évite le surapprentissage.

5. Signification et Impact

• Nouveau Paradigme de Conception : RoboMorph démontre que les LLM peuvent servir d'opérateurs génératifs efficaces dans des boucles de conception évolutionnaire, remplaçant avantageusement les opérateurs de mutation manuels et heuristiques.
• Exploration de l'Espace de Conception : La capacité du LLM à effectuer des "sauts non locaux" dans l'espace des designs (ex: passer d'un quadrupède à un hexapode en une seule génération) permet d'explorer des régions de l'espace de conception que les méthodes incrémentales classiques ne peuvent atteindre.
• Adaptabilité : Le système s'adapte automatiquement aux contraintes environnementales sans intervention humaine, produisant des solutions spécialisées pour chaque terrain.
• Limites et Avenir : Bien que les résultats soient prometteurs en simulation, le passage au réel (sim-to-real) et les contraintes de fabrication restent des défis. Les travaux futurs visent à intégrer des contraintes matérielles réelles et à générer conjointement la morphologie et la politique de contrôle.

En conclusion, RoboMorph valide l'hypothèse que l'association de la connaissance a priori des LLM et de la pression de sélection évolutionnaire constitue une méthode puissante pour l'automatisation de la conception robotique, capable de dépasser les limites des approches traditionnelles.