Résumé Technique : DEBATE2CREATE (D2C)

Formulation du Problème

La co-conception de robots implique l'optimisation conjointe de la morphologie d'un robot ($m$) et de son objectif de contrôle, défini par une fonction de récompense ($r$). Ces deux composantes sont fondamentalement couplées : un changement de la structure corporelle modifie la démarche optimale, tandis qu'un changement des pénalités de récompense peut rendre instable un corps autrement agile. Les approches existantes traitent généralement la morphologie et la récompense comme des problèmes distincts, en optimisant l'un tout en maintenant l'autre fixe. Cela occulte les opportunités de co-adaptation et conduit souvent à des solutions sous-optimales où une récompense ajustée pour une morphologie donnée échoue sur une autre. De plus, la génération par agent unique tend à réutiliser des motifs familiers, limitant la diversité nécessaire à une co-conception efficace. L'espace de recherche conjoint est de haute dimension et non linéaire, rendant l'exploration exhaustive impraticable.

Méthodologie : DEBATE2CREATE

DEBATE2CREATE (D2C) est un cadre multi-agents basé sur des Grands Modèles de Langage (LLM) qui formule la co-conception de robots comme un débat structuré et itératif, ancré dans une évaluation basée sur la physique. Le cadre fonctionne sous un protocole d'apprentissage par renforcement (RL) par candidat à topologie fixe.

Architecture Centrale

Le système emploie une boucle thèse–antithèse–synthèse impliquant des agents spécialisés :

1. Agent de Conception (Design Agent) : Agit comme un ingénieur en conception de robots. Il propose des modifications spécifiques à la morphologie actuelle (ex: longueur des membres, placement des articulations) en se basant sur le contexte de la description de la tâche, les métriques de simulation récentes et une archive « hall-of-fame » des paires conception–récompense les plus performantes.
2. Agent de Contrôle (Control Agent) : Agit comme un ingénieur de fonctions de récompense. Il remplit deux rôles :
   • Antithèse : Critique la morphologie proposée par l'agent de conception avant la simulation, identifiant les problèmes potentiels de contrôlabilité ou les faiblesses structurelles.
   • Génération de Récompense : Après que l'agent de conception a révisé la proposition (Synthèse), l'agent de contrôle génère un extrait de code de fonction de récompense adapté à la nouvelle morphologie.
3. Juges Spécifiques aux Critères : Un panel de quatre juges LLM analyse les métriques de performance du candidat ayant obtenu le meilleur score à chaque tour. Chaque juge se concentre sur un objectif spécifique (vitesse, stabilité, efficacité énergétique ou nouveauté) et fournit un retour textuel. Ce feedback oriente l'exploration pour éviter les optima étroits et met en évidence les compromis multi-objectifs.
4. Simulateur Physique & Archive : Toutes les décisions de sélection sont fondées sur des performances empiriques. Les candidats sont entraînés dans le simulateur physique Brax via PPO ou SAC. Un score de tâche standardisé $S$ (ex: distance parcourue vers l'avant) est utilisé pour classer les candidats dans une archive « hall-of-fame ». L'archive stocke les meilleures paires conception–récompense pour informer les tours de débat ultérieurs.

Distinctions Clés

• Ancrage (Grounding) : Contrairement aux cadres de débat où les LLM arbitrent la force de persuasion, D2C utilise les métriques physiques comme vérité terrain pour la sélection. Les juges LLM ne fournissent qu'une guidance qualitative.
• Séparation de l'Entraînement et de l'Évaluation : La récompense $r$ est utilisée pour entraîner la politique $\pi^*$, mais la sélection finale est basée sur un score de tâche standardisé et indépendant de la récompense $S$ afin de prévenir le « specification gaming » (optimisation abusive des spécifications).
• Fiabilité : Le système inclut des mécanismes d'auto-réparation pour le code de récompense (vérification de la syntaxe et exécution de tests) ainsi qu'une validation XML pour les morphologies, rejetant moins de 1 % des candidats.

Contributions Clés

1. Cadre de Débat Multi-Agents : D2C est le premier cadre qui optimise conjointement la morphologie et la récompense via une boucle de débat dialectique avec séparation des rôles et critique inter-agents.
2. Juges Spécifiques aux Critères : L'utilisation de juges spécialisés fournit un feedback multi-objectif qui améliore la couverture des métriques et oriente l'exploration vers des solutions diverses, plutôt que de s'appuyer sur un seul objectif unifié.
3. Validation Empirique : L'article fournit des études d'ablation et des expériences de transfert démontrant que le débat itératif produit des gains significatifs par rapport à la génération « zero-shot » et que le façonnage de la récompense appris est transférable entre différentes morphologies.

Résultats Expérimentaux

Le cadre a été évalué sur cinq benchmarks de locomotion MuJoCo : Ant, HalfCheetah, Hopper, Swimmer et Walker2D.

• Performance : D2C a obtenu les scores normalisés par défaut les plus élevés parmi tous les baselines basés sur les LLM et les méthodes de boîte noire évalués (incluant RoboMoRe, Eureka et l'Optimisation Bayésienne).
  • Ant : Amélioration de 3,2× par rapport à la morphologie par défaut.
  • Swimmer : Amélioration de près de 9×.
  • Autres : Gains constants de 1,3 à 1,5× sur HalfCheetah, Hopper et Walker2D.
• Débat Itératif vs Zero-Shot : Le débat itératif a généré des gains de 18 à 35 % par rapport à la génération zero-shot avec puissance de calcul équivalente (générant 80 candidats sans feedback).
• Synergie de Co-Conception : Dans 4 tâches sur 5, l'optimisation conjointe de la morphologie et de la récompense a surpassé l'optimisation de l'un ou l'autre composant seul.
• Transférabilité : Les récompenses générées par D2C ont été transférées aux morphologies par défaut (non modifiées), améliorant la performance dans 4 tâches sur 5. Cela suggère que le façonnage appris capture des principes de locomotion transférables plutôt que des astuces spécifiques à une morphologie.
• Diversité : D2C a produit des morphologies structurellement distinctes (ex: postures plus larges, membres plus longs) et des fonctions de récompense avec des combinaisons de caractéristiques différentes par rapport aux baselines.

Signification et Revendications

L'article affirme qu'une interaction multi-agents structurée et ancrée dans le simulateur est un mécanisme utile pour l'optimisation conjointe morphologie–récompense. La preuve principale de l'efficacité du cadre n'est pas seulement les scores finaux, mais le schéma d'amélioration correspondant au mécanisme prévu :

• Validation du Mécanisme : L'écart de performance entre D2C et les baselines zero-shot confirme que la critique et la synthèse itératives guident l'exploration au-delà de la génération en un seul passage.
• Nécessité de la Co-Conception : Les expériences croisées (Tableau 1) démontrent que la recherche de morphologie seule ou de récompense seule ne peut traiter certains modes d'échec spécifiques ; par exemple, dans Hopper, une récompense co-conçue a permis de récupérer un gain de 50 % même lorsque la morphologie seule était moins performante que la morphologie par défaut.
• Rôle des Juges : Les juges agissent comme une aide à la recherche directionnelle, prédisant les changements de paramètres (ex: les critiques de stabilité menant à des modifications du torse) et améliorant la couverture de l'hypervolume de Pareto dans les environnements multi-objectifs.

Les auteurs positionnent D2C comme un artefact de recherche pour le prototypage simulé. Ils reconnaissent les limites concernant l'intensité de calcul, les risques de transfert sim-to-real (specification gaming) et la dépendance vis-à-vis des modèles LLM propriétaires, notant que la méthode est destinée à la recherche et non à un déploiement direct sur matériel sans validation supplémentaire.