RoboMorph: Evolving Robot Morphology using Large Language Models

Probleemstelling

Het ontwerpen van robot-morfologieën (de fysieke structuur en vorm) is een fundamentele uitdaging in de robotica. Traditionele benaderingen zijn tijdrovend, afhankelijk van menselijke intuïtie en slecht geschikt om de enorme ruimte van mogelijke ontwerpen te verkennen. Bestaande geautomatiseerde methoden, zoals evolutionaire algoritmen (EA) of zoekmethoden gebaseerd op grafen (bijv. Robogrammar), hebben vaak te kampen met:

• Hoge rekenkosten en lange doorlooptijden.
• Beperkte schaalbaarheid bij toenemende complexiteit.
• Vastzitten in lokale optima door het gebruik van starre heuristieken of incrementele mutaties.
• Moeilijkheden om onconventionele, maar effectieve oplossingen te vinden die buiten menselijk intuïtief denken vallen.

Methodologie: RoboMorph Framework

RoboMorph is een geautomatiseerd framework dat Large Language Models (LLMs) combineert met evolutionaire algoritmen, robot-grammatica's en reinforcement learning (RL) voor controle-evaluatie. Het proces verloopt in een gesloten lus (zie Figuur 2 in het artikel) en bestaat uit de volgende stappen:

1. Prompting Strategie (Best-Shot Prompting):

   • In plaats van een traditionele mutatie-operator, fungeert de LLM (GPT-4o) als een stochastische generator van nieuwe ontwerpen.
   • De prompt bevat een systeemprompt met de regels van een contextvrije grammatica (gebaseerd op Robogrammar) die fysiek haalbare, modulaire robots definieert.
   • De user prompt vraagt om een stap-voor-stap redenering (Chain-of-Thought) over het ontwerp.
   • Few-shot voorbeelden: De prompt wordt aangevuld met de beste ontwerpen uit de vorige generatie (inclusief hun redenering, maar zonder numerieke fitness-scores om overfitting te voorkomen). Dit stimuleert diversiteit en verbetert de validiteit van de output.

2. Generatie en Compilatie:

   • De LLM genereert een tekstuele representatie van een robotontwerp volgens de grammatica.
   • Een compiler converteert deze tekst naar een XML-bestand compatibel met de MuJoCo-simulatieomgeving (via MJX). Ongeldige ontwerpen worden verworpen.

3. Simulatie en Evaluatie (RL):

   • Voor elk geldig ontwerp wordt een locomotie-beheersingsbeleid getraind in simulatie met behulp van het SAC-algoritme (Soft Actor-Critic).
   • De fitness-score wordt bepaald door de gemiddelde voorwaartse snelheid van de robot over een reeks rollouts in specifieke omgevingen (vlak, ruw, bevroren, en met balken).

4. Evolutionaire Selectie:

   • De populatie wordt bijgewerkt door de top-K ontwerpen te behouden.
   • Deze beste ontwerpen dienen als nieuwe few-shot voorbeelden voor de volgende iteratie.
   • Dit creëert een evolutionaire lus waarbij variatie (via de LLM) en selectie (via RL) samenwerken om de populatie te verbeteren.

Belangrijkste Bijdragen

1. Eerste Integratie: RoboMorph is het eerste framework dat LLM-generatie, evolutionaire algoritmen, robot-grammatica's en RL-controle integreert voor het automatiseren van robotmorfologie-ontwerp.
2. LLM als Mutatie-operator: Het demonstreert dat het behandelen van een LLM als een mutatie-operator concurrerende of superieure ontwerpen oplevert in vergelijking met traditionele graf-zoekmethodes (Robogrammar), terwijl het veel meer structurele diversiteit genereert.
3. Onconventionele Ontdekkingen: Het systeem ontdekt morfologieën die door menselijke ontwerpers of traditionele heuristieken vaak worden over het hoofd gezien, zoals wielaangedreven viervoeters of zeshoekige looprobots.

Resultaten

De methode werd getest op vier verschillende terreintypes met 8 verschillende random seeds over 50 generaties:

• Vlak terrein: RoboMorph ontdekte een wielaangedreven viervoeter met korte ledematen. Dit ontwerp presteerde significant beter dan de benen-alleen oplossing van Robogrammar, omdat rollend contact energie-efficiënter is op gladde oppervlakken.
• Bevroren terrein (ijs): Het systeem vond een zeshoekige robot (hexapod) met een brede basis en stijve gewrichten. Dit biedt meer stabiliteit en tractie op gladde oppervlakken dan de bipedale structuur van Robogrammar.
• Ruig terrein (ribbels): Een viervoeter met verlengde ledematen en kniegewrichten die het mogelijk maken om over obstakels te stappen. De prestaties waren vergelijkbaar met Robogrammar.
• Balken-terrein: Een compacte, laagprofiel ontwerping die onder balken kan kruipen.

Vergelijking met Robogrammar:

• RoboMorph bereikte gelijke of betere fitness-scores dan Robogrammar op alle gedeelde terreinen.
• RoboMorph is in staat om "niet-lokale sprongen" in de ontwerpruimte te maken (bijv. direct van viervoeter naar zeshoekige robot), terwijl traditionele methoden beperkt zijn tot incrementele wijzigingen.
• Hoewel de totale rekentijd per seed hoger is (ca. 200 GPU-uur vs. 31 CPU-uur voor Robogrammar), is de wall-clock tijd door parallelisatie (op 8 A100 GPU's) acceptabel (~25 uur).

Betekenis en Toekomstperspectief

De studie toont aan dat LLMs, wanneer gekoppeld aan evolutionaire selectie, effectieve generatieve operators kunnen zijn voor robotontwerp. Ze kunnen de beperkingen van handmatige mutatie-operatoren overwinnen door gebruik te maken van hun brede kennis van structurele composities.

• Diversiteit: Het systeem genereert kwalitatief verschillende morfologieën zonder expliciete diversiteitsdoelstellingen, puur gedreven door de fitness-signalen van de omgeving.
• Toepassingsgebied: Deze aanpak is niet beperkt tot robotica, maar kan worden toegepast op andere domeinen met grammatica-gedwongen ontwerpen, zoals mechanische systemen, meubels en architectuur.
• Uitdagingen: De huidige beperkingen liggen in de simulatie-naar-realiteit transfer (sim-to-real) en productiebeperkingen. Toekomstig werk richt zich op het uitbreiden van het ontwerpruimte, het genereren van zowel robot als beleid tegelijkertijd, en het testen op echte hardware.

Kortom, RoboMorph markeert een verschuiving van handmatig ontworpen zoekstrategieën naar een data-gedreven, LLM-gestuurde benadering die sneller en creatiever nieuwe robotvormen kan ontdekken.