Technische Samenvatting: ECo-MoE: Embodiment-Conditioned Mixture of Experts Verhoogt de Evolveerbaarheid van Robots

Probleemstelling

De co-optimatie van robotmorfologie en besturing (co-design) staat voor een fundamentele afweging tussen schaalbaarheid en prestatie. Bestaande benaderingen vallen doorgaans in twee inefficiënte uitersten:

1. Individuele beleidslijnen: Het trainen van een op maat gemaakte besturingspolitiek voor elk uniek robotontwerp is rekenkundig onhaalbaar voor het evolutieproces van grote populaties.
2. Monolithische universele controllers: Het trainen van één "universele" controller voor alle ontwerpen (zoals gedaan in recent state-of-the-art werk van Li et al., 2025) resulteert vaak in te conservatieve structuren en gedragingen. Deze aanpak worstelt met generalisatie over sterk uiteenlopende morfologieën en faalt om adequaat te exploreren in schaarse of misleidende zoeklandschappen, zeker naarmate de taakcomplexiteit toeneemt.

Bovendien is evolutie, hoewel een krachtig mechanisme voor het genereren van algemeen intelligente agenten en nieuwe morfologische ontwerpen, rekenkundig duur. Het verminderen van de morfologische resolutie om evolutie hanteerbaar te maken, gaat vaak ten koste van de relevantie voor de robotica in de echte wereld. De auteurs zoeken een middenweg die voorouderlijke kennis behoudt terwijl het modulaire aanpassing aan nieuwe lichaamsplannen toestaat zonder hardverdiende besturingskennis te verstoren.

Methodologie

Het paper introduceert ECo-MoE (Embodiment-Conditioned Mixture of Experts), een kader dat een distributie van latente ontwerpvectoren (genotypen) en een mengsel van besturingsexperts (neuronale modules) co-optimiseert.

1. Gezamenlijk Co-Optimatie Kader

Het systeem werkt op twee tijdschalen:

• Evolutie (Langzamer): Update de latente distributie $N(\mu, \Sigma)$ van genotypen $z \in \mathbb{R}^{512}$ met CMA-ES. Elk genotype wordt via een vooraf getrainde Variational Autoencoder (VAE) gedecodeerd naar een 3D endoskeletale morfologie (64³ voxels) bestaande uit zacht weefsel en stijve botten.
• Leren (Sneller): Update de controllerparameters met PPO. De controller ontvangt de toestand van de robot $s$ en zijn latente genotype $z$ om acties $a$ te produceren.
• Doelstellingen: Het systeem maximaliseert een dichte gedragsbeloning $R(\tau)$ (voor leren) en een schaarse ontwerpfitness $F(\tau)$ (voor evolutie).

2. Embodiment-Conditioned Mixture of Experts (ECo-MoE)

In plaats van één monolithisch beleid, bestaat de controller uit $K=4$ expert-subnetwerken (verkleinde Graph Transformers) en een gating-netwerk.

• Gating-mechanisme: Een lineaire gating-laag neemt het latente genotype $z$ als invoer om routing-weights te produceren $w_\phi(z) = \text{softmax}(Wz + b)$.
• Beleid-aggregatie: Het uiteindelijke beleid is een gewogen som van expert-outputs:
  $$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$$
• Diversiteitsregularisatie: Om "expert-collapse" te voorkomen (waarbij de poort zich slechts op één expert verlaat), stimuleert een verliesterm $L_{div}$ onderscheidende routing-weights voor genotypen die ver uit elkaar liggen in de latente ruimte. Dit zorgt ervoor dat verschillende lichaamsplannen verschillende combinaties van geleerde sensorimotorische circuits activeren.

3. "Evo by Demo"

Het kader introduceert een mechanisme om evolutie te sturen met behulp van voorkennis:

• Injectie van vooraf getrainde experts: Een specifieke expert in het mengsel wordt vervangen door een beleid dat vooraf is getraind op een specifieke "voorontworpen demo" (bijvoorbeeld een specifieke viervoeter). Zijn parameters worden bevroren.
• Initialisatie van latente prior: Het gemiddelde en de standaardafwijking van de initiële latente distributie kunnen worden ingesteld op basis van de latente codering van de voorontworpen demo.
• Sturing van compatibiliteit: Een geleerde compatibiliteitsscore $\hat{c}_g(z)$ (de poortweight toegewezen aan de bevroren expert) wordt gebruikt om de fitness-score te verrijken: $\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$. Dit stuurt de evolutie naar morfologieën die compatibel zijn met de besturingsstrategie van de vooraf getrainde expert.

Belangrijkste Bijdragen

1. Modulair Co-Design: Het paper stelt een schaalbaar alternatief voor monolithische controllers voor door gebruik te maken van een mengsel van experts dat wordt gestuurd door het latente genotype van de robot. Dit maakt het mogelijk om verschillende delen van de controller te herschikken voor nieuwe soorten zonder kennis in andere modules te verstoren.
2. Verhoogde Evolveerbaarheid: De auteurs tonen aan dat modulariteit de mogelijkheid van robots om effectief gedrag te evolueren in complexe omgevingen (bijvoorbeeld rechtop lopen en ruw terrein) significant verbetert in vergelijking met niet-modulaire baselines.
3. Stuurbare Evolutie ("Evo by Demo"): Het paper introduceert een methode om vrije evolutie te sturen naar canonieke structuren die worden gedefinieerd door vooraf getrainde modellen, waardoor het exploratieve vermogen van evolutie effectief wordt gecombineerd met de precisie van supervised learning.

Resultaten

Experimenten werden uitgevoerd in drie omgevingen: Vlakke Grond, Rechtop Lopen en Putten (ruw terrein).

• Prestatiewinst:

  • Vlakke Grond: ECo-MoE presteerde vergelijkbaar met de baseline (monolithische controller), aangezien simpele verplaatsingstaken geen specialisatie op basis van embodiment vereisen.
  • Complexe Taken: ECo-MoE presteerde aanzienlijk beter dan de baseline bij Rechtop Lopen en Putten. De modulaire aanpak stelde het systeem in staat om meer diverse en robuuste ontwerpen te evolueren die in staat zijn om houding te behouden en obstakels te navigeren.
  • Parameter-efficiëntie: Ondanks het gebruik van meerdere experts was de totale beleidsgrootte van ECo-MoE iets kleiner dan die van de baseline, met aanzienlijk minder parameters die per expert aan actiegeneratie waren gewijd.

• Analyse van Evolveerbaarheid:

  • Visualisatie van de latente ruimte toonde aan dat ECo-MoE niet per se een groter gebied exploreerde dan de baseline, maar wel een betere exploitatie bereikte van de tegengekomen ontwerpen.
  • Routing-weights pasten zich dynamisch aan over generaties, waarbij experts gespecialiseerd raakten in specifieke structurele kenmerken.
  • Het systeem was robuust voor het aantal experts (getest met 2, 4 en 8), waarbij 4 de beste balans bood.

• Evo by Demo:

  • Het combineren van een voorontworpen initialisatie met een bevroren vooraf getrainde expert (CoSteering) was de meest effectieve methode om evolutie te sturen naar specifieke morfologische kenmerken (bijvoorbeeld radiale symmetrie en specifiek ledemaataantal).
  • Deze aanpak produceerde geëvolueerde robots met een hoger "effectief-ledemaataantal" en lagere "mass-bias-vector-magnitudes" (meer gebalanceerde anatomie) in vergelijking met willekeurige initialisatie.
  • Hoewel PredesignOnly (initialisatie zonder vooraf getrainde expert) hoge fitness bereikte, produceerde CoSteering morfologieën die structureel het meest leken op de doel-demo.

Betekenis en Claims

Het paper beweert dat ECo-MoE een hoog niveau abstractie biedt van modulaire cross-embodiment besturingssystemen die in de natuur voorkomen, waarbij gedeelde modulaire genen en neurale circuits diverse lichaamsdelen en bewegingspatronen genereren.

• Schaalbaarheid: De aanpak biedt een schaalbaar pad voor het evolueren van complexe geëmbodimenteerde agenten door besturing te ontkoppelen van specifieke morfologieën terwijl een unificerend kader wordt behouden.
• Controleerbaarheid: Door modulaire modificatie toe te staan, resulteert het systeem in de evolutie van meer controleerbare ontwerpen, wat bufferend werkt tegen schadelijke mutaties.
• Praktische Implicaties: Het werk suggereert een pad voor de robotica waarbij "evo by demo" de ontdekking kan sturen van nieuwe, zachtgebouwde robots met gewenste eigenschappen, wat mogelijk leidt tot agenten die gunstiger en minder gevaarlijk zijn dan huidige stijve vormen.
• Beperkingen: De auteurs merken bescheiden op dat de huidige VAE-latente ruimte moeite heeft met het reconstrueren van vormen buiten de verdeling (zoals bipeden of hexapoden) die niet goed vertegenwoordigd zijn in de trainingsdata. Zij suggereren dat toekomstig werk het aanpassen van de VAE incrementeel tijdens de evolutie kan omvatten om de latente variëteit uit te breiden. De experimenten zijn momenteel beperkt tot gesimuleerde terrestrische locomotie, met fysieke realisatie en meer diverse gedragingen (zwemmen, manipulatie) geïdentificeerd als toekomstige stappen.