Benefits of Low-Cost Bio-Inspiration in the Age of Overparametrization

Probleemstelling

In het veld van evolutionaire robotica (ER) worden vaak twee dominante paradigma's gebruikt voor robotbesturing: Centrale Pattern Generators (CPGs) en Multi-Layer Perceptrons (MLP). Hoewel beide veelvuldig worden toegepast, ontbreekt het aan systematisch onderzoek naar de relatieve voordelen van grote parameter ruimtes (overparametrization) in contexten met beperkte input- en outputruimtes.

De auteurs stellen dat in scenario's waar de robot beperkte proprioceptieve (sensorische) capaciteiten heeft, het hebben van meer parameters om te optimaliseren het leerproces kan hinderen in plaats van versterken. Er is een gebrek aan richtlijnen voor het kiezen van de juiste controller-architectuur voor robots met beperkte sensoren, en of de trend in Reinforcement Learning (RL) om steeds grotere modellen te gebruiken ook zinvol is voor low-cost, modulaire robotica.

Methodologie

De studie voert een systematische vergelijking uit tussen verschillende neurale architecturen en trainingsmethoden op een specifieke modulaire robot ("spider"-morphologie) met 8 actuatoren (scharnieren).

1. Robotplatform:

• Morphologie: Een "spider" met 8 scharnieren (4 heup- en 4 kniegewrichten).
• Sensoren: Beperkt tot 8 dimensies (positie van de scharnieren), in tegenstelling tot RL-benchmarks die vaak >100 observaties gebruiken (zoals globale rotatie en krachten).
• Simulatie: MuJoCo via het ARIEL-platform.

2. Architecturen:

• CPG (Central Pattern Generators): Netwerken van gekoppelde neuronen die ritmische patronen genereren. De auteurs variëren de "neighbourhood" (connectiviteit) van 0 tot 6, wat leidt tot parameter ruimtes van 8 tot 36 parameters.
• MLP (Multi-Layer Perceptrons): Kunstmatige neurale netwerken met variabele diepte ($d \in \{0, 1, 2\}$) en breedte ($w$). De auteurs testen zowel perceptrons (geen verborgen lagen) tot diepe netwerken.

3. Trainingsalgoritmen:

• CMA-ES (Covariance Matrix Adaptation Evolutionary Strategy): Een gradiëntvrije evolutionaire strategie. Wordt toegepast op zowel CPGs als MLPs.
• PPO (Proximal Policy Optimization): Een gradiëntgebaseerde RL-methode. Wordt uitsluitend toegepast op MLPs (geen standaardoplossing voor CPGs beschikbaar).

4. Beloningsfuncties (Reward Functions):
Drie verschillende functies worden gebruikt om verschillende looppatronen te stimuleren:

• Speed ($R_s$): Maximaliseer de snelheid in x-richting.
• Gymnasium ($R_g$): Maximaliseer snelheid, maar straft grote controlekrachten en contactkrachten af (bevordert zuinig bewegen).
• Kernels-based ($R_k$): Radiale Basis Functies (RBF) die een specifieke snelheid, hoogte en stabiliteit belonen (gebalanceerde gang).

5. Evaluatiemetrics:
Naast ruwe prestatie introduceert de auteurs een nieuwe metric: Parameter Impact ($I_F$). Deze meet de efficiëntie door de genormaliseerde prestatie te delen door de logaritme van het aantal parameters ($\hat{f} / \log_{10}(p)$). Dit kwantificeert hoeveel waarde elke extra parameter toevoegt.

Belangrijkste Bijdragen

1. Systematische Vergelijking: Een uitgebreide studie die CPGs en MLPs vergelijkt onder verschillende trainingsregimes (CMA-ES vs. PPO) en beloningsfuncties.
2. Parameter Impact Metric: Introductie van een nieuwe metric om overparametrization empirisch te meten in plaats van a priori te definiëren.
3. Validatie van "Low-Cost": Bewijs dat voor robots met beperkte sensorische input, kleine, bio-geïnspireerde netwerken vaak superieur zijn aan grote, diepe netwerken.
4. Open Source Reproductie: Het gebruik van "off-the-shelf" bibliotheken (Stable Baselines3, MuJoCo) om de reproduceerbaarheid te waarborgen.

Resultaten

• Prestatie vs. Aantal Parameters:

  • CPGs: Presteren beter naarmate ze meer parameters hebben (dichtere connectiviteit, zoals $c_4$ en $c_6$), maar blijven binnen een zeer klein parameterbereik (max 36 parameters).
  • MLPs: Vertonen een "belvormige" curve. Te grote netwerken (overparametrization) leiden tot slechtere prestaties, vooral bij CMA-ES. De beste MLP-architecturen zijn zeer ondiep (bijv. 2 lagen met 8 neuronen of zelfs geen verborgen lagen).
  • Vergelijking: Een toename van parameters met 27.958% (bij PPO/MLP) leverde slechts een prestatieverbetering van 47% op ten opzichte van CPGs, wat de inefficiëntie van grote modellen aantoont.

• Invloed van Trainingsalgoritme:

  • CMA-ES presteert over het algemeen beter dan PPO in termen van efficiëntie en prestatie, vooral omdat het gradiëntvrij is en geen "critic"-component nodig heeft die de parameterruimte explodeert.
  • PPO faalt vaak bij de "Gymnasium"-beloning ($R_g$) omdat de straf voor grote bewegingen het leerproces verstoort, terwijl CPGs door hun inherente ritmische aard hier beter mee omgaan.

• Cross-Prestatie (Generalisatie):

  • CPGs tonen een betere "cross-performance": een model getraind voor één doel presteert vaak redelijk goed op andere doelen. Dit wordt toegeschreven aan de ingebouwde bias van CPGs voor ritmische patronen.
  • MLPs zijn specifieker; een model getraind voor snelheid faalt vaak bij het behouden van een stabiele gang.

• Diversiteit:

  • MLPs genereren een bredere verscheidenheid aan looppatronen (diversiteit in de 16D-ruimte van de potenbeweging), terwijl CPGs beperkter zijn maar wel consistenter goede resultaten leveren.

Significantie en Conclusie

De studie concludeert dat overparametrization in de context van robotica met beperkte sensorische input vaak contraproductief is.

• Efficiëntie: Shallow MLPs en dicht verbonden CPGs bieden de beste balans tussen expressiviteit en prestatie.
• Advies: Voor low-cost, modulaire robotica zijn evolutionaire strategieën (CMA-ES) gecombineerd met bio-geïnspireerde, kleine netwerken (CPGs) superieur aan complexe RL-modellen (PPO/MLP).
• Toekomst: De resultaten suggereren dat de machine learning-trend naar steeds grotere modellen niet automatisch vertaalbaar is naar de robotica, waar fysieke beperkingen en sensorische input de complexiteit van het probleem definiëren. De auteurs pleiten voor het gebruik van hiërarchische architecturen of het behoud van kleine, doelmatige netwerken in plaats van blind te vertrouwen op schaalwetten.