Technische Samenvatting: Neuromorfische Controle van een Gesimuleerde door SMA Aangedreven Meerbenige Robot met behulp van een Spiking Neuraal Netwerk

Probleemstelling

Conventionele besturingsstrategieën voor zachte robots, met name die worden aangedreven door vormgeheugenlegeringen (Shape Memory Alloys, SMA's), vertrouwen voornamelijk op open-loop, vooraf ontworpen periodieke signalen. Deze aanpak staat voor aanzienlijke uitdagingen door de hoge dimensionaliteit van zachte robotsystemen en de sterke nonlineariteiten die inherent zijn aan SMA-actuatoren, zoals thermische hysterese en verzadigingskarakteristieken. Het handmatig ontwerpen en afstemmen van gecoördineerde bewegingen voor systemen met veel vrijheidsgraden is moeilijk, en open-loop controllers missen het aanpassingsvermogen om om te gaan met omgevingsveranderingen (bijv. obstakels, hellingen) of materiaaldegradatie.

Hoewel Deep Reinforcement Learning (DRL) een pad biedt naar adaptieve controle, maken standaard DRL-benaderingen vaak gebruik van Artificiële Neurale Netwerken (ANN's) die computationeel duur en energie-inefficiënt kunnen zijn tijdens inferentie. Bovendien delen SMA's mechanische responskarakteristieken met biologische spieren (bijv. drempelgedrag, verzadiging en temporele sommatie van pulsinputs), wat suggereert dat een controlearchitectuur die de biologische neurale verwerking nabootst, bijzonder geschikt zou kunnen zijn. De specifieke uitdaging die wordt geadresseerd is het ontwikkelen van een energie-efficiënte, autonome controlemethode die kan leren de nietlineaire dynamica van SMA-actuatoren te exploiteren zonder te vertrouwen op handmatig signaalontwerp.

Methodologie

Robotmodel en Actuatie

De auteurs hebben een door een zeester geïnspireerde meerbenige zachte robot gemodelleerd in de MuJoCo physics simulator. De robot bestaat uit een centraal torso en vijf poten die radiaal zijn gerangschikt. Elke poot bestaat uit zes scharniergewrichten (totaal 30 vrijheidsgraden) en wordt aangedreven door een SMA-draad (flexor) en een passief elastisch element (extensor).

• SMA-model: Een vereenvoudigd constitutief model gebaseerd op het werk van Brinson werd gehanteerd, waarbij de nadruk lag op computationele efficiëntie. Het model benadert de voortgang van de fase-transformatie ($\xi$) als een functie van temperatuur alleen, waarbij de expliciete stressafhankelijkheid wordt genegeerd. De gegenereerde kracht is evenredig met $\xi$.
• Thermische Dynamica: De temperatuurontwikkeling van de SMA-draad wordt beheerst door een energiebehoudvergelijking die rekening houdt met Joule-verwarming en warmteafvoer. Het model bevat thermische hysterese door verschillende overgangstemperaturen te gebruiken voor verwarmings- en koelingsprocessen.
• Actuatie-logica: De controle-input is een genormaliseerde stroomwaarde ($u \in [0,1]$). Het systeem simuleert de fysieke limieten van temperatuurstijging en koelsnelheden om numerieke instabiliteit te voorkomen.

Spiking Actor Network (SAN)

De kernbijdrage is een op Spiking Neural Networks (SNN) gebaseerde Deep Reinforcement Learning-methode met behulp van het Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritme.

• Architectuur: Het actor-netwerk wordt vervangen door een Spiking Actor Network (SAN) bestaande uit:
  1. Encoder: Zet continue observaties van de toestand om in spike-treinen met behulp van populatiecodering en een drempelmechanisme.
  2. FC SNN: Een volledig verbonden netwerk met twee verborgen lagen van 256 Leaky Integrate-and-Fire (LIF) neuronen.
  3. Decoder: Zet de output spike-treinen terug naar continue actiewaarden (controlesignalen voor de SMA's) via rate coding.
• Afhandeling van de Interne Toestand: In tegenstelling tot standaard TD3 wordt de replay buffer uitgebreid om membraanpotentiaal-informatie ($m_t$ en $m_{t+1}$) op te slaan naast toestand, actie en beloning. Dit maakt het mogelijk om de interne dynamica van de SNN nauwkeurig te reproduceren tijdens de bemonsteringsfase van de training.
• Trainingsalgoritme:
  • Surrogate Gradient (SG): De niet-differentieerbare stapfunctie van het LIF-neuron wordt afgehandeld met behulp van de snelle sigmoidfunctie als een surrogate gradiënt tijdens backpropagation.
  • Regularisatie: Een regularisatieterm ($\alpha \|m_n\|_2^2$) wordt toegevoegd aan de loss-functie van de actor om de gekwadrateerde membraanpotentialen te minimaliseren. Dit stimuleert het genereren van acties met minder spike-vuren, wat de energie-efficiëntie tijdens inferentie verbetert.

Experimentele Opstelling

• Taak: Autonome locomotie richting een doelwit.
• Toestandsruimte: Een 9-dimensionale vector bestaande uit SMA-lengtes, de relatieve positie van de tip van de eerste straal, en de vector van het centrum van de torso naar het doel.
• Beloningsfunctie: Een samengestelde beloning die progressie naar het doel bevordert, afstand tot het doel bestraft, en de L2-norm van de actievector bestraft om energie-efficiëntie te stimuleren.
• Omgeving: MuJoCo physics simulator met een tijdstap van 10ms (1000ms observatie/actie interval).

Belangrijkste Resultaten

Bewegingsevaluatie en SMA-dynamica

Initiële experimenten stelden de relatie vast tussen de spike-vurengesteldheid en de buigingshoek van een enkele poot. De resultaten bevestigden sterke nonlineariteit, drempeleffecten en verzadiging, wat het gedrag van biologische spieren nabootst. Een cruciale bevinding was het bestaan van een optimale aandrijfperiode: perioden langer dan de relaxatietijd ($T_{ext} \approx 20-25$s) veroorzaken rustintervallen, terwijl perioden korter dan $T_{ext}$ leiden tot onvolledige extensie en verspilde energie.

Autonome Locomotie-leren

De SAN slaagde erin de robot te besturen in twee scenario's: rechte lijn locomotie en doelbereikende (oblieke) locomotie.

• Leerprogressie:
  • Vroege fase (30k stappen): Geen duidelijke periodiciteit; minimale beweging.
  • Middelste fase (50k stappen): Emergentie van periodieke vurende patronen en beperkte voorwaartse beweging.
  • Late fase (300k stappen): Continue, stabiele locomotie met een gecoördineerde gang.
• Gangkenmerken:
  • Periodiciteit: De geleerde vurengesteldheid stabiliseerde zich op ongeveer 24–26 seconden, wat nauw overeenkomt met de fysieke relaxatietijd van de SMA-actuatoren gemeten in de basisexperimenten.
  • Coördinatie: De agent leerde de vijf poten aan te sturen met specifieke faseverschillen in plaats van ze te synchroniseren. Zo leidden bij de taak in een rechte lijn Straal 2 en Straal 5, terwijl de Straal 3 en 4 bijna in anti-fase waren met Straal 1.
  • Adaptiviteit: Wanneer de positie van het doel veranderde, paste de agent de contractietiming en de fase-relaties van de stralen dynamisch aan, in plaats van te vertrouwen op een vast invoerpatroon.

Energie-efficiëntie

De inclusie van de membraanpotentiaal-regularisatieterm onderdrukte succesvol excessief spike-vuren tijdens de inferentie, wat aansluit bij het doel van energie-efficiënte neuromorfische controle.

Betekenis en Claims

Het artikel claimt dat de voorgestelde methode het potentieel demonstreert van autonome neuromorfische controle voor energie-efficiënte locomotie van zachte robots. Specifiek:

1. Autonome Verwerving van Fysieke Beperkingen: De agent leerde impliciet de thermodynamische responsvertragingen en de outputverzadiging van de SMA-actuatoren, waardoor een aandrijfperiode werd verkregen die overeenkomt met de fysieke relaxatietijd zonder handmatige afstemming.
2. Emergente Coördinatie: Door interactie met de omgeving ontwikkelde de SNN autonoom een gecoördineerde gang met geordende fase-propagatie-dynamiek. Dit bootst de empirisch ontworpen gangen van eerder werk na, maar wordt bereikt zonder open-loop voorontwerp.
3. Energie-efficiëntie: Door gebruik te maken van de gebeurtenisgestuurde aard van SNN's en een regularisatieterm om membraanpotentialen te minimaliseren, biedt de methode een pad naar lager vermogen tijdens inferentie vergeleken met traditionele ANN-gebaseerde DRL.
4. Adaptiviteit: De controller slaagde erin zich aan te passen aan verschillende doelposities door de vurende patronen en fase-relaties dynamisch aan te passen, wat robuustheid tegen taakvariaties aantoont.

De auteurs concluderen dat leer-gebaseerde neuromorfische controle de beperkingen van conventionele open-loop controle voor hoog-dimensionale, nietlineaire kunstmatige spiersystemen kan overwinnen. Zij merken op dat hoewel de resultaten veelbelovend zijn in simulatie, toekomstig werk vereist dat de transfer van deze policies naar fysieke robots (sim-to-real) wordt gevalideerd, waarbij zij erkennen dat parameters in de echte wereld (koelsnelheden, wrijving, materiaaleleasticiteit) kunnen afwijken van de simulatie.