Sintesi Tecnica: Controllo Neuromorfico di un Robot Multi-Gamba Simulato a Propulsione SMA mediante una Rete Neurale Spiking

Definizione del Problema

Le strategie di controllo convenzionali per i robot soft, in particolare quelli azionati da Leghe a Memoria di Forma (SMA), si affidano prevalentemente a segnali periodici open-loop pre-progettati. Questo approccio affronta sfide significative dovute all'elevata dimensionalità dei sistemi robotici soft e alle forti non linearità intrinseche agli attuatori SMA, come l'isteresi termica e le caratteristiche di saturazione. Progettare e calibrare manualmente movimenti coordinati per sistemi con molti gradi di libertà è difficile, e i controllori open-loop mancano dell'adattabilità necessaria per gestire i cambiamenti ambientali (ad esempio, ostacoli, pendenze) o il degrado dei materiali.

Sebbene l'Apprendimento per Rinforzo Profondo (DRL) offra una via per il controllo adattivo, gli approveri standard di DRL utilizzano spesso Reti Neurali Artificiali (ANN) che possono essere computazionalmente costose ed energeticamente inefficienti durante l'inferenza. Inoltre, le SMA condividono caratteristiche di risposta meccanica con i muscoli biologici (ad esempio, comportamento soglia, saturazione, somma temporale degli input di impulso), suggerendo che un'architettura di controllo che imiti l'elaborazione neurale biologica potrebbe essere particolarmente adatta. La sfida specifica affrontata è lo sviluppo di un metodo di controllo autonomo ed efficiente dal punto di vista energetico che possa imparare a sfruttare la dinamica non lineare degli attuatori SMA senza fare affidamento sulla progettazione manuale del segnale.

Metodologia

Modello del Robot e Attuazione

Gli autori hanno modellato un robot soft multi-gamba ispirato a una stella marina nel simulatore fisico MuJoCo. Il robot presenta un torso centrale e cinque gambe disposte radialmente. Ogni gamba è composta da sei giunti a cerniera (3otal 30 gradi di libertà) ed è azionata da un filo SMA (flessore) e da un elemento elastico passivo (estensore).

• Modello SMA: È stato adottato un modello costitutivo semplificato basato sul lavoro di Brinson, privilegiando l'efficienza computazionale. Il modello approssima il progresso della trasformazione di fase ($\xi$) come funzione della sola temperatura, trascurando la dipendenza esplicita dallo stress. La forza generata è proporzionale a $\xi$.
• Dinamica Termica: L'evoluzione della temperatura del filo SMA è governata da un'equazione di conservazione dell'energia che tiene conto del riscaldamento per effetto Joule e della dissipazione del calore. Il modello include l'isteresi termica utilizzando diverse temperature di transizione per i processi di riscaldamento e raffreddamento.
• Logica di Attuazione: L'input di controllo è un valore di corrente normalizzato ($u \in [0,1]$). Il sistema simula i limiti fisici dell'aumento di temperatura e dei tassi di raffreddamento per prevenire l'instabilità numerica.

Rete Actor Spiking (SAN)

Il contributo principale è un metodo di Deep Reinforcement Learning basato su una Rete Neurale Spiking (SNN) utilizzando l'algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3).

• Architettura: La rete actor viene sostituita da una Spiking Actor Network (SAN) composta da:
  1. Encoder: Converte le osservazioni continue dello stato in treni di impulsi (spike trains) tramite codifica di popolazione e un meccanismo di soglia.
  2. FC SNN: Una rete completamente connessa con due strati nascosti di neuroni Leaky Integrate-and-Fire (LIF).
  3. Decoder: Converte i treni di impulsi in uscita nuovamente in valori di azione continui (segnali di controllo per le SMA) tramite codifica di frequenza (rate coding).
• Gestione dello Stato Interno: A differenza del TD3 standard, il replay buffer è esteso per memorizzare le informazioni del potenziale di membrana ($m_t$ e $m_{t+1}$) insieme a stato, azione e ricompensa. Ciò consente di riprodurre accuratamente la dinamica interna della SNN durante la fase di campionamento dell'addestramento.
• Algoritmo di Addestramento:
  • Gradiente Sostitutivo (Surrogate Gradient - SG): Il passaggio di funzione soglia non differenziabile del neurone LIF è gestito utilizzando la funzione sigmoide veloce come gradiente sostitutivo durante la backpropagation.
  • Regolarizzazione: Un termine di regolarizzazione ($\alpha \|m_n\|_2^2$) viene aggiunto alla funzione di perdita dell'actor per minimizzare i potenziali di membrana al quadrato. Ciò incoraggia la generazione di azioni con meno scatti di impulsi (spike firing), migliorando così l'efficienza energetica durante l'inferenza.

Setup Sperimentale

• Task: Locomozione autonoma verso un obiettivo target.
• Spazio degli Stati: Un vettore a 9 dimensioni comprendente le lunghezze delle SMA, la posizione relativa della punta del primo raggio e il vettore dal centro del torso all'obiettivo.
• Funzione di Ricompensa: Una ricompensa composita che promuove il progresso verso l'obiettivo, penalizza la distanza dall'obiettivo e penalizza la norma L2 del vettore azione per incoraggiare l'efficienza energetica.
• Ambiente: Simulatore fisico MuJoCo con un passo temporale di 10ms (intervallo di osservazione/azione di 1000ms).

Risultati Chiave

Valutazione del Movimento e Dinamica SMA

Gli esperimenti iniziali hanno stabilito la relazione tra i tassi di scatto degli impulsi e l'angolo di flessione di una singola gamba. I risultati hanno confermato una forte non linearità, effetti di soglia e saturazione, rispecchiando il comportamento muscolare biologico. Un risultato critico è stato l'esistenza di un periodo di guida ottimale: i periodi più lunghi del tempo di rilassamento ($T_{ext} \approx 20-25$s) causano intervalli di inattività, mentre i periodi più brevi di $T_{ext}$ portano a un'estensione incompleta e a uno spreco di energia.

Apprendimento della Locomozione Autonoma

La SAN ha imparato con successo a controllare il robot in due scenari: locomozione in linea retta e locomozione verso un obiettivo (obliqua).

• Progressione dell'Apprendimento:
  • Fase Iniziale (30k passi): Nessuna periodicità chiara; movimento minimo.
  • Fase Intermedia (50k passi): Emergenza di pattern di scatto periodici e movimento limitato in avanti.
  • Fase Avanzata (300k passi): Locomozione continua e stabile con un andatura (gait) coordinata.
• Caratteristiche dell'Andatura:
  • Periodicità: Il periodo di scatto appreso si è stabilizzato a circa 24–26 secondi, corrispondendo strettamente al tempo di rilassamento fisico degli attuatori SMA misurato negli esperimenti di base.
  • Coordinazione: L'agente ha imparato a pilotare le cinque gambe con specifici sfasamenti anziché sincronizzarle. Ad esempio, nel compito di linea retta, il Raggio 2 e il Raggio 5 guidavano, mentre i Raggi 3 e 4 erano quasi in controfase rispetto al Raggio 1.
  • Adattabilità: Quando la posizione dell'obiettivo cambiava, l'agente regolava dinamicamente i tempi di contrazione e le relazioni di fase dei raggi, invece di fare affidamento su un pattern di input fisso.

Efficienza Energetica

L'inclusione del termine di regolarizzazione del potenziale di membrana ha avuto successo nel sopprimere scatti di impulsi eccessivi durante l'inferenza, allineandosi all'obiettivo di un controllo neuromorfico efficiente dal punto di vista energetico.

Significato e Rivendicazioni

L'articolo sostiene che il metodo proposto dimostra il potenziale del controllo neuromorfico autonomo per la locomozione di robot soft efficiente dal punto di vista energetico. Nello specifico:

1. Acquisizione Autonoma dei Vincoli Fisici: L'agente ha appreso implicitamente i ritardi di risposta termodinamica e la saturazione dell'output delle SMA, acquisendo un periodo di guida che corrisponde al tempo di rilassamento fisico senza calibrazione manuale.
2. Coordinazione Emergente: Attraverso l'interazione con l'ambiente, la SNN ha sviluppato autonomamente un'andatura coordinata con dinamiche di propagazione di fase ordinate. Questo imita le andature progettate empiricamente dei lavori precedenti, ma viene ottenuto senza una pre-progettazione open-loop.
3. Efficienza Energetica: Sfruttando la natura event-driven delle SNN e un termine di regolarizzazione per minimizzare i potenziali di membrana, il metodo offre una via per un'inferenza a basso consumo rispetto alle tradizionali DRL basate su ANN.
4. Adattabilità: Il controllore è riuscito ad adattarsi a diverse posizioni dell'obiettivo regolando dinamicamente i pattern di scatto, mostrando robustezza alle variazioni del compito.

Gli autori concludono che il controllo neuromorfico basato sull'apprendimento può superare i limiti del controllo open-loop convenzionale per sistemi a muscoli artificiali ad alta dimensionalità e non lineari. Notano che, sebbene i risultati siano promettenti in simulazione, il lavoro futuro richiede la validazione del trasferimento di queste policy ai robot fisici (sim-to-real), riconoscendo che i parametri del mondo reale (ritmi di raffreddamento, attrito, elasticità del materiale) possono differire dalla simulazione.