Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Sintesi Tecnica: Reti Neurali Spiking per il Controllo Continuo tramite Apprendimento Model-Based End-to-End

Problematica
Nonostante i recenti progressi nell'addestramento di Reti Neurali Spiking (SNN) per la classificazione, la loro applicazione al controllo motorio continuo rimane limitata. Mentre i cervelli biologici utilizzano la comunicazione basata su spike per un comportamento motorio robusto, adattivo e a bassa latenza, tradurre questo in sistemi di apprendimento automatico pratici per la robotica è una sfida. Il collo di bottiglia principale è la difficoltà di addestrare le SNN end-to-end per compiti continui. A differenza delle standard Reti Neurali Artificiali (ANN) e delle Reti Neurali Ricorrenti (RNN) dotate di gate, che beneficiano di gradienti fluidi, le SNN esibiscono discontinuità dovute alle non linearità degli spike. Ciò ha tradizionalmente spinto la ricerca verso regole di plasticità locale, adattamento online o paradigmi di addestramento indiretti, piuttosto che verso un'ottimizzazione end-to-end basata su principi. Inoltre, gli approoli esistenti al controllo SNN spesso si affidano a modelli analitici, regole di apprendimento locali o conversione da ANN a SNN, che frequentemente mancano di scalabilità verso il controllo continuo ad alto numero di gradi di libertà (DoF) o di robustezza rispetto a dinamiche non modellate.

Metodologia
Gli autori propongono un'architettura Predictive-Control (Pred-Control) SNN, un framework di controllo model-based completamente spiking, addestrato end-to-end utilizzando gradienti surrogati. Il sistema consiste in due reti spiking addestrabili:

1. Rete di Predizione (Modello Forward): Una rete spiking ricorrente che predice i cambiamenti futuri dello stato ($\Delta \hat{s}_t$) dato lo stato corrente ($s_t$) e l'input di controllo ($u_t$). Utilizza neuroni Leaky Integrate-and-Fire (LIF) con costanti temporali apprendibili e soglie adattive opzionali.
2. Rete di Policy (Modello Inverse): Una rete spiking feedforward che inferisce l'azione di controllo ottimale ($u_t$) basandosi sullo stato corrente ($s_t$) e su uno stato target ($s^*_t$).

Strategie e Componenti Chiave di Addestramento:

• Gradienti Surrogati: La funzione di spike non differenziabile viene approssimata durante il passaggio backward utilizzando funzioni surrogate fluide (specificamente Gaussian Spike) per abilitare l'ottimizzazione basata sul gradiente.
• Architettura: Entrambe le reti impiegano neuroni LIF. La rete di predizione include connessioni ricorrenti per inferire variabili di stato nascoste (come la velocità) da osservazioni parziali, mentre la rete di policy è feedforward.
• Costanti Temporali Apprendibili: Le costanti temporali di membrana ($\tau_{mem}$) e sinaptiche ($\tau_{syn}$) sono trattate come parametri apprendibili (inizializzate tramite inizializzazione guidata dalla fluttuazione) per consentire alla rete di adattare la propria dinamica temporale intrinseca alle richieste del compito.
• Soglie Adattive (ALIF): Il modello incorpora neuroni ALIF con soglie di base deperibili e adattamento innescato dallo spike. Questo meccanismo riattiva i neuroni silenti e previene la sovraattivazione persistente, migliorando l'assegnazione del credito (credit assignment) su orizzonti temporali lunghi.
• Compressione dello Spazio Latente: Per migliorare l'efficienza dei parametri, l'architettura impiega la compressione dello spazio latente tra gli strati spiking, consentendo strati più ampi entro un budget di parametri fisso.
• Pipeline di Addestramento: Le reti vengono addestrate iterativamente utilizzando un replay buffer. Il modello di predizione viene aggiornato tramite teacher forcing, mentre la policy viene ottimizzata eseguendo il rollout del modello di predizione congelato per generare stime di stato differenziabili per la perdita della policy.

Configurazione Sperimentale
Il framework è stato valutato su due ambienti di controllo continuo simulati:

1. Braccio Planare 2D: Un braccio a due giunti con osservabilità parziale (senza dati di velocità), utilizzato per lo screening degli iperparametri.
2. Braccio Robotico 3D (6-DoF): Un robot Franka Emika Panda simulato con controllo di coppia, che rappresenta un compito di controllo continuo ad alta dimensionalità.

Risultati Chiave

• Performance vs. Parametri: Nel compito di raggiungimento (reaching) a 6-DoF, la piena SNN Pred-Control ha raggiunto prestazioni del compito (distanza cumulativa, tasso di successo, tempo sul target) comparabili a una grande baseline ricorrente non-spiking (circa 12,7M di parametri), nonostante utilizzi un ordine di grandezza in meno di parametri (circa 0,9M).
• Studi di Ablazione:
  • Costanti Temporali Apprendibili: Hanno migliorato significativamente la convergenza e la performance finale, particolarmente nel compensare una sottottimale inizializzazione.
  • Soglie Adattive (ALIF): Hanno potenziato le prestazioni stabilizzando i tassi di firing e permettendo ai neuroni silenti di riattivarsi, facilitando un migliore credit assignment su lunghi orizzonti.
  • Compressione Latente: Ha permesso strati spiking più ampi a parità di budget di parametri, fornendo trade-off favorevoli tra performance ed efficienza.
• Predizione vs. Controllo: Le baseline non-spiking hanno ottenuto un errore quadratico medio (MSE) di predizione a lungo orizzonte inferiore, ma ciò non si è tradotto in una performance di controllo superiore. La SNN ha ottenuto un'efficacia di controllo comparabile nonostante predizioni autoregressive meno accurate, suggerendo che un controllo efficace richiede un modello sufficientemente espressivo per catturare le dinamiche rilevanti per il compito piuttosto che una perfetta fedeltà di predizione.
• Stabilità: La SNN proposta ha mostrato dinamiche di ottimizzazione più fluide e stabili rispetto ai controllori spiking di base, sebbene abbia appreso più gradualmente rispetto alle baseline non-spiking.

Significatività e Rivendicazioni
Il documento sostiene che architetture interamente spiking possono essere addestrate end-to-end per controllare bracci robotici con molteplici gradi di libertà in ambienti continui, colmando il divario tra gli strumenti di addestramento del deep learning e il calcolo biologicamente ispirato.

I contributi chiave includono:

1. Scalabilità: Stabilire le SNN come un substrato vitale e scalabile per il controllo continuo ad alta dimensionalità senza richiedere pre-addestramento ANN, conversione o vincoli specifici dell'hardware.
2. Design Principato: Evidenziare come specifiche scelte di design architettonico e di addestramento — ovvero costanti temporali apprendibili, soglie adattive e compressione dello spazio latente — siano critiche per un addestramento stabile e un controllo efficace nel dominio spiking.
3. Controllo Model-Based: Dimostrare che l'integrazione di modelli predittivi appresi nel loop di controllo permette alle SNN di scalare verso compiti ad alta dimensionalità e a lungo orizzonte.
4. Efficienza: Mostrare che un controllo ad alte prestazioni può essere ottenuto con sostanzialmente meno parametri rispetto alle reti ricorrenti equivalenti non-spiking.

Gli autori posizionano questo lavoro come un passo verso la costruzione di sistemi di controllo scalabili, adattabili ed efficienti dal punto di vista energetico che unifichino l'apprendimento profondo con il calcolo predittivo, portando le SNN oltre i benchmark di classificazione verso un calcolo incarnato (embodied) e adattivo. Essi riconoscono le limitazioni riguardanti l'overhead computazionale della backpropagation-through-time (BPTT) e l'attuale dipendenza dal rate coding, suggerendo che il lavoro futuro dovrebbe esplorare metodi di apprendimento online (es. e-prop) e schemi di codifica degli spike alternativi.