Hebbian Attractor Networks for Robot Locomotion

1. Il Problema

Gli approcci attuali all'apprendimento robotico seguono prevalentemente un paradigma "addestra-poi-dispiega": una politica neurale viene ottimizzata in simulazione per un compito specifico con pesi statici. Una volta distribuita, la rete non può adattarsi a condizioni impreviste (deriva dei sensori, variazioni del terreno, danni meccanici) perché i suoi pesi rimangono fissi.
Al contrario, i sistemi nervosi biologici possiedono la plasticità sinaptica continua, permettendo loro di modificarsi e adattarsi durante tutta la vita dell'organismo. Sebbene le reti neurali Hebbiane (HNN) offrano un meccanismo bio-ispirato per l'adattamento in tempo reale, la dinamica dei pesi in questi sistemi è spesso poco compresa. In particolare, come le modifiche dei pesi interagiscono con il controllo, stabilizzano il comportamento o prevengono dinamiche instabili (come la crescita illimitata o il caos) rimane un campo di ricerca aperto.

2. Metodologia: Hebbian Attractor Networks (HAN)

Gli autori introducono una nuova classe di reti neurali plastiche chiamate Hebbian Attractor Networks (HAN). L'obiettivo è indurre dinamiche di attrattore emergenti nello spazio dei pesi attraverso una struttura a due scale temporali e tecniche di normalizzazione.

Componenti Chiave:

• Aggiornamento Hebbiano Locale: I pesi sinaptici vengono aggiornati online basandosi sulla co-attivazione delle neuroni pre- e postsinaptici, utilizzando una regola generalizzata (regola ABCD).
• Normalizzazione Max (Max Normalization - MN): Per prevenire la crescita illimitata dei pesi, dopo ogni aggiornamento i pesi di uno strato vengono ridimensionati in modo che il valore assoluto massimo sia 1. Questo non solo stabilizza i pesi, ma induce comportamenti ricorrenti strutturati.
• Dual-Timescale Plasticity (Doppia Scala Temporale): A differenza delle HNN tradizionali che aggiornano i pesi ad ogni passo temporale, le HAN separano la frequenza del controllo del robot ($f_{NN}$) dalla frequenza degli aggiornamenti Hebbiani ($f_{hebb}$). Gli aggiornamenti avvengono meno frequentemente ($\tau_{hebb} > \tau_{NN}$).
• Media Temporale delle Attivazioni: Le attivazioni pre- e postsinaptiche utilizzate per l'aggiornamento non sono istantanee, ma sono medie mobili (Moving Average, MA) calcolate su una finestra temporale $M$. Questo smussa i segnali e permette alla regola di apprendimento di reagire a dinamiche temporali più lunghe.

Dinamiche degli Attrattori

La combinazione di queste tecniche permette di generare due tipi distinti di dinamiche negli attrattori:

1. Cicli Limite Co-dinamici: Aggiornamenti frequenti e senza media temporale portano a pesi che oscillano in sincronia con il ciclo di andatura del robot.
2. Attrattori a Punto Fisso: Aggiornamenti più lenti combinati con una finestra di media temporale più ampia inducono i pesi a convergere verso una configurazione stabile (punto fisso) dopo una fase iniziale di adattamento.

3. Contributi Principali

1. Analisi Sistematica delle HAN: Il lavoro fornisce un'analisi dettagliata di come la frequenza di aggiornamento e la media delle attivazioni influenzino le prestazioni e la dinamica dei pesi in compiti di locomozione continua.
2. Caratterizzazione degli Attrattori: Dimostra che è possibile progettare intenzionalmente l'evoluzione dei pesi per convergere verso punti fissi stabili o cicli limite, offrendo un controllo qualitativo sulle dinamiche della rete.
3. Generalizzazione ad Alti Dimensionali: Convalida che queste dinamiche non sono limitate a robot semplici, ma si estendono con successo alla locomozione quadrupede su un robot simulato Unitree Go1.

4. Risultati Sperimentali

Benchmark di Locomozione (Gymnasium)

Gli autori hanno testato le HAN su ambienti standard (Swimmer, Hopper, HalfCheetah, Walker2d) confrontandole con:

• Reti statiche evolute (MLP, GRU).
• Algoritmi di Reinforcement Learning basati su gradiente (PPO).

Risultati:

• Le HAN con normalizzazione max (MN) e scale temporali disaccoppiate superano le reti statiche senza bias e competono o superano le reti ricorrenti (GRU) e MLP con bias.
• Sebbene il PPO con architetture più grandi ottenga i punteggi assoluti più alti, le HAN dimostrano che la plasticità intrinseca può migliorare le prestazioni di architetture compatte oltre quanto possibile con l'evoluzione statica o l'ottimizzazione diretta.

Analisi delle Dinamiche dei Pesi

• Condizione (B) - Aggiornamenti rapidi/sincroni: I pesi oscillano periodicamente (ciclo limite), sincronizzati con il movimento. Interrompere gli aggiornamenti Hebbiani causa il crollo dell'andatura, indicando che il ciclo limite è parte integrante del controllo.
• Condizione (E) - Aggiornamenti lenti/mediati: I pesi convergono rapidamente verso un punto fisso. Una volta raggiunta l'andatura stabile, i pesi smettono di cambiare significativamente.
• Robustezza: In un esperimento di perturbazione (un ostacolo che colpisce il robot), la rete con attrattore a punto fisso (Condizione E) si adatta temporaneamente per recuperare l'andatura e poi converge nuovamente allo stesso punto fisso, dimostrando una robustezza superiore rispetto ai cicli limite.

Adattamento Morfologico

In un test di danno morfologico (accorciamento di una gamba), le HAN mantengono prestazioni più consistenti su scenari non visti rispetto al PPO, che eccelle solo sui dati di addestramento. Tuttavia, in questo scenario specifico, anche le HAN tendono a convergere verso cicli limite, suggerendo che l'evoluzione preferisce dinamiche oscillatorie quando è richiesta una rapida adattamento a modalità di locomozione qualitativamente diverse.

Robot Unitree Go1

Sul robot quadrupede simulato, le HAN con configurazione a punto fisso (Condizione E) hanno dimostrato la capacità di convergere verso andature stabili dopo una fase iniziale, confermando la scalabilità del metodo a sistemi ad alta dimensionalità.

5. Significato e Conclusioni

Questo lavoro fornisce una caratterizzazione principiale di come la tempistica della plasticità (frequenza di aggiornamento e finestra di media) modelli le dinamiche neurali nei sistemi incarnati.

• Implicazioni: Dimostra che la plasticità Hebbiana non è solo un meccanismo di apprendimento, ma può essere ingegnerizzata per creare dinamiche di rete specifiche (stabilità vs. adattamento continuo).
• Limiti e Futuro: L'uso di strategie evolutive (ES) è computazionalmente costoso e inefficiente in termini di campioni. I futuri lavori potrebbero esplorare l'uso di segnali di ricompensa per modulare localmente la plasticità (neuromodulazione) per abilitare il passaggio autonomo tra diversi attrattori, colmando il divario tra simulazione e realtà.

In sintesi, le Hebbian Attractor Networks offrono un ponte tra l'adattabilità biologica e il controllo robotico, permettendo ai robot di possedere una "memoria a vita" che evolve durante l'operazione, garantendo sia stabilità che resilienza in ambienti dinamici.