Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning

Sintesi Tecnica: Addestrare Neuroni di Silicio Lenti per Controllare Robot Estremamente Veloci con l'Apprendimento per Rinforzo Spiking

Problematica

L'automazione robotica affronta un collo di bottiglia critico in termini di efficienza energetica. Sebbene le reti neurali su larga scala abbiano ottenuto un successo senza precedenti, i loro costi di addestramento e inferenza (megawatt-ora e rapido esaurimento della batteria) sono incompatibili con le piattaforme mobili che operano con budget nell'ordine dei milliwatt. Al contrario, il cervello umano raggiunge un complesso apprendimento motorio con circa 20 W di potenza e pochi esempi di addestramento. Sebbene l'hardware neuromorfico offra una via per l'efficienza energetica attraverso l'elaborazione asincrona ed event-driven, le dimostrazioni esistenti di apprendimento per rinforzo (RL) con Reti Neurali Spiking (SNN) sono state ampiamente confinate a benchmark semplificati (ad esempio, giochi 2D con azioni discrete e osservazioni a bassa dimensionalità).

La sfida centrale affrontata in questo lavoro è la scalabilità dell'RL neuromorfico alla manipolazione robotica nel mondo reale, caratterizzata da:

1. Alta dimensionalità: Uno spazio di stato continuo a 6D (posizione/velocità del disco e coordinate dell'end-effector).
2. Vincoli fisici: Controllo preciso dell'end-effector con latenze meccaniche.
3. Dinamiche temporali: Traiettorie del disco a 1,0–1,5 m/s che richiedono una pianificazione predittiva con controllo a 50 Hz e integrazione della fisica a 1 ms.

Gli autori indagano se una rete compatta di neuroni di silicio "lenti", operanti su un processore neuromorfico a segnale misto, possa controllare un robot "estremamente veloce" in un compito di air hockey ad alta velocità.

Metodologia

Configurazione Sperimentale

Il sistema opera in una configurazione Hardware-in-the-Loop (HIL) utilizzando la simulazione MuJoCo di un ambiente di air hockey.

• Robotica: Un manipolatore antropomorfo controlla un end-effector a forma di martello su un tavolo di 1,038 × 1,948 m.
• Ciclo di Controllo: Opera a 50 Hz. L'agente seleziona una tra due azioni discrete corrispondenti a primitive di movimento predefinite (Target Home o Target Forward). Queste primitive vengono eseguite come traiettorie balistiche a ciclo aperto tramite un risolutore di cinematica inversa integrato.
• Fisica: Integrata a 1000 Hz per modellare la dinamica senza attrito del disco e le collisioni elastiche.

Architettura della Rete

Il sistema utilizza il chip neuromorfico a segnale misto analogico-digitale DYNAP-SE. L'architettura è un setup di computing a riserva (reservoir computing) con una parte di lettura plastica:

• Strato di Input: 60 generatori di spike basati su FPGA. Sei variabili di stato (posizione $x, y$ e velocità $v_x, v_y$ del disco, e posizione $x, y$ dell'end-effector) sono codificate come codici di popolazione utilizzando profili di attività gaussiana su 10 neuroni ciascuno.
• Strato Nascosto (Reservoir): 1020 neuroni AdEx-LIF in silicio con sinapsi feedforward casuali fisse. Questo strato cattura la struttura temporale del compito senza richiedere aggiornamenti dei pesi.
• Strato di Lettura (Readout): 2 unità lineari che rappresentano la probabilità di selezionare l'Azione 0 o l'Azione 1. I pesi che collegano lo strato nascosto alla lettura sono plastici.
• Regola di Apprendimento: Il sistema impiega e-prop (eligibility propagation), una regola di apprendimento locale che approssima la backpropagation attraverso il tempo. Gli aggiornamenti dei pesi dipendono solo dall'attività pre- e post-sinaptica locale combinata con un segnale di ricompensa globale, consentendo un apprendimento completamente online. La regola di aggiornamento è:
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  Dove $\bar{s}$ è l'attività filtrata, $r_t$ è la ricompensa e $\pi$ è la probabilità dell'azione.

Funzione di Ricompensa

Una ricompensa scalare $r_t$ viene calcolata ad ogni step per incoraggiare il movimento in avanti del disco e l'intercettazione precisa:

• +20: Ricompensa terminale se il disco supera il target ($x_p > 1,5$ m) con quantità di moto in avanti ($v_x > 0,1$ m/s).
• $0,2 v_x$: Ricompensa di shaping proporzionale alla velocità in avanti se l'end-effector si trova entro 0,08 m dal disco.
• -0,1: Penalità per ogni step per minimizzare la durata dell'episodio.

Protocollo di Addestramento

L'addestramento avviene per 2000 episodi per ogni sessione sperimentale, ripetuta per 10 seed casuali indipendenti per tenere conto della stocasticità del chip. Il sistema impara solo in modalità "sveglia" (senza una fase di "sogno" offline in questa specifica implementazione), affidandosi all'interazione in tempo reale.

Contributi Principali

Il documento rivendica tre contributi primari nello scaling dell'RL neuromorfico dai videogiochi alla robotica fisica:

1. Oltre i Giochi Semplici: Transizione dai semplici giochi a griglia all'air hockey del mondo reale con codifica dello stato continuo a precisione adattiva.
2. Dal Controllo Discreto al Continuo: Dimostrazione dell'RL neuromorfico per primitive di movimento continue che eseguono traiettorie balistiche a 50 Hz, richiedendo decisioni predittive piuttosto che a livello di frame.
3. Generalizzazione sotto Incertezza: Raggiungimento di un apprendimento robusto (96–98% di successo) nonostante la randomizzazione delle posizioni e delle velocità del disco (1,0–1,5 m/s), provando che il sistema può adattarsi a condizioni iniziali variabili.

Risultati

• Efficienza dell'Apprendimento: Il sistema ha raggiunto un gameplay robusto entro 1500–2000 episodi.
• Performance:
  • Disco Stazionario: 100% di successo entro 200 trial.
  • Velocità Costante: 100% di successo dopo 1000 episodi.
  • Velocità Variabile (1,0–1,5 m/s): Il successo si è stabilizzato sopra il 96% dopo 1500 episodi.
  • Posizione e Velocità Randomizzate: Il successo si è stabilizzato sopra il 98% dopo 1300 episodi.
• Test di Scalabilità:
  • Range di velocità stretti ([0,7, 0,9] m/s) hanno raggiunto >97% di successo in ~150 episodi.
  • Range più ampi ([0,7, 1,5] m/s) hanno richiesto ~700 episodi e hanno mostrato un modesto calo nel successo asintotico (dal 97% al 93%), indicando un degrado graduale piuttosto che un fallimento catastrofico.
• Consolidamento Comportamentale: Il comportamento pre-addestramento era erratico e stocastico. Post-addestramento, l'agente mostra una strategia deterministica e temporalmente precisa, caratterizzata da un impegno precoce verso una traiettoria di intercettazione seguito da manovre correttive precise.

Significato e Rivendicazioni

Gli autori pongono questo lavoro come la prima risposta affermativa alla domanda se i sistemi di RL neuromorfico possano scalare verso stati ad alta dimensionalità, controllo a tempo continuo e vincoli temporali stretti tipici della robotica reale.

• Colmare il Divario: Il lavoro dimostra che gli approcci ispirati al cervello possono affrontare compiti di interazione rapida (velocità del disco di 1,5 m/s) supportando al contempo l'apprendimento "always-on" nelle macchine intelligenti.
• Efficienza: Il sistema ha raggiunto prestazioni stabili utilizzando solo 1020 neuroni, una riduzione di 10 volte rispetto alle precedenti simulazioni di RL bio-ispirate per l'air hockey che richiedevano circa 10.000 neuroni.
• Praticità: Co-progettando l'hardware e gli algoritmi di apprendimento (usando e-prop su DYNAP-SE), il sistema consente l'apprendimento in tempo reale con un computer e un chip neuromorfico in loop, validando la fattibilità dell'addestramento di reti neurali spiking per sistemi robotici autonomi senza fare affidamento su regole di apprendimento non locali e computazionalmente costose.

Il documento conclude che l'apprendimento sensomotorio complesso è realizzabile con un processore a segnale misto compatto, evidenziando il potenziale per un controllo adattivo ed efficiente dal punto di vista energetico nella robotica autonoma.