Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

Nel mondo dell'intelligenza artificiale, c'è una costante spinta a creare macchine che possano imparare e adattarsi al proprio ambiente, proprio come un bambino che impara a camminare o un uccello che impara a volare. Questo campo, noto come apprendimento per rinforzo (reinforcement learning), insegna ai programmi per computer come prendere decisioni premiandoli per le buone scelte e penalizzandoli per quelle cattive. Per anni, questi sistemi sono diventati incredibilmente abili nel risolvere problemi complessi, dal giocare ai videogiochi al controllo dei robot. Tuttavia, l'hardware che esegue questi programmi intelligenti è spesso ingombrante e consuma una quantità enorme di elettricità, proprio come un potente computer desktop che esegue un videogioco pesante. Gli scienziati stanno ora guardando verso un tipo diverso di architettura informatica ispirata al cervello umano, chiamata hardware neuromorfico. Questi chip specializzati sono progettati per essere molto più efficienti dal punto di vista energetico e più veloci nell'elaborazione delle informazioni, ma funzionano in modo fondamentalmente diverso rispetto ai computer che usiamo ogni giorno. La sfida è stata capire come prendere gli algoritmi complessi e ad alte prestazioni che funzionano bene sui computer standard e tradurli affinché possano girare su questi chip simili al cervello senza perdere la loro capacità di apprendere.

Un team di ricercatori si è posto l'obiettivo di risolvere questo specifico enigma testando un nuovo approccio su un computer standard prima ancora di provarlo sull'hardware specializzato. Si sono concentrati su un tipo di compito difficile chiamato controllo continuo, in cui una macchina deve effettuare regolazioni fluide e costanti per mantenere l'equilibrio o muoversi in avanti, in modo simile a un robot che cerca di attraversare una stanza senza cadere. I ricercatori hanno creato un nuovo sistema chiamato SANSAC, che sta per Spiking Actor Network Soft Actor Critic. Per capire cosa lo renda speciale, aiuta sapere che le reti di intelligenza artificiale standard utilizzano neuroni che emettono un segnale costante, mentre il nuovo sistema utilizza neuroni "spiking" (a impulsi). Questi neuroni a impulsi sono più simili alle cellule biologiche: rimangono silenziosi finché non ricevono abbastanza input per inviare un singolo, netto impulso elettrico, o "spike", e poi tornano silenziosi. Questo metodo è la chiave per creare software che possa eventualmente girare sui chip neuromorfici a basso consumo energetico. Il team voleva vedere se sostituire il cervello standard del loro robot apprendente con questa versione a impulsi avrebbe danneggiato le loro prestazioni o se avrebbe potuto imparare altrettanto bene.

Per trovare la risposta, i ricercatori hanno sottoposto sia il sistema tradizionale che il loro nuovo sistema a impulsi a un test rigoroso in un ambiente simulato noto come Bipedal Walker. In questa simulazione, un robot bipede deve imparare a camminare in avanti senza cadere. Il team ha addestrato entrambe le versioni del software per un massimo di 1.200 tentativi, o episodi, per vedere quanto velocemente ed efficacemente potessero imparare a camminare. Hanno testato i sistemi con diverse dimensioni di memoria interna, da molto piccole a piuttosto grandi, per garantire che i risultati reggessero in varie condizioni. I risultati sono stati sorprendentemente incoraggianti. Il nuovo sistema a impulsi ha imparato a camminare altrettanto bene del sistema tradizionale. Nei test più impegnativi, entrambi i sistemi hanno raggiunto un tasso di successo di circa il 70-80 percento, il che significa che potevano completare con successo il compito di camminare la maggior parte delle volte. I ricercatori non hanno riscontrato differenze statistiche significative nel modo in cui i due sistemi si sono comportati, dimostrando che l'approccio a impulsi non sacrifica l'intelligenza in favore dell'efficienza.

Tuttavia, è stato osservato un chiaro compromesso durante i test. Sebbene il sistema a impulsi si sia comportato altrettanto bene, ha richiesto significativamente più tempo per l'addestramento sul computer standard. I ricercatori hanno notato che la versione a impulsi richiedeva circa il doppio del tempo per completare lo stesso numero di episodi di addestramento rispetto alla versione tradizionale. Ciò è accaduto perché il computer standard è costruito per elaborare le informazioni in linea retta, mentre il sistema a impulsi si basa su tempi e sequenze che sono difficili da simulare su tale hardware. I ricercatori hanno spiegato che questo rallentamento è un artefatto derivante dall'esecuzione della simulazione sul tipo di macchina sbagliato; sui veri chip neuromorfici progettati per questo scopo, il sistema probabilmente girerebbe molto più velocemente, poiché tali chip elaborano questi impulsi in parallelo, proprio come fa un vero cervello. Lo studio non ha misurato il consumo energetico sul computer standard perché i dati erano incoerenti, ma l'obiettivo era dimostrare che l'algoritmo funziona prima di spostarlo sull'hardware dove potrebbe eccellere.

Lo studio ha anche esaminato cosa accade quando i sistemi vengono resi più piccoli, con meno connessioni interne. Come previsto, entrambi i sistemi hanno faticato quando la rete era troppo piccola per gestire la complessità del compito, con tassi di successo che scendevano solo al 10 percento. Ma nella fascia intermedia di dimensioni, il sistema a impulsi è rimasto competitivo, dimostrando di essere abbastanza robusto da gestire l'apprendimento complesso anche quando le risorse sono limitate. I ricercatori hanno concluso che il loro lavoro fornisce una solida base per il futuro dell'intelligenza artificiale neuromorfica. Hanno dimostrato che è possibile progettare algoritmi di apprendimento che siano pronti per questi nuovi chip a basso consumo energetico senza dover accettare un calo delle prestazioni. Sebbene il percorso da seguire richieda ancora test sull'hardware neuromorfico fisico per confermare i benefici energetici, questo articolo conferma che la logica del software è valida. I risultati suggeriscono che il futuro dell'informatica efficiente e simile al cervello non è solo un sogno teorico, ma una realtà pratica che può essere costruita oggi, a patto di essere disposti ad aspettare un po' più a lungo per il completamento dell'addestramento sui nostri attuali computer.