Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

I computer moderni sono incredibilmente potenti, ma sono anche voraci. Man mano che l'intelligenza artificiale diventa più complessa, l'energia necessaria per gestirla è diventata un collo di bottiglia, specialmente per i dispositivi che devono funzionare per lunghi periodi con piccole batterie, come i robot o i sensori in natura. Per risolvere questo problema, gli scienziati si sono rivolti a un modo diverso di pensare all'informatica, uno che imita il cervello umano. Invece di elaborare le informazioni in un flusso costante e continuo come una calcolatrice tradizionale, questi sistemi "neuromorfici" utilizzano minuscoli impulsi asincroni di informazioni chiamati "spike". Questo metodo è molto più efficiente perché il sistema lavora solo quando c'è qualcosa di nuovo da elaborare. Tuttavia, insegnare a queste macchine simili al cervello come apprendere nuovi compiti mentre sono in funzione è stato un ostacolo importante. Nella maggior parte dei design, lo stato interno di un neurone — la sua "memoria" di ciò che ha appena ricevuto — è nascosto all'interno dell'hardware, rendendo quasi impossibile per il sistema regolare le proprie connessioni e imparare dai propri errori senza sensori esterni costosi e dispendiosi in termini di energia.

Un team di ricercatori della Seoul National University e del Korea Institute of Science and Technology ha ora dimostrato un modo per insegnare a questi sistemi senza mai dover sbirciare dentro i neuroni. Hanno costruito un nuovo tipo di chip in cui il processo di apprendimento si basa solo su segnali che sono già visibili sulla superficie: la corrente elettrica che scorre tra i componenti e la temporizzazione degli spike stessi. Progettando l'hardware e il software di apprendimento affinché lavorino insieme, hanno creato un sistema in grado di apprendere sul chip, utilizzando un singolo transistor per agire contemporaneamente come sinapsi, neurone e generatore di segnali di apprendimento. Questo approccio elimina la necessità di leggere la tensione interna nascosta di un neurone, un passaggio che precedentemente richiedeva circuiti ingombranti e dispendiosi in termini di energia. Il risultato è una piattaforma unificata che è non solo più piccola e semplice, ma anche capace di apprendere continuamente, adattandosi alle nuove informazioni pur ricordando ciò che ha già appreso.

Il cuore di questa svolta risiede nel modo in cui i ricercatori hanno risolto il problema dell' "accesso allo stato". In un cervello artificiale tradizionale, per insegnare a un neurone di attivarsi al momento giusto, il computer deve sapere esattamente quanta carica elettrica è presente al suo interno in un dato momento. Nell'hardware fisico, questa carica è intrappolata all'interno del dispositivo e misurarla richiede circuiti complessi e ad alto consumo energetico che vanificano lo scopo di avere un sistema a bassa potenza. I ricercatori si sono resi conto che non avevano bisogno di misurare questa carica nascosta se avessero potuto usare la corrente che fluisce nel neurone come un indicatore indiretto. Hanno sviluppato un metodo chiamato gradiente surrogato basato sulla corrente. Invece di chiedere "quanto è piena la batteria del neurone?", il sistema chiede "quanta corrente sta scorrendo proprio ora?". Se la corrente è entro un intervallo specifico e sano, il sistema sa che il neurone sta imparando correttamente. Se la corrente è troppo alta o troppo bassa, sa che è necessario un aggiustamento. Ciò consente al chip di generare i propri segnali di apprendimento utilizzando solo i dati naturalmente disponibili nei punti di connessione tra i neuroni.

Per far sì che questo funzioni nel mondo reale, il team ha fabbricato un chip speciale utilizzando un processo di produzione standard, ma con un tocco astuto. Hanno utilizzato un tipo di transistor che poteva svolgere tre lavori diversi a seconda di come veniva configurato. Un gruppo di questi transistor fungeva da sinapsi, ovvero le connessioni che memorizzano la forza di una memoria. Un altro gruppo fungeva da neuroni, che accumulano carica elettrica finché non raggiungono un punto critico e scoccano uno spike. Il terzo gruppo fungeva da meccanismo di apprendimento, osservando la corrente e decidendo quando inviare un segnale di correzione. Poiché tutti e tre i componenti sono costruiti con lo stesso elemento fondamentale, possono essere impacchettati densamente su un singolo chip. I ricercatori hanno dimostrato che questi transistor potevano memorizzare in modo affidabile diversi livelli di peso, integrare i segnali in entrata nel tempo e scoccare spike in un modello che imita i neuroni biologici. Fondamentalmente, il componente di apprendimento poteva rilevare quando il sistema operava correttamente o incorrettamente semplicemente guardando la corrente, senza la necessità di accedere alla tensione interna nascosta del neurone.

Il team ha testato questo sistema attraverso estese simulazioni al computer che utilizzavano il comportamento reale misurato dei loro chip fisici. Hanno addestrato la rete su una varietà di compiti, che andavano dal riconoscimento di cifre scritte a mano all'identificazione di oggetti complessi nelle immagini e all'interpretazione di flussi video da telecamere basate su eventi. In questi test, il nuovo metodo ha performato allo stesso modo dei metodi di apprendimento tradizionali che si affidano al pieno accesso agli stati interni. Il sistema è stato in grado di apprendere nuove classi di oggetti senza dimenticare quelle che aveva già padroneggiato, una capacità nota come apprendimento continuo. Questo è un risultato significativo perché molti tentativi precedenti di insegnare a questi sistemi direttamente sul chip hanno portato all' "oblio catastrofico", dove l'apprendimento di qualcosa di nuovo cancellava i vecchi ricordi. Utilizzando i loro nuovi segnali di apprendimento, i ricercatori hanno dimostrato che il sistema poteva adattarsi alle nuove informazioni mantenendo al contempo la conoscenza precedente, anche quando l'hardware stesso era imperfetto e rumoroso.

Le implicazioni per l'efficienza energetica sono sostanziali. I ricercatori hanno stimato che, utilizzando il loro approccio analogico basato su spike, l'energia necessaria per eseguire un'inferenza — prendere una decisione basata su nuovi dati — potrebbe essere ridotta di oltre il 60 percento rispetto ai sistemi completamente digitali. In alcune configurazioni specifiche, i risparmi sono stati ancora più alti, superando l'85 percento. Ciò accade perché il sistema evita l'enorme costo energetico della conversione dei segnali analogici in numeri digitali e viceversa, e consuma energia solo quando avviene uno spike. Sebbene il processo di insegnamento del chip richieda inizialmente ancora alcuni impulsi ad alta tensione che consumano energia, i ricercatori hanno sottolineato che questo costo è un evento unico o raro, mentre il risparmio energetico durante l'operatività quotidiana è continuo e significativo.

Questo lavoro non sostiene di aver risolto ogni problema dell'intelligenza artificiale, né suggerisce che questi chip siano pronti a sostituire i processori dei vostri smartphone domani. I ricercatori sono stati attenti a sottolineare che, sebbene i segnali di apprendimento funzionino bene, il costo energetico completo di un sistema di apprendimento completamente integrato non è ancora stato misurato in un dispositivo reale. Ci sono ancora sfide nello scalare la produzione e nell'integrare i circuiti di controllo necessari per gestire questi chip. Tuttavia, lo studio fornisce una chiara prova di concetto del fatto che è possibile costruire un computer simile al cervello che impara da solo senza dover vedere i propri pensieri interni. Progettando l'hardware affinché parli la stessa lingua dell'algoritmo di apprendimento, il team ha aperto la strada verso macchine adattive ed efficienti dal punto di vista energetico, capaci di apprendere ed evolversi nel mondo reale, proprio come i cervelli biologici che sono progettati per emulare.