Scalable platform enabling reservoir computing with nanoporous oxide memristors for image recognition and time series prediction

Sintesi Tecnica: Piattaforma Scalabile per il Reservoir Computing con Memristor di Ossido Nanoporoso

Problematica
Le attuali implementazioni di reti neurali, in particolare quelle che gestiscono segnali spazio-temporali come serie temporali e linguaggio, affrontano sfide significative riguardanti l'efficienza energetica, la scalabilità dell'hardware e la necessità di connettività online ai server. Sebbene il Reservoir Computing (RC) offra un'alternativa promettente utilizzando pesi casuali fissi in uno strato nascosto per elaborare dati temporali con bassi costi di addestramento, le realizzazioni fisiche spesso soffrono di problemi di scalabilità e complessità strutturale. Gli approcci esistenti che utilizzano array magnetici, fotonici o di memristor standard soffrono frequentemente di limitata interconnessione tra i dispositivi, scarsa scalabilità e della difficoltà di creare stati interni veramente casuali e ad alta dimensionalità, necessari per compiti complessi. Inoltre, molte dimostrazioni fisiche di RC non sono state rigorosamente testate contro la predizione di serie temporali caotiche senza il reservoir, né hanno sfruttato appieno il potenziale dell'inomogeneità intrinseca del materiale per il calcolo "in materia".

Metodologia
Gli autori hanno sviluppato una piattaforma di reservoir computing fisico scalabile, basata su memristor di ossido di niobio (NbOx) volatili con inomogeneità strutturale intrinseca.

• Fabricazione del Dispositivo: Il nucleo del sistema è un pacchetto di dispositivi a film sottile composto da un elettrodo inferiore di platino nanoporoso (np-Pt) da 20 nm, uno strato di commutazione di NbOx drogato con azoto da 80 nm, uno strato di adesione di Ti da 3 nm e elettrodi superiori di Pt da 120 nm. La nanoporosità dell'elettrodo inferiore è stata creata tramite sputtering magnetronico DC di Pt in una miscela di Ar:O₂ seguita da ricottura ad alta temperatura. Questo processo induce una distribuzione casuale di nanopori (raggio medio ~29 nm) che si propagano nello strato di NbOx, creando percorsi conduttivi unici e non identici per ogni elettrodo superiore.
• Meccanismo del Reservoir Fisico: Il dispositivo opera come un memristor volatile in cui la commutazione resistiva è guidata dal riscaldamento per effetto Joule. La nanoporosità intrinseca crea percorsi di corrente casuali e non lineari, agendo efficacemente come un reservoir fisico con pesi interni casuali fissi e una memoria a breve termine svanente (isteresi).
• Task Sperimentali:
  1. Task XOR: Input binari logici sono stati codificati come impulsi di tensione (0V o 1,75V) per testare la separabilità non lineare.
  2. Riconoscimento di Immagini: Immagini binarie di cifre 0–9 (5x3 pixel) sono state convertite in sequenze di impulsi di tensione per testare il riconoscimento di pattern.
  3. Predizione Lorenz-63: Il sistema è stato incaricato di predire e ricostruire la serie temporale caotica tridimensionale di Lorenz-63 ($X(t), Y(t), Z(t)$). La serie temporale è stata convertita in forme d'onda di tensione e applicata sequenzialmente al reservoir.
• Readout e Addestramento: Le risposte di corrente da tre canali di uscita attivi sono state registrate simultaneamente. Queste correnti, combinate con la tensione di input, hanno formato un vettore concatenato utilizzato per addestrare uno strato di lettura lineare (Simple Linear Perceptron o Regressione Logistica) tramite software esterno. Lo studio ha confrontato le prestazioni con il reservoir (input di tensione + corrente) rispetto a un baseline senza il reservoir (solo tensione).

Contributi Chiave

1. Casualità Intrinseca tramite Nanoporosità: Il documento introduce un metodo per creare un reservoir fisico dove la casualità è inerente alla struttura del materiale (nanopori) piuttosto che richiedere complessi cablaggi esterni o array crossbar. Ciò consente molteplici canali di uscita distinti da un singolo footprint del dispositivo.
2. Calcolo "In Materia": Il sistema esemplifica il calcolo "in materia", dove il materiale stesso funge da mezzo computazionale parallelo, contrastando con gli approcci che collegano dispositivi discreti e identici.
3. Benchmarking su Sistemi Caotici: Gli autori forniscono un benchmark rigoroso del loro reservoir fisico contro il complesso sistema caotico Lorenz-63, confrontando esplicitamente le prestazioni con e senza il reservoir per dimostrare la necessità della memoria fisica e della non linearità.
4. Ricostruzione della Forma d'Onda: Lo studio dimostra la capacità di ricostruire componenti mancanti di un sistema caotico (ad esempio, predire $Y(t)$ e $Z(t)$ partendo da $X(t)$) utilizzando il reservoir fisico, un compito che è fallito o performato poveramente senza il reservoir.

Risultati

• Task XOR: Un Single Layer Perceptron (SLP) standard non è riuscito a risolvere il problema XOR (accuratezza del 50%). Tuttavia, il sistema RC fisico ha raggiunto il 100% di accuratezza sia in fase di training che di test, proiettando l'input in uno spazio ad alta dimensionalità tramite le uscite di corrente del reservoir.
• Riconoscimento di Immagini: Il sistema ha raggiunto il 100% di accuratezza nel riconoscimento delle cifre 0–9 dopo 14 iterazioni di addestramento utilizzando un singolo canale di uscita. Le cifre con pattern di pixel simili (ad esempio 3 e 5) hanno mostrato una certezza inferiore con meno iterazioni, ma sono state risolte con un addestramento sufficiente.
• Predizione Lorenz-63:
  • Il reservoir ha superato significativamente il baseline senza reservoir. I valori di Root Mean Square Error normalizzato (NRMSE) sono stati sostanzialmente inferiori quando sono stati utilizzati i dati di corrente dal reservoir.
  • I migliori valori di NRMSE sono stati rispettivamente $1,2 \times 10^{-2}$, $1,5 \times 10^{-2}$ e $1,4 \times 10^{-2}$ per $V_X(t)$, $V_Y(t)$ e $V_Z(t)$, con una finestra di predizione di 1 step e una finestra passata di 100 step.
  • I parametri ottimali di conversione della tensione sono stati identificati come un offset ($V_0$) di 0,5 V e un range ($V_{Range}$) di 2,5 V, evidenziando il concetto di "physics-aware training".
• Ricostruzione Lorenz-63: Il sistema ha ricostruito con successo $V_Y(t)$ e $V_Z(t)$ partendo da $V_X(t)$ con alta precisione. La ricostruzione di $V_X(t)$ e $V_Y(t)$ partendo da $V_Z(t)$ è fallita, in linea con le proprietà matematiche del sistema Lorenz (problemi di simmetria), validando l'allineamento del sistema fisico con i vincoli teorici.
• Confronto: Sebbene un reservoir a 9 output precedentemente modellato numericamente avesse riportato valori di NRMSE inferiori, gli autori osservano che il loro sistema sperimentale a 3 output ha performato in modo soddisfacente con meno output e meno iterazioni computazionali, suggerendo guadagni di efficienza.

Significato e Dichiarazioni
Il documento sostiene di aver dimostrato una piattaforma scalabile ed efficiente dal punto di vista energetico per l'elettronica neuromorfica capace di gestire compiti temporali complessi. Sfruttando l'inomogeneità strutturale intrinseca dei memristor di ossido nanoporosi, gli autori mostrano che è possibile creare un reservoir fisico che imiti la connettività casuale dei cervelli biologici senza l'overhead hardware dei tradizionali array crossbar.

Gli autori posizionano questo lavoro come un passo verso "dispositivi on-chip accessibili dall'industria" per applicazioni quali la predizione di serie temporali rilevanti per l'industria o flussi atmosferici complessi. Enfatizzano che il sistema opera in modalità offline, offrendo vantaggi in termini di sicurezza e latenza. Il lavoro unisce i concetti di RC basato su memristor di ossido e calcolo "in materia", provando che tali sistemi possono raggiungere prestazioni computazionali paragonabili ad altri sistemi di memristor di ossido pur mantenendo i benefici di scalabilità del calcolo basato sul materiale. Gli autori suggeriscono con modestia che futuri miglioramenti nell'accuratezza della predizione potrebbero essere ottenuti scalando il numero di canali di input/output tramite litografia, piuttosto che rivendicare un'immediata superiorità rispetto a tutti i modelli numerici esistenti.