Adaptive Multi-Reservoir Neuromorphic Computing Using Memristive Nanowire Networks Enabled by Training-Induced Reservoir Diversity and Confidence-Guided Routing

Sintesi Tecnica: Calcolo Neuromorfico con Multi-Reservoir Adattivo

Definizione del Problema
Le architetture neuromorfiche convenzionali e i sistemi di Physical Reservoir Computing (PRC) tipicamente elaborano ogni input attraverso una sequenza fissa di stadi computazionali, indipendentemente dalla complessità dell'input o dalla confidenza del sistema nella propria previsione. Questa pipeline statica porta a una spesa computazionale superflua per input che potrebbero essere classificati con sicurezza in stadi più precoci. Mentre i sistemi nervosi biologici esibiscono un'organizzazione gerarchica e una specializzazione funzionale — dove gli input sensoriali semplici vengono risolti rapidamente e quelli difficili reclutano risorse aggiuntive — l'attuale hardware neuromorfico spesso manca di meccanismi per l'allocazione adattiva delle risorse. Inoltre, le strategie di inferenza adattiva guidate dalla confidenza (ad esempio, early exit, computazione condizionale) sono ben consolidate nel deep learning convenzionale, ma rimangono poco esplorate nei sistemi a reservoir fisico, in particolare in quelli basati su reti di nanofili memristivi (NWN).

Metodologia
Gli autori propongono un framework guidato dalla confidenza che utilizza reservoir di reti di nanofili d'argento simulati per abilitare il physical reservoir computing adattivo. La metodologia centrale prevede tre componenti distinti:

1. Generazione e Addestramento del Reservoir: Sono stati generati tre reservoir NWN simulati contenenti 200, 350 e 500 nanofili. A differenza degli approcci tradizionali in cui un singolo reservoir viene addestrato sull'intero dataset, gli autori hanno investigato due condizioni di addestramento:

   • Addestramento Condiviso (Shared Training): Tutti i reservoir sono addestrati sullo stesso sottoinsieme di dati.
   • Addestramento Partizionato (Partitioned Training): Ogni reservoir è addestrato su un sottoinsieme non sovrapponibile di 1.000 immagini MNIST.
     L'input (cifre MNIST codificate temporalmente) è stato elaborato dalla dinamica intrinseca del NWN, e le probabilità di classe sono state generate tramite strati di lettura lineare (regressione logistica multinomiale).

2. Induzione della Diversità: Lo studio ha dimostrato che l'addestramento su sottoinsiemi di dati non sovrapponibili ha indotto una "diversità del reservoir indotta dall'addestramento". Sebbene le accuratezze individuali rimanessero comparabili tra diverse dimensioni di rete, l'addestramento partizionato ha creato pattern di errore complementari e confini decisionali distinti, mentre l'addestramento condiviso ha prodotto rappresentazioni altamente correlate.

3. Strategie di Inferenza Adattiva:

   • Ensemble Parallelo: Gli autori hanno valutato quattro strategie di aggregazione parallela: voto di maggioranza, risoluzione dei pareggi assistita dalla confidenza (confidence-assisted tie-breaking), risoluzione dei pareggi assistita dall'expertise di classe (class-expertise-assisted tie-breaking) e voto pesato appreso.
   • Cascata Guidata dalla Confidenza (Confidence-Guided Cascade): È stata implementata un'architettura sequenziale in cui l'input viene elaborato dal primo reservoir. Se la confidenza della lettura supera una soglia prestabilita (determinata su un set di validazione), la previsione viene accettata ("early exit"). Altrimenti, lo stesso input viene inoltrato al reservoir successivo nella cascata. Questo processo continua fino a quando non viene presa una decisione o non si raggiunge il reservoir finale.

Risultati Chiave

• Diversità e Complementarità: L'addestramento partizionato ha ridotto significativamente la correlazione tra le rappresentazioni dei reservoir (di circa il 52% rispetto all'addestramento condiviso) e ha aumentato il "Complementary Expertise Score" (CES). Ciò ha confermato che la partizione dei dati, piuttosto che la dimensione della rete, è il principale motore della diversità funzionale.
• Performance Parallela: Nell'aggregazione parallela, il voto assistito dalla confidenza ha raggiunto l'accuratezza più elevata (84,71% ± 0,75%), superando il semplice voto di maggioranza (84,55% ± 0,82%) e i singoli reservoir (circa 82,41%–82,81%). I risultati hanno indicato che l'accordo unanime è un forte indicatore di correttezza, mentre la confidenza è il segnale più efficace per risolvere i casi ambigui.
• Efficienza della Cascata: La configurazione di cascata ottimale (Ordine B: 200 → 500 → 350 nanofili, con una soglia di confidenza al 10° percentile) ha raggiunto un'accuratezza media dell'84,38% ± 0,64% sul set di test finale.
• Riduzione delle Risorse: L'approccio a cascata ha valutato in media 1,370 reservoir per campione, rispetto a 3 per l'esecuzione parallela. Ciò ha comportato una riduzione del 54,3% nelle valutazioni degli stadi del reservoir. Sotto il modello di simulazione adottato, ciò ha corrisposto a una riduzione dell'energia normalizzata stimata del 54,32% ± 1,78% rispetto all'esecuzione parallela concorrente.
• Routing Dipendente dall'Input: Il sistema ha dimostrato un comportamento dipendente dall'input; ad esempio, le cifre 0 e 1 sono uscite frequentemente dopo il primo stadio, mentre la cifra 8 ha richiesto un'elaborazione più profonda, confermando che il routing era guidato dall'incertezza specifica dell'input piuttosto che da una gerarchia fissa.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito una strategia pratica per organizzare molteplici reservoir fisici attraverso la coordinazione guidata dalla confidenza di esperti. Il contributo centrale è un'architettura adattiva che combina rappresentazioni formate indipendentemente senza alterare la dinamica sottostante del reservoir o imporre una struttura multilivello convenzionale.

Gli autori sottolineano che l'utilità del sistema risiede nel comportamento computazionale complementare (indotto dalla partizione dei dati di addestramento) piuttosto che nel semplice aumento della dimensione fisica o nell'aggiunta di stadi di elaborazione. Essi sostengono che questo framework offre un compromesso controllabile tra accuratezza e consumo di risorse, fornendo una strategia scalabile per l'inferenza neuromorfica efficiente dal punto di vista delle risorse e per le applicazioni di Edge AI.

Lo studio posiziona l'architettura non come una replica biologica delle gerarchie corticali (che coinvolgono percorsi reciproci e interazioni ricorrenti), ma come un analogo ingegneristico del reclutamento selettivo tra moduli computazionali distribuiti. Evidenzia come l'uscita anticipata (early exit) preservi le decisioni supportate da prove forti, allocando risorse aggiuntive solo quando l'evidenza iniziale è insufficiente, rispecchiando i vincoli metabolici osservati nella computazione biologica.

Gli autori rimangono modesti riguardo alle loro rivendicazioni, notando che le stime energetiche si basano su un modello di simulazione semplificato e che il lavoro futuro richiede la validazione sperimentale tramite dispositivi fabbricati per misurare l'energia reale, la latenza e l'overhead di comunicazione. Identificano inoltre la necessità di una calibrazione esplicita della confidenza e di policy di routing apprese per ottimizzare ulteriormente il compromesso tra accuratezza ed efficienza.