An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers

Sintesi Tecnica: Implementazione Hardware basata su RRAM di un Neurone a Funzione di Base Radiale per Classificatori Edge

Problematica
L'implementazione di modelli di Machine Learning (ML) moderni su dispositivi edge con risorse limitate presenta sfide significative, in particolare per quanto riguarda l'efficienza energetica, la latenza e la capacità di gestire input anomali o Out-of-Distribution (OOD) in tempo reale. Le tradizionali Reti Neurali Profonde (DNN) spesso faticano a gestire il "domain shift" — ovvero quando i cambiamenti ambientali, il rumore dei sensori o l'evoluzione dei pattern di dati degradano le prestazioni dei modelli pre-addestrati. Inoltre, il collo di bottiglia della memoria di von Neumann crea ostacoli per operazioni computazionalmente onerose come i prodotti scalari richiesti per le ricerche di similarità. Le soluzioni esistenti spesso mancano della capacità di adattamento efficiente sul dispositivo (apprendimento continuo) senza richiedere risorse aggiuntive o annotazione di dati, il che è critico per applicazioni di sicurezza come la navigazione autonoma.

Metodologia
Gli autori propongono una soluzione nativa hardware che sfrutta la RRAM a ossido metallico (Metal-Oxide Resistive RAM) integrata con tecnologia CMOS per creare un sistema di Memoria Adattabile al Contenuto Analogico (ACAM). Il cuore di questo design è una cella personalizzata Template piXeL (TXL), che funziona come un neurone a Funzione di Base Radiale (RBF) configurabile.

• Architettura della Cella TXL: La cella TXL utilizza due inverter RRAM-CMOS con degenerazione della sorgente. Programmando la resistenza dei dispositivi RRAM ($R_M$ e $R_B$) in serie con le sorgenti dei MOSFET, il circuito stabilisce una specifica "finestra di corrispondenza" definita da soglie di tensione superiore e inferiore ($V_{TH}^{upper}$ e $V_{TH}^{lower}$). Questa finestra emula un campo recettivo in cui la cella si attiva solo quando la tensione di ingresso rientra in un intervallo specifico, calcolando efficacemente una metrica di distanza.
• Organizzazione dell'Array: Le celle TXL sono organizzate in array densi $k \times n$. Ogni riga rappresenta un prototipo unico a $k$-dimensioni (memorizzato come attributi statistici: media $\mu$ e varianza $\sigma$ codificate nella conduttanza RRAM), mentre ogni colonna corrisponde a una caratteristica di input.
• In-Memory Computing (IMC): Il sistema esegue ricerche di similarità in parallelo. I vettori di input vengono applicati come segnali analogici alle linee di bit (bitlines). Attraverso la Legge delle Correnti di Kirchhoff, le correnti delle singole celle TXL si accumulano sulla linea di match (matchline), calcolando naturalmente il punteggio di similarità aggregato (distanza inversa) tra il vettore di query di input e il prototipo memorizzato.
• Politica di Adattamento: Il sistema implementa una politica di adattamento a tre livelli basata sulla distanza ($d$) tra l'input e il prototipo con la migliore corrispondenza:
  1. In-Distribution Affidabile ($d \le \tau_{IDO}$): Non avviene alcun adattamento.
  2. Outlier In-Distribution ($\tau_{IDO} < d \le \tau_{OOD}$): Il prototipo esistente viene adattato (aggiornamento di media e varianza) per includere il nuovo campione, mitigando il graduale deriva del dominio (domain drift).
  3. Out-of-Distribution ($d > \tau_{OOD}$): Il sistema identifica una nuova classe. Un nuovo prototipo viene allocato in una riga vuota dell'array utilizzando uno schema di apprendimento few-shot, espandendo le capacità del classificatore senza sovrascrivere le conoscenze esistenti.

Contributi Chiave

• Neurone RBF Nativo Hardware: Il documento introduce la cella TXL come implementazione fisica di un neurone RBF, capace di eseguire la classificazione basata su metriche direttamente nel dominio analogico.
• Ricerca di Similarità a Efficienza Energetica: Utilizzando l'ACAM basata su RRAM, il design raggiunge una complessità $O(1)$ per il matching dei template, superando il collo di bottiglia della memoria.
• Meccanismo di Adattamento Online: Il sistema supporta l'apprendimento "on-the-fly", dove i parametri del campo recettivo possono essere sintonizzati per tracciare i cambiamenti di dominio o nuove classi senza un pieno ri-addestramento del modello.
• Spiegabilità: A differenza degli strati feed-forward opachi, il processo decisionale è esplicitamente tracciabile alla prossimità dell'input rispetto ai prototipi memorizzati, offrendo una spiegabilità intrinseca.

Risultati

• Energia e Latenza: Le simulazioni a livello di circuito (SPICE-Spectre) su un processo CMOS a 180 nm con RRAM TiN/HfON/TiN indicano un consumo energetico di 185 fJ per cella per operazione a 100 MHz. La latenza per ricerca è di circa 100 ns.
• Accuratezza della Classificazione:
  • Su un dataset di simboli geometrici artificiali, il sistema ha raggiunto il 100% di accuratezza sia per l'addestramento iniziale che dopo l'adattamento.
  • Sul dataset MNIST (ridimensionato a 7x7), il sistema ha raggiunto l'89,1% di accuratezza pre-adattamento e l'85,5% post-adattamento. Gli autori osservano che il leggero calo di accuratezza è attribuito alla mancanza di strati di estrazione delle caratteristiche e al ridimensionamento dell'input, piuttosto che al meccanismo centrale TXL.
• Prestazioni di Adattamento: Le simulazioni SPICE hanno dimostrato la capacità del sistema di adattare i prototipi esistenti a campioni outlier (rimodellando il campo recettivo) e di allocare nuovi prototipi per classi sconosciute (ad esempio, introducendo una classe "rettangolo" in un dataset di cerchi, triangoli e croci) mantenendo l'integrità dei prototipi esistenti.

Significatività
Il documento sostiene che l'architettura proposta basata su TXL fornisce una via percorribile verso un computing edge robusto ed efficiente dal punto di vista energetico per applicazioni critiche per la sicurezza. Consentendo l'adattamento in situ, il sistema affronta la sfida del domain shift, permettendo ai dispositivi edge di mantenere l'affidabilità quando incontrano distribuzioni di dati reali diverse da quelle di addestramento. Gli autori posizionano questa tecnologia come un passo verso l'apprendimento continuo all'edge, dove i sistemi possono espandere le loro capacità di classificazione e adattarsi a nuovi ambienti senza l'oblio catastrofico o la necessità di annotazione esterna dei dati. Il lavoro prefigura il futuro deployment in monitoraggio remoto, sensori indossabili e navigazione autonoma, a condizione che le sfide relative alla variabilità, ritenzione e endurance della RRAM siano gestite tramite calibrazione.