🔬 applied physics

Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing

Questo articolo dimostra, attraverso esperimenti su un array di calcolo in memoria analogico a gate flottante single-poly a 65 nm e simulazioni a livello di sistema, che combinare la compensazione a livello di circuito con la ricalibrazione algoritmica della batch normalization può recuperare l'accuratezza dell'inferenza entro il 2–4% rispetto al baseline dopo 60 giorni di perdita di ritenzione.

Autori originali: Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

Pubblicato 2026-07-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui il vostro computer non si limita a elaborare numeri in una fabbrica, ma pensa come un cervello, usando l'elettricità per imitare il modo in cui i neuroni scoccano. Questo è il regno del Calcolo Analogico In-Memory. Invece di trasportare i dati avanti e indietro tra una banca di memoria e un processore (il che è come correre in cucina ogni volta che serve un cucchiaio), questa tecnologia conserva i "pesi" di una rete neurale — i ricordi e le lezioni del cervello — proprio all'interno delle celle di memoria stesse. È come avere una biblioteca dove i libri possono anche fare la matematica per voi.

Tuttavia, c'è un problema. Queste celle di memoria sono spesso realizzate con minuscole isole fluttuanti di carica elettrica. Con il passare del tempo, proprio come un palloncino che perde lentamente aria, queste celle perdono naturalmente la loro carica. Questo è chiamato perdita di ritenzione (retention loss). In un mondo digitale, una piccola perdita di carica potrebbe solo trasformare uno 0 in un 1, il che è facile da correggere. Ma in questo cervello analogico, la carica è la risposta. Se la carica devia, la matematica diventa errata e il computer potrebbe scambiare un gatto per un tostapane. Gli scienziati sono disperati nel cercare di capire come mantenere questi cervelli analogici "perdenti" accurati per mesi o anni, perché se non ci riusciranno, questa tecnologia super-efficiente non lascerà mai il laboratorio.

Questo articolo approfondisce esattamente questo problema utilizzando un tipo specifico di chip di memoria costruito con la tecnologia standard a 65 nm (una dimensione di produzione comune). I ricercatori, Mirko Brazzini e il suo team, volevano vedere se potevano impedire a una rete neurale di dimenticare le sue lezioni mentre le celle di memoria perdevano lentamente carica nel tempo. Non hanno solo tirato a indovinare; hanno costruito un chip reale, lo hanno programmato e hanno osservato cosa accadeva per 60 giorni.

Il team ha scoperto che la perdita di carica avviene in due modi distinti, come due tipi diversi di meteo che influenzano un giardino. Primo, c'è una deriva sistematica (systematic drift), dove ogni cella perde carica in modo prevedibile e medio, spostando l'intera crescita del giardino in una sola direzione. Secondo, c'è il rumore stocastico (stochastic noise), un tremolio caotico e casuale dove alcune celle perdono un po' più di altre e altre un po' meno, creando un modello disordinato e imprevedibile.

Per risolvere il problema, il team ha provato due strumenti diversi, come un giardiniere che usa sia un irrigatore che un fertilizzante. Il primo strumento è la compensazione a livello di circuito. Si sono resi conto che semplicemente regolando la "tensione di lettura" (la pressione usata per controllare la memoria), potevano contrastare la deriva prevedibile e media. È come alzare il volume di una radio per compensare un segnale che sta diventando leggermente più debole per tutti. Il secondo strumento è la ricalibrazione algoritmica, specificamente qualcosa chiamato Ricalibrazione della Batch Normalization (BNR). Questo è un trucco software per ritarare le impostazioni interne della rete neurale per gestire il rumore casuale e caotico che la regolazione della tensione non riusciva a correggere. È come insegnare al cervello a ignorare l'interferenza sulla radio e concentrarsi sulla canzone.

I risultati sono stati promettenti. Quando hanno testato il loro sistema su due diverse reti neurali (VGG-10 e WideResNet-28-10) addestrate per riconoscere immagini, hanno scoperto che non fare nulla era un disastro; dopo 60 giorni, l'accuratezza precipitava. Usare solo la regolazione della tensione aiutava, ma la rete lottava ancora con il rumore casuale. Usare solo la ricalibrazione software aiutava con il rumore, ma mancava la grande deriva. Tuttavia, quando hanno combinato entrambi, la regolazione della tensione e la ricalibrazione del software, il sistema è stato un eroe. Nelle loro simulazioni, calibrate con dati sperimentali reali, la rete ha recuperato la sua accuratezza di base entro solo il 2-4% anche dopo 60 giorni.

L'articolo nota con cura che questa non è una bacchetta magica che risolve tutto per sempre. I risultati si basano su simulazioni a livello di sistema che sono state attentamente calibrate per corrispondere alle misurazioni del mondo reale del loro chip a 65 nm. Mostrano esplicitamente che non si può fare affidamento su un solo metodo; è necessario sia il fix hardware che il fix software per portare a termine il lavoro. Sebbene l'articolo non sostenga che questo sia un problema risolto per tutti i futuri computer, dimostra una via chiara e pratica da seguire. Suggerisce che, con queste tecniche combinate, i chip analogici a gate flottante potrebbero potenzialmente eseguire compiti di inferenza affidabili e a lungo termine per il deep learning, mantenendo i loro "ricordi" nitidi per almeno due mesi senza bisogno di un reset.

Sintesi Tecnica: Mitigazione dell'Impatto della Perdita di Ritenzione sull'Accuratezza dell'Inferenza in l'Analog In-Memory Computing a Singolo Poly Floating-Gate a 65 nm

Definizione del Problema
L'Analog In-Memory Computing (AIMC) che utilizza moltiplicatori matrice-vettore (VMM) offre significativi guadagni di efficienza energetica per il deep learning riducendo il movimento dei dati e utilizzando l'operazione in sottosoglia. Sebbene le memorie Floating-Gate (FG) siano un candidato promettente grazie alla loro compatibilità con processi CMOS maturi e all'intrinseca programmabilità multi-livello, esse soffrono di perdita di ritenzione. A differenza delle memorie digitali dove la perdita di carica porta a errori di bit discreti, le memorie analogiche memorizzano i pesi sinaptici come livelli di carica continui. Di conseguenza, la perdita di carica perturba il calcolo stesso, degradando l'accuratezza dell'inferenza. La sfida risiede nel valutare e mitigare sia il drift sistematico (medio) che la variabilità stocastica (da dispositivo a dispositivo) di questa perdita di carica per mantenere prestazioni affidabili della rete neurale.

Metodologia
Gli autori hanno condotto esperimenti e simulazioni a livello di sistema utilizzando un array di memoria analogica non volatile a singolo poly FG fabbricato in un processo CMOS TSMC standard a 65 nm. L'architettura impiega uno schema crossbar 1T-1FG in cui le celle 1T-1FG fungono da sorgenti di corrente programmabili.

Caratterizzazione del Dispositivo: Lo studio ha caratterizzato il comportamento di ritenzione delle celle di memoria programmate a vari livelli di corrente (da 0,4 a 80 nA). Le misurazioni sono state effettuate dopo 10, 30 e 60 giorni di conservazione a temperatura ambiente. I dati hanno rivelato che la perdita di carica risulta in una riduzione della tensione di soglia del transistor, causando un corrispondente aumento della corrente programmata.
Modellazione: La perdita di ritenzione è stata scomposta in due componenti:
- Drift Sistematico: Uno spostamento medio della corrente nel tempo, modellato tramite l'adattamento della relazione log-log tra le correnti iniziali e quelle trattenute per estrarre i parametri di pendenza ( $m$ ) e intercetta ( $q$ ).
- Variabilità Stocastica: Una variazione casuale, da dispositivo a dispositivo, attorno al drift medio, modellata come una distribuzione normale a media zero ( $\chi$ ) con una deviazione standard ( $\sigma$ ) dipendente dalla corrente programmata e dal tempo.
Strategie di Mitigazione: Sono state valutate due tecniche complementari:
- Compensazione a Livello di Circuito (Compensazione $V_{read}$ - VRC): Una tensione di lettura adattiva viene regolata per compensare il drift sistematico medio della tensione di soglia.
- Ricalibrazione Algoritmica (Ricalibrazione della Batch Normalization - BNR): I parametri di media e varianza dei livelli di batch normalization vengono aggiornati utilizzando un dataset di calibrazione. Ciò compensa gli spostamenti della distribuzione causati dalla componente di perdita di carica stocastica a media zero.
Valutazione del Sistema: I modelli di ritenzione calibrati sono stati integrati in un framework di simulazione di inferenza consapevole dell'hardware. L'impatto sull'accuratezza dell'inferenza è stato valutato per due architetture di reti neurali: VGG-10 su CIFAR-10 e WideResNet-28-10 su CIFAR-100. Le simulazioni hanno incluso 500 esecuzioni Monte Carlo per tenere conto della variabilità stocastica.

Risultati Chiave
Lo studio ha confrontato quattro scenari: Nessuna Mitigazione (NM), solo VRC, solo BNR e l'approccio combinato VRC+BNR.

Prestazioni Baseline: Senza mitigazione, l'accuratezza dell'inferenza è degradata significativamente nell'arco di 60 giorni. Per VGG-10/CIFAR-10, l'accuratezza è scesa da un riferimento del 93,7% al 59,6% (solo BNR) o anche meno senza alcuna compensazione.
Efficacia della Mitigazione Combinata: La combinazione della compensazione di $V_{read}$ $V_{r e a d}$ e della BNR si è dimostrata altamente efficace. Dopo 60 giorni:
- VGG-10/CIFAR-10: L'accuratezza è tornata al 91,4% (riferimento 93,7%), una deviazione inferiore al 2,5%.
- WideResNet-28-10/CIFAR-100: L'accuratezza è tornata al 78,3% (riferimento 82,1%), una deviazione di circa il 3,8%.
Necessità di Entrambe le Tecniche: I risultati hanno dimostrato che nessuna delle due tecniche da sola era sufficiente a ripristinare l'accuratezza di base. La compensazione di $V_{read}$ affrontava il drift medio ma non poteva correggere la variabilità stocastica, mentre la BNR affrontava gli spostamenti della distribuzione ma non poteva correggere completamente l'offset sistematico senza l'aggiustamento della tensione.

Significato e Rivendicazioni
Il documento sostiene che è possibile mitigare con successo l'impatto della degradazione dell'accuratezza dell'inferenza dovuta alla perdita di ritenzione per le reti neurali profonde utilizzando la memoria analogica a floating-gate. Combinando la regolazione della tensione di lettura adattiva a livello di circuito con la ricalibrazione della batch normalization algoritmica, gli autori dimostrano che è possibile mantenere un'accuratezza di inferenza stabile per oltre due mesi (60 giorni) post-programmazione.

Il significato risiede nel fornire una via pratica verso l'operatività a lungo termine affidabile per i chip neuromorfici analogici basati su FG. Il lavoro stabilisce che un'analisi da dispositivo a sistema, che tenga conto sia della componente di ritenzione sistematica che di quella stocastica, è essenziale per l'implementazione di memorie non volatili analogiche in applicazioni di inferenza di deep learning. Gli autori concludono che queste tecniche consentono il recupero dell'accuratezza di inferenza di base entro il 2-4% dopo 60 giorni, convalidando la fattibilità della tecnologia FG nonostante le intrinseche sfide di ritenzione.

Articoli simili