Sintesi Tecnica: CRAM-ER

Definizione del Problema

Le Reti Neurali Profonde (DNN) affrontano gravi colli di bottiglia nelle prestazioni a causa dell'architettura Von Neumann e del relativo "muro della memoria" (memory wall), in cui il movimento dei dati tra memoria e unità di calcolo domina il consumo energetico e la latenza. Sebbene gli approcci emergenti di Compute-in-Memory (CiM) e Processing-in-Memory (PiM) allevino questo problema, essi soffrono spesso di un significativo overhead periferico (ad esempio, i convertitori analogico-digitali) o di una limitata scalabilità.

La Computational Random Access Memory (CRAM) basata su Spin-Transfer Torque Magnetic RAM (STT-MRAM) offre una soluzione promettente eseguendo operazioni logiche direttamente all'interno delle celle di memoria con un overhead periferico minimo. Tuttavia, gli autori identificano due barriere critiche che impediscono alla CRAM di scalare verso carichi di lavoro DNN multi-bit di grandi dimensioni:

1. Errori di Commutazione Probabilistici: La STT-MRAM si basa su una commutazione intrinsecamente probabilistica. In operazioni complesse come la Multiply-Accumulate (MAC), questi errori a livello di porta logica si accumulano, portando a una grave perdita di accuratezza nell'inferenza delle DNN.
2. Overhead di Scrittura: La CRAM richiede un numero massiccio di operazioni di scrittura MRAM sequenziali per eseguire l'accumulo. Ciò si traduce in un'elevata latenza e in un alto consumo energetico, limitando severamente il throughput.

I lavori precedenti sono stati ampiamente confinati a compiti su piccola scala (ad esempio, aritmetica intera, Binarized Neural Networks) e non hanno dimostrato la fattibilità per DNN multi-bit scalabili come le Convolutional Neural Networks (CNN) o i Vision Transformers (ViT).

Metodologia

Il documento propone CRAM-ER, un'architettura CRAM resiliente agli errori progettata per Matrix-Vector Multiplications (MVM) in-memory scalabili. La soluzione impiega un framework di co-design hardware-software composto da tre componenti principali:

1. Architettura Ibrida Spintronica-CMOS

Per bilanciare l'efficienza dell'area con la mitigazione degli errori, gli autori partizionano l'operazione MAC tra l'array CRAM spintronico e un albero di addizione (adder tree) CMOS:

• Ruolo della CRAM: Esegue tutte le moltiplicazioni elemento per elemento e la maggior parte (fino al 75%) degli step di accumulo in-situ.
• Ruolo del CMOS: Un albero di addizione digitale parziale gestisce gli stadi finali di accumulo. Questo approccio ibrido elimina molte operazioni di scrittura MRAM intermedie, riducendo drasticamente la latenza pur mantenendo un'alta densità.
• Partizionamento a Livello di Bit: Il sistema consente di regolare la percentuale di accumulo eseguita in CMOS rispetto alla CRAM per trovare il compromesso ottimale tra l'overhead di area e l'accuratezza.

2. Meccanismi Hardware Sensibili agli Errori

• Correzione degli Errori di Bit Selettiva (EC): È integrato un circuito di maggioranza (MAJ3) a basso overhead. Inveve di correggere ogni bit, il meccanismo EC prende di mira i bit di riporto (carry bits) più significativi, che sono critici per l'accuratezza. Genera il bit di riporto finale tre volte e seleziona l'output di maggioranza per correggere gli errori in livelli specifici dell'albero di addizione.
• Correzione Parziale: Applicando l'EC solo ai bit di riporto critici e delegando l'accumulo finale a un CMOS privo di errori, il sistema mitiga l'accumulo di errori senza incorrere nell'alto costo energetico/di latenza di una correzione completa.

3. Co-Design Software Sensibile agli Errori

• Modellazione ad Alta Fedeltà: Gli autori hanno sviluppato un framework di simulazione che modella il comportamento di commutazione probabilistica a livello di dispositivo e l'errore a livello di porta logica.
• Fine-Tuning: È implementato un processo di fine-tuning sensibile agli errori. Il modello DNN viene addestrato con quantizzazione (4-bit) e poi sottoposto a fine-tuning simulando i tassi di errore specifici a livello di bit previsti dall'hardware CRAM. Ciò consente al modello di adattarsi al profilo di rumore dell'hardware.

Contributi Chiave

1. Prima Dimostrazione di CRAM Scalabile per DNN Multi-bit: Questo lavoro è il primo a dimostrare l'accelerazione CRAM per MAC multi-bit in DNN complesse (CNN e ViT), andando oltre i limiti precedenti legati a compiti su piccola scala o binarizzati.
2. Architettura Ibrida per la Resilienza agli Errori: L'introduzione di un'architettura ibrida spintronica-CMOS che partiziona i MAC a livello di bit, mitigando efficacemente gli errori a livello di dispositivo pur preservando i vantaggi di densità della CRAM.
3. Framework di Co-Design Integrato: Lo sviluppo di un framework integrato che combina la modellazione probabilistica dei dispositivi, circuiti di correzione parziale degli errori e fine-tuning del modello sensibile agli errori per ottenere un'accuratezza quasi priva di perdite (near-lossless).
4. Valutazione a Livello di Sistema: Una valutazione rigorosa che mostra come CRAM-ER possa superare i limiti di latenza e accuratezza della CRAM standard, superando i sistemi CPU/GPU+DRAM in termini di efficienza energetica.

Risultati

Gli autori hanno valutato l'architettura CRAM-ER utilizzando benchmark DNN (LeNet-5 su MNIST, ResNet-20/18 e ViT su CIFAR-10) contro i baseline standard CRAM, CPU (Xeon) e GPU (A100).

• Accuratezza:

  • La CRAM standard senza mitigazione ha subito gravi cali di accuratezza (ad esempio, scendendo al 25,5% su LeNet-5).
  • La configurazione CRAM+EC+Finetune ha raggiunto un'accuratezza quasi priva di perdite (98,26% su LeNet-5, 89,17% su ResNet-20) rispetto al baseline quantizzato.
  • Fondamentalmente, eseguire solo il 25% degli accumuli sull'albero di addizione digitale CMOS è stato sufficiente per raggiungere questa prestazione quasi priva di perdite, minimizzando l'overhead di area.

• Prestazioni ed Efficienza:

  • Latenza: La CRAM standard era limitata dall'elevata latenza di scrittura. La CRAM-ER ibrida ha ridotto la latenza di fino a due ordini di grandezza (20-200x) rispetto alla CRAM convenzionale.
  • Efficienza Energetica: CRAM-ER ha dimostrato un'efficienza energetica fino a 40 volte migliore rispetto a HMC+Xeon e 10 volte rispetto a HBM2+A100.
  • Energy-Delay Product (EDP): Il design ibrido ha migliorato l'EDP di 2x rispetto ai riferimenti CPU/GPU.
  • Prestazioni Proiettate: Utilizzando una configurazione MRAM proiettata e efficiente nella scrittura (basata su recenti progressi dei dispositivi), il sistema ha mostrato un potenziale miglioramento dell'EDP di 16x rispetto ai riferimenti CPU/GPU.

Significato

Il documento afferma che CRAM-ER stabilisce un percorso pratico verso un calcolo in-memory denso, efficiente dal punto di vista energetico e scalabile per le DNN. Affrontando le doppie sfide dell'accumulo di errori probabilistici e dell'overhead di scrittura attraverso un approccio hardware-software ibrido, il lavoro dimostra che la CRAM spintronica può scalare oltre i semplici compiti logici per accelerare carichi di lavoro di reti neurali multi-bit complesse. I risultati suggeriscono che, con le strategie di co-design proposte, la CRAM può offrire un'efficienza energetica superiore rispetto ai sistemi GPU e CPU all'avanguardia, mantenendo l'accuratezza richiesta dalle moderne applicazioni di IA.