Technische Samenvatting: CRAM-ER

Probleemstelling

Deep Neural Networks (DNN's) kampen met ernstige prestatieproblemen door de Von Neumann-architectuur en de bijbehorende geheugenmuur, waarbij datamobiliteit tussen geheugen en rekeneenheden de energieconsumptie en latentie domineert. Hoewel opkomende Compute-in-Memory (CiM) en Processing-in-Memory (PiM) benaderingen dit verlichten, lijden ze vaak onder aanzienlijke perifere overhead (bijv. analoge-naar-digitale converters) of beperkte schaalbaarheid.

Computational Random Access Memory (CRAM) gebaseerd op Spin-Transfer Torque Magnetic RAM (STT-MRAM) biedt een veelbelovende oplossing door logische operaties direct binnen geheugencellen uit te voeren met minimale perifere overhead. De auteurs identificeren echter twee kritieke barrières die voorkomen dat CRAM kan schalen naar grote, multi-bit DNN-workloads:

1. Probabilistische schakelfouten: STT-MRAM vertrouwt op inherent probabilistisch schakelen. In complexe operaties zoals Multiply-Accumulate (MAC) accumuleren deze gate-niveau fouten, wat leidt tot ernstig verlies van nauwkeurigheid in DNN-inferentie.
2. Schrijfoverhead: CRAM vereist een enorm aantal sequentiële MRAM-schrijfacties om accumulatie uit te voeren. Dit resulteert in hoge latentie en energieverbruik, wat de throughput ernstig beperkt.

Eerder werk is grotendeels beperkt gebleven tot kleinschalige taken (bijv. integer rekenkunde, Binarized Neural Networks) en heeft de haalbaarheid voor schaalbare, multi-bit DNN's zoals Convolutional Neural Networks (CNN's) of Vision Transformers (ViT's) niet aangetoond.

Methodologie

Het paper stelt CRAM-ER voor, een foutbestendige CRAM-architectuur ontworpen voor schaalbare in-memory Matrix-Vector Multiplications (MVM's). De oplossing maakt gebruik van een hardware-software co-design framework bestaande uit drie hoofdcomponenten:

1. Hybride Spintronische-CMOS Architectuur

Om een balans te vinden tussen oppervlakte-efficiëntie en foutmitigatie, verdelen de auteurs de MAC-operatie tussen de spintronische CRAM-array en een CMOS-adderboom:

• Rol van CRAM: Voert alle element-gewijze vermenigvuldigingen en het merendeel (tot 75%) van de accumulatiestappen in-situ uit.
• Rol van CMOS: Een gedeeltelijke digitale adderboom handelt de laatste accumulatiestadia af. Deze hybride aanpak elimineert veel tussenliggende MRAM-schrijfacties, waardoor de latentie drastisch wordt verminderd terwijl de hoge dichtheid behouden blijft.
• Bit-niveau Partitionering: Het systeem maakt het mogelijk om het percentage accumulatie dat in CMOS versus CRAM wordt uitgevoerd af te stemmen om de optimale afweging tussen oppervlakte-overhead en nauwkeurigheid te vinden.

2. Foutbewuste Hardwaremechanismen

• Selectieve Bitfoutcorrectie (EC): Een laag-overhead Majority (MAJ3) circuit is geïntegreerd. In plaats van elke bit te corrigeren, richt het EC-mechanisme zich op de meest significante carry-bits, die cruciaal zijn voor de nauwkeurigheid. Het genereert de uiteindelijke carry-bit drie keer en selecteert de meerderheidsoutput om fouten op specifieke niveaus van de adderboom te corrigeren.
• Partiële Correctie: Door EC alleen toe te passen op kritieke carry-bits en de finale accumulatie uit te besteden aan foutvrije CMOS, mitigeert het systeem foutaccumulatie zonder de hoge energie-/latentiekosten van volledige foutcorrectie te dragen.

3. Foutbewuste Software Co-Design

• High-Fidelity Modellering: De auteurs hebben een simulatieframework ontwikkeld dat device-niveau probabilistisch schakelen en gate-niveau foutgedrag modelleert.
• Fine-Tuning: Een foutbewust fine-tuning proces is geïmplementeerd. Het DNN-model wordt getraind met kwantisatie (4-bit), en vervolgens gefinetuned terwijl de specifieke bit-niveau foutpercentages worden gesimuleerd die worden verwacht van de CRAM-hardware. Dit stelt het model in staat om zich aan te passen aan het ruisprofiel van de hardware.

Belangrijkste Bijdragen

1. Eerste Demonstratie van Schaalbare CRAM voor Multi-bit DNN's: Dit werk is de eerste die CRAM-acceleratie voor multi-bit MAC's in complexe DNN's (CNN's en ViT's demonstreert, waarmee de eerdere beperkingen tot kleinschalige of gebinariseerde taken worden overstegen.
2. Hybride Architectuur voor Foutbestendigheid: De introductie van een spintronische-CMOS hybride architectuur die MAC's op bit-niveau verdeelt, waardoor device-niveau fouten effectief worden gemitigeerd terwijl de dichtheidsvoordelen van CRAM behouden blijven.
3. Omvattend Co-Design Framework: De ontwikkeling van een geïntegreerd framework dat probabilistische device-modellering, partiële foutcorrectiecircuits en foutbewuste model fine-tuning combineert om een bijna-verliesloze nauwkeurigheid te bereiken.
4. Systeem-niveau Evaluatie: Een rigoureuze evaluatie die aantoont dat CRAM-ER de latentie- en nauwkeurigheidsbeperkingen van standaard CRAM kan overwinnen, waarbij het CPU/GPU+DRAM systemen overtreft in energie-efficiëntie.

Resultaten

De auteurs hebben de CRAM-ER architectuur geëvalueerd met DNN-benchmarks (LeNet-5 op MNIST, ResNet-20/18 en ViT op CIFAR-10) tegen standaard CRAM, CPU (Xeon) en GPU (A100) baselines.

• Nauwkeurigheid:

  • Standaard CRAM zonder mitigatie leed onder ernstige nauwkeurigheidsdalingen (bijv. tot 25,5% op LeNet-5).
  • De CRAM+EC+Finetune configuratie bereikte bijna-verliesloze nauwkeurigheid (98,26% op LeNet-5, 89,17% op ResNet-20) vergeleken met de gekwantiseerde baseline.
  • Cruciaal is dat het uitvoeren van slechts 25% van de accumulaties op de digitale CMOS-adderboom voldoende was om deze bijna-verliesloze prestaties te bereiken, wat de oppervlakte-overhead minimaliseert.

• Prestaties en Efficiëntie:

  • Latentie: Standaard CRAM werd beperkt door hoge schrijflatentie. De hybride CRAM-ER verminderde de latentie met tot wel twee orde grootten (20-200x) vergeleken met conventionele CRAM.
  • Energie-efficiëntie: CRAM-ER demonstreerde tot 40x betere energie-efficiëntie vergeleken met HMC+Xeon en 10x vergeleken met HBM2+A100.
  • Energy-Delay Product (EDP): Het hybride ontwerp verbeterde de EDP met 2x ten opzichte van CPU/GPU referenties.
  • Geprojecteerde Prestaties: Gebruikmakend van een geprojecteerde, schrijf-efficiënte MRAM-configuratie (gebaseerd op recente device-vooruitgang), toonde het systeem een potentiële 16x EDP-verbetering over CPU/GPU referenties.

Betekenis

Het paper claimt dat CRAM-ER een praktisch pad legt naar dichte, energie-efficiënte en schaalbare in-memory computing voor DNN's. Door de dubbele uitdagingen van probabilistische foutaccumulatie en schrijfoverhead aan te pakken via een hybride hardware-software aanpak, demonstreert het werk dat spintronische CRAM kan schalen voorbij eenvoudige logische taken om complexe, multi-bit neurale netwerk workloads te versnellen. De resultaten suggereren dat CRAM, met de voorgestelde co-design strategieën, superieure energie-efficiëntie kan bieden vergeleken met state-of-the-art GPU en CPU systemen, terwijl de nauwkeurigheid behouden blijft die vereist is voor moderne AI-applicaties.