Memory Wall is not gone: A Critical Outlook on Memory Architecture in Digital Neuromorphic Computing

Hoewel digitale neuromorfe processoren zijn ontworpen om het geheugenprobleem van Von Neumann-architecturen op te lossen, concludeert dit artikel dat hun huidige on-chip geheugensystemen zelf een nieuwe energie- en oppervlaktebottleneck vormen die heroriëntatie vereist voor effectieve toepassing in randapparatuur.

De kern

De Muur is nog steeds daar: Waarom "Neuromorfe" Computers vastlopen

Stel je voor dat je een superintelligente robot wilt bouwen die net als een menselijk brein werkt. Dat is het doel van neuromorfe computing. De idee is simpel: in plaats van dat de computer eerst data moet ophalen bij het magazijn (het geheugen) om ze naar de fabriek (de processor) te sturen, doe je de fabriek en het magazijn gewoon in één kamer. Zo bespaar je tijd en energie.

Maar volgens dit artikel van onderzoekers van de Universiteit Twente is er een groot probleem: die nieuwe "muur" is er nog steeds, alleen ziet hij er nu anders uit.

Hier is hoe het werkt, vertaald naar alledaagse situaties:

1. Het Oude Probleem: De Verkeersopstopping

In gewone computers (zoals je laptop) is de processor razendsnel, maar het geheugen (waar de data staat) zit ver weg. Het is alsof een chef-kok (de processor) razendsnel kan koken, maar elke keer dat hij een snufje peper nodig heeft, hij naar de andere kant van het dorp moet rennen. Dat kost veel tijd en energie. Dit noemen onderzoekers de "Memory Wall" (Geheugenmuur).

2. Het Nieuwe Plan: Alles in één Keuken

Om dit op te lossen, hebben ingenieurs een nieuw ontwerp bedacht: Neuromorfe chips.

• De Idee: In plaats van één groot magazijn, maken ze duizenden kleine keukentjes (verwerkingsunits) met hun eigen mini-voorraadkastje (geheugen) er direct naast.
• De Belofte: De chef hoeft niet meer te rennen. De peper staat direct op het aanrecht. Dit zou de computer veel sneller en zuiniger moeten maken.

3. De Teleurstelling: De Keuken wordt te groot

Hier komt de kritiek van het artikel. De onderzoekers zeggen: "Het klinkt mooi, maar het werkt niet zoals gepland."

Stel je voor dat je duizenden mini-keukentjes bouwt. Elk keukentje heeft zijn eigen kastje.

• Het probleem: Die kastjes zijn niet efficiënt. Als je een kastje maakt dat precies past bij wat je nodig hebt, is het vaak te groot en leeg (vergeet de muren en deuren). Als je een kastje te groot maakt om ruimte te besparen, moet de kok er ver voor lopen binnen dat ene kastje.
• De Realiteit: Op deze nieuwe chips neemt het geheugen (de kastjes) 80% van de ruimte in beslag en verbruikt het meeste van de energie.
• De Vergelijking: Het is alsof je een stad bouwt waar 90% van de grond wordt ingenomen door parkeergarages voor de auto's, en slechts 10% voor de huizen waar mensen wonen. Je hebt de auto's wel dichterbij de huizen gebracht, maar je hebt zo veel grond verspild aan de garages dat je eigenlijk nergens meer ruimte hebt.

4. Het "Lege Kastje"-Probleem

De onderzoekers wijzen op een ander gek fenomeen: Verspilling.
Stel je voor dat je een enorme voorraadkast hebt die 100 vakken groot is. Je hebt echter maar 30 producten om in te vullen.

• Bij deze nieuwe computers gebeurt dit constant. Ze bouwen enorme geheugens, maar door de manier waarop ze werken, zitten er vaak 70% tot 99% lege plekken in.
• Het is alsof je een bus huurt met 50 stoelen, maar er stappen maar 2 mensen in. Je betaalt voor de hele bus, maar gebruikt maar een klein stukje. Dat is heel duur en inefficiënt.

5. Waarom is dit een probleem?

Omdat deze computers bedoeld zijn voor kleine apparaten (zoals een slimme horloge of een drone), moeten ze heel zuinig zijn. Maar door al die "lege kastjes" en de enorme ruimte die het geheugen inneemt, zijn ze nu juist te groot en te energievretend om echt nuttig te zijn in de praktijk.

6. Hoe lossen we dit op? (De Toekomst)

De onderzoekers geven een paar creatieve suggesties om dit op te lossen:

• Slimmer plannen (Software): In plaats van dat alles altijd "wakker" moet zijn, laten we sommige delen van het brein slapen als ze niet nodig zijn.
• Verschillende soorten kastjes (Heterogeen geheugen): Gebruik niet voor alles dezelfde kast.
  • Voor dingen die je altijd nodig hebt: een heel klein, supersnel kastje (zoals een notitieblok op je bureau).
  • Voor dingen die je soms nodig hebt: een grotere, goedkopere kast (zoals een schuur in de tuin).
• Bouwen in lagen (3D-integratie): In plaats van alles op één vlakke vloer te leggen, bouw je de kastjes bovenop elkaar (zoals een flatgebouw). Dan kun je de "chef" (processor) direct onder de "kast" (geheugen) plaatsen, wat de afstand verkleint zonder dat je de vloeroppervlakte vergroot.

Conclusie

De boodschap van het artikel is helder: We hebben het probleem van de "Memory Wall" niet opgelost, we hebben het alleen verplaatst.

We hebben de lange loop naar het centrale magazijn afgeschaft, maar we hebben nu een nieuwe muur gebouwd: de ruimte en energie die nodig zijn voor al die kleine, inefficiënte geheugens op de chip. Zolang we niet slimmer gaan nadenken over hoe we deze geheugens organiseren, zullen deze slimme computers niet kunnen concurreren met de apparaten die we dagelijks gebruiken.

Technische samenvatting

Titel: De Memory Wall is niet verdwenen: Een kritische blik op geheugenarchitectuur in digitale neuromorfe computing

Auteurs: Amirreza Yousefzadeh, Sameed Sohail, Ana Lucia Varbanescu (Universiteit Twente)

---

1. Het Probleem: De Nieuwe "Memory Wall"

Hoewel neuromorfe architecturen zijn ontworpen om de klassieke "memory wall" (de bottleneck door data-overdracht tussen processor en geheugen in von Neumann-systemen) op te lossen, stellen de auteurs vast dat dit doel niet volledig is bereikt.

• De Oorspronkelijke Uitdaging: In conventionele AI-versnellers kost het ophalen van data uit het geheugen vaak meer energie dan de berekening zelf (MAC-operatie).
• De Neuromorfe Benadering: Neuromorfe chips proberen dit op te lossen door een gedistribueerde architectuur te gebruiken waarbij kleine geheugens direct naast verwerkingselementen (PE's) worden geplaatst (co-location).
• De Nieuwe Realiteit: De analyse toont aan dat on-chip geheugens (zoals SRAM en opkomende technologieën zoals STT-MRAM) in deze gedistribueerde systemen zelf de grootste verbruikers van oppervlakte en energie zijn geworden. In plaats van de memory wall te elimineren, hebben digitale neuromorfe processors deze vervangen door een nieuwe memory wall, gedreven door de area- en energielimieten van on-chip opslag. Zonder een herziening van de geheugenorganisatie zullen deze processors niet concurrerend zijn voor edge- en embedded-toepassingen.

2. Methodologie

De auteurs hanteren een kritische analyse van de huidige staat van de techniek (State-of-the-Art) door middel van:

• Vergelijking van Geheugentechnologieën: Analyse van energie- en area-efficiëntie van drie on-chip geheugentypes op een 22nm FDX-proces:
  • Register Files (RF): Zeer energiezuinig (< 5 fJ/bit) maar zeer slechte dichtheid (> 2 µm²/bit).
  • SRAM Macro's: Betere dichtheid door amortisatie van randapparatuur, maar hogere energie per toegang (5 tot 80 fJ/bit) door langere bedrading.
  • MRAM (Non-Volatile): Uitstekende dichtheid (< 0,1 µm²/bit), maar extreem hoge leesenergie (duizenden fJ) en nog hogere schrijfenergie.
• Mapping-analyse: Onderzoek naar hoe neurale netwerken worden toegewezen aan de fysieke hardware. De auteurs vergelijken het aantal nuttige parameterbits met de totale toegewezen on-chip geheugencapaciteit.
• Benchmarking: Evaluatie van bestaande neuromorfe platforms (IBM TrueNorth, Intel Loihi, GrAI VIP, SPECK) om de efficiëntie van het gebruik van on-chip geheugen te kwantificeren.

3. Belangrijkste Bijdragen en Bevindingen

A. Het Area-Energie Dilemma

Er is een fundamenteel compromis tussen oppervlakte-efficiëntie en energie-efficiëntie:

• Kleine, energiezuinige geheugens (zoals RF) leiden tot enorme siliconen oppervlaktekosten.
• Dichte, grotere geheugens (SRAM/MRAM) verminderen het oppervlak, maar verhogen de energie per toegang drastisch door langere bedrading en capaciteit.
• Het opsplitsen van geheugen in kleinere blokken om energie te besparen, leidt tot meer lekkage (static power) en inefficiënte communicatie tussen cores.

B. Inefficiënt Mapping en "Dark Silicon"

Een van de meest schokkende bevindingen is de lage mapping efficiency (de verhouding tussen nuttige parameters en toegewezen geheugen):

• In de meeste bestaande chips wordt minder dan 30% van het on-chip geheugen daadwerkelijk gebruikt voor modelparameters.
• Bij zeer gedistribueerde architecturen (zoals Intel Loihi) daalt dit percentage tot minder dan 1%.
  • Voorbeeld: Voor het draaien van MobileNet op Loihi (36 Mb parameters) is 4 Gb on-chip SRAM nodig (16 chips), wat resulteert in een efficiëntie van <1%.
• Oorzaken:
  1. Discrete, vaste maten van cores die niet overeenkomen met de lagen van neurale netwerken (leidt tot versnippering).
  2. De noodzaak om hoge precisie neurale toestanden (zoals membraanpotentialen) continu op te slaan, in tegenstelling tot DNN-accelerators die alleen tijdelijke sommen opslaan.
• Dit resulteert in "dark silicon" (ongebruikt geheugen) en een enorme verspilling van energie en oppervlakte.

C. Kritiek op Bestaande Oplossingen

De auteurs evalueren veelbelovende technologieën maar wijzen op hun beperkingen:

• In-Memory Computing (IMC): Hoewel dit data-beweging reduceert, zijn crossbar-architecturen vaak star en flexibel, wat leidt tot suboptimale mapping en extra overhead.
• Processing-in-Memory (PIM): Biedt enige verbetering, maar de toegang tot grote DRAM-blokken blijft energie-intensief vergeleken met on-chip SRAM.
• 3D-Integratie: Monolithische 3D-integratie van NVM boven CMOS kan de afstand verminderen, maar elimineert niet de inherente nadelen van niet-vluchtig geheugen (zoals hoge schrijfenergie) en vereist nog steeds een heterogene architectuur.

4. Toekomstperspectieven en Oplossingsruimte

De auteurs stellen een holistische aanpak voor die technologie, architectuur en algoritmen integreert:

1. Algoritme: Overstappen naar hybride neurale netwerken. In plaats van elke laag stateful (met persistente toestand) te maken, kunnen alleen de lagen die baat hebben bij temporele dynamiek stateful zijn. Andere lagen kunnen stateless (feedforward) zijn, wat de geheugenvraag drastisch verlaagt.
2. Software: Slimme scheduling en "spike grouping" om de hoeveelheid te transfereren data te verkleinen door gebruik te maken van temporele en ruimtelijke localiteit.
3. Architectuur: Implementatie van heterogene en hiërarchische geheugensystemen.
   • Kleine, snelle Register Files (RF) voor "hot data" (frequent toegankelijke toestanden).
   • SRAM voor gewichten.
   • Dichtere, niet-vluchtige geheugens (NVM) voor "cold data" (zelden bijgewerkte parameters).
4. Technologie: Verdere ontwikkeling van monolithische 3D-integratie om geheugen en logica dichter bij elkaar te brengen, maar altijd in combinatie met een heterogene architectuur.

5. Significatie

Dit artikel is van cruciaal belang omdat het een fundamentele mythe doorbreekt in het neuromorfe veld: de aanneming dat gedistribueerde architecturen automatisch de memory wall oplossen.

• Paradigmaverschuiving: De conclusie is dat geheugen, en niet meer rekenkracht, de beperkende factor is geworden in digitale neuromorfe systemen.
• Praktische Impact: Zonder radicale veranderingen in geheugenorganisatie (zoals hybride netwerken en heterogene geheugens) zullen neuromorfe chips niet concurrerend kunnen zijn voor energie-efficiënte edge-toepassingen, ondanks hun theoretische voordelen.
• Richtinggevend: Het paper biedt een roadmap voor onderzoekers om zich te richten op mapping-efficiëntie en hybride systemen in plaats van alleen op het schalen van bestaande SRAM-architecturen.