Joint Hardware-Workload Co-Optimization for In-Memory Computing Accelerators

Deze paper introduceert een gezamenlijk hardware-werklast co-optimisatiekader op basis van een geoptimaliseerd evolutionair algoritme dat generaliseerbare IMC-versnellers ontwerpt die meerdere neurale netwerken efficiënt ondersteunen en zo de prestaties aanzienlijk verbeteren ten opzichte van werklast-specifieke ontwerpen.

De kern

Stel je voor dat je een superkeuken bouwt voor een groot restaurant.

In de wereld van kunstmatige intelligentie (AI) zijn neurale netwerken (de "recepten") enorm complex en verschillend. Sommige gerechten zijn kleine salades (simpele AI-modellen), andere zijn enorme buffetten met duizenden ingrediënten (grote AI-modellen).

Het probleem:
Tot nu toe bouwden keukenbouwers (de hardware-ontwerpers) hun keukens specifiek voor één gerecht. Als je een keuken bouwt die perfect is voor het maken van pizza, is die misschien niet zo goed voor het maken van sushi. Als je een keuken bouwt voor de grootste buffet, is die vaak overkill en inefficiënt voor de kleine salades. Dit is als een keuken die alleen maar grote potten heeft: je kunt er een klein kopje thee in zetten, maar het is zonde van de ruimte en energie.

De oplossing uit dit papier:
De auteurs van dit onderzoek hebben een nieuwe manier bedacht om een "Alles-in-één Superkeuken" te ontwerpen. Ze noemen dit Joint Hardware-Workload Co-Optimization.

In plaats van te vragen: "Wat is de beste keuken voor pizza?", vragen ze: "Wat is de beste keuken die zowel pizza, sushi, soep als taart even goed kan maken?"

Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. De "Meesterkok" die alles probeert (Het Genetisch Algoritme)

Stel je voor dat je een kok hebt die duizenden verschillende keukenindelingen kan bedenken.

• De oude methode: De kok probeert willekeurig een indeling, ziet dat hij een beetje goed is, en stopt. Soms is hij erg toevallig en mist hij de perfecte oplossing.
• De nieuwe methode (deze paper): De kok gebruikt een slimme truc. Hij begint niet met willekeurige ideeën, maar kiest eerst de meest verschillende indelingen uit (zoals een keuken met alleen maar grote tafels, een met alleen maar kleine kookplaten, en een met een mix). Dit zorgt ervoor dat hij niet vastloopt in een "lokale valkuil" (een oplossing die goed lijkt, maar niet de allerbeste is).

Daarna laat hij deze keukenindelingen door vier fases gaan:

1. Verkenning: "Laten we alles uitproberen, zelfs rare combinaties!"
2. Overgang: "Oké, we zien wat werkt, laten we dat verfijnen."
3. Convergentie: "We weten nu wat goed is, laten we de details perfectioneren."
4. Finetuning: "Laat de laatste snufjes toevoegen voor de perfecte smaak."

2. De "Twee Soorten Keukens" (RRAM vs. SRAM)

De onderzoekers testen hun idee op twee verschillende soorten keukens (geheugentechnologieën):

• RRAM (De "Opslagkast"): Hier moeten alle ingrediënten (de gewichten van het AI-model) tegelijk in de kast passen. Je kunt niets uitwisselen. Dit is goed voor snelheid, maar de kast moet groot zijn.
• SRAM (De "Wisselkast"): Hier kun je ingrediënten in en uit de kast halen terwijl je kookt. Je hebt een kleinere kast nodig, maar je moet vaker lopen om nieuwe ingrediënten te halen (wat tijd kost).

Het slimme aan dit onderzoek is dat hun "Superkeuken" ontwerper voor beide soorten keukens de perfecte balans vindt, afhankelijk van wat je nodig hebt.

3. Waarom is dit zo belangrijk? (De "Gereedschapskist" vs. de "Speciale Schroevendraaier")

Vroeger bouwden mensen een speciale schroevendraaier voor elke schroef (één AI-model per hardware). Dat werkt goed, maar is duur en onpraktisch als je veel verschillende schroeven hebt.
Dit papier bouwt een multitool (een Zwitsers zakmes).

• Het resultaat: De multitool is misschien niet exact even goed als de speciale schroevendraaier voor één specifieke schroef, maar hij is veel beter dan een slechte multitool.
• De cijfers: De onderzoekers laten zien dat hun "multitool" tot 95% energie en tijd bespaart in vergelijking met de oude methoden die probeerden één grote taak te doen. Ze slagen erin om de kloof tussen "specifiek gereedschap" en "algemeen gereedschap" bijna volledig te dichten.

4. Kosten en Technologie (De "Bouwmaterialen")

Ze gaan zelfs nog een stap verder. Ze kijken niet alleen naar de keuken, maar ook naar waar je de keuken bouwt.

• Moet je bouwen met goedkoop, oud materiaal (oude technologie)?
• Of met duur, ultra-geavanceerd materiaal (nieuwe technologie)?
  Ze hebben een formule bedacht die kijkt naar: Hoeveel kost het om te bouwen? versus Hoe goed werkt het? Hierdoor kunnen ze de perfecte balans vinden tussen prijs en prestatie.

Samenvatting in één zin:

Deze onderzoekers hebben een slimme, geautomatiseerde ontwerper bedacht die een universele AI-chip bouwt die niet alleen voor één taak is gemaakt, maar die voor veel verschillende taken even goed werkt, waardoor we minder energie verbruiken, minder geld uitgeven en snellere AI-systemen krijgen.

Het is alsof ze de manier hebben gevonden om één auto te bouwen die zowel een raceauto, een vrachtwagen als een gezinsauto kan zijn, zonder dat je hoeft te kiezen welke je wilt hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Joint Hardware-Workload Co-Optimization for In-Memory Computing Accelerators", geschreven in het Nederlands.

Titel: Gezamenlijke Hardware-Werklast Co-Optimalisatie voor In-Memory Computing Accelerators

1. Het Probleem

Met de snelle groei van neurale netwerken en de wijdverbreide adoptie van AI, zijn geoptimaliseerde en energie-efficiënte hardware-oplossingen essentieel geworden. Traditionele Von Neumann-architecturen zijn inefficiënt voor AI-werklasten, wat heeft geleid tot de ontwikkeling van In-Memory Computing (IMC) accelerators. Deze integreren geheugen en berekening om data-overdracht te minimaliseren.

Echter, de huidige staat-van-de-kunst (SOTA) frameworks voor software-hardware co-design hebben een cruciale beperking:

• Single-Workload Focus: De meeste bestaande optimalisatieframeworks richten zich op het optimaliseren van hardware voor één specifiek neuronaal netwerkmodel (één werklast). Dit resulteert in sterk gespecialiseerde hardware die niet goed generaliseert naar andere modellen of toepassingen.
• Praktische Beperking: In echte implementatiescenario's moet één IMC-platform vaak meerdere verschillende neurale netwerken ondersteunen.
• Performance Gap: Er is een aanzienlijk prestatieverlies wanneer een "generalistische" hardware-architectuur wordt gebruikt voor meerdere werklasten, vergeleken met hardware die specifiek is ontworpen voor één enkele werklast.
• Beperkte Zoekruimte: Bestaande methoden onderzoeken vaak slechts een beperkt deel van de hardware-ontwerpruimte (bijv. alleen crossbar-grootte) en negeren vaak de interdependentie tussen apparaat-, circuit-, architectuur- en systeemniveaus.

Het doel van dit onderzoek is het overbruggen van deze kloof door een framework te ontwikkelen dat hardware en meerdere werklasten gezamenlijk optimaliseert voor een generalistische IMC-architectuur.

2. Methodologie

De auteurs stellen een gezamenlijk hardware-werklast co-optimalisatie framework voor, gebaseerd op een geavanceerd evolutionair algoritme.

• Framework Overzicht:

  • Het framework voert een zoektocht uit in een grote hardware-ontwerpruimte om optimale parameters te vinden voor een IMC-systeem dat diverse werklasten efficiënt kan ondersteunen.
  • De evaluatie gebeurt via een gezamenlijke score (bijv. Energy-Delay-Area Product of EDAP) die wordt berekend over alle doelwerklasten tegelijkertijd, in plaats van per werklast apart.
  • Het gebruik maakt van de CIMLoop-simulator, die snelle en flexibele evaluaties mogelijk maakt op basis van realistische IMC-crossbar-data.

• Zoekruimte (Search Space):

  • In tegenstelling tot eerdere werken die zich richten op de crossbar-macro, omvat deze zoekruimte parameters op vier niveaus: Apparaat (bijv. bits per cel), Circuit (bijv. ADC-resolutie), Architectuur (bijv. aantal crossbars per tile) en Systeem (bijv. buffergrootte, routering).
  • Er worden experimenten uitgevoerd op twee fundamenteel verschillende IMC-technologieën: RRAM (Resistive RAM, gewichten stationair) en SRAM (met gewichtswisseling/swapping voor grotere netwerken).

• Optimalisatie Algoritme (De Kern):

  • Er wordt een vier-fase genetisch algoritme (GA) gebruikt.
  • Geoptimaliseerde Sampling: Om convergentieproblemen en gevoeligheid voor initiële random seeds te voorkomen, wordt een nieuwe samplingstrategie ingevoerd. In plaats van puur random sampling, worden initiële kandidaten geselecteerd op basis van Hamming-afstand. Dit zorgt voor een diverse startpopulatie die de zoekruimte beter afdekt.
  • Vier Fasen: Het algoritme doorloopt vier fasen met verschillende crossover- en mutatieparameters (zie Tabel 4 in het artikel):
    1. Exploratie: Hoge diversiteit om lokale minima te vermijden.
    2. Transitie: Balans tussen exploratie en exploitatie.
    3. Convergentie: Focussen op hoogpresterende gebieden met fijnere aanpassingen.
    4. Fine-tuning: Precieze optimalisatie van de beste oplossingen.

3. Belangrijkste Bijdragen

1. Generalistische Co-Optimalisatie Framework: Een nieuw framework dat hardware ontwerpt voor meerdere neurale netwerken tegelijk, in plaats van voor één enkel model.
2. Geavanceerd Evolutionair Algoritme: Een vier-fase GA met Hamming-afstand gebaseerde sampling die de convergentie verbetert en consistente, hoogwaardige hardware-ontwerpen levert.
3. Uitgebreide Zoekruimte: Een comprehensieve optimalisatie over apparaat-, circuit-, architectuur- en systeemniveaus, wat een veel grotere en complexere zoekruimte bestrijkt dan bestaande methoden.
4. Minimalisatie van Performance Gap: Het aantonen dat de prestatiekloof tussen generalistische en werklast-specifieke ontwerpen aanzienlijk kan worden verkleind zonder in te leveren op efficiëntie.

4. Resultaten

De framework is getest op diverse scenario's (RRAM en SRAM) met verschillende werklasten (o.a. ResNet, VGG, MobileNet, ViT, GPT-2).

• Prestatieverbetering (EDAP):

  • In vergelijking met basismethoden (zoals optimalisatie voor alleen de grootste werklast of gescheiden optimalisatie), bereikte het framework EDAP-reducties van 76,2% voor een kleine set (4 werklasten) en 95,5% voor een grote set (9 werklasten).
  • De "joint search" presteerde consistent beter dan "separate search" (optimalisatie per werklast apart) en "maximum workload search" (alleen optimaliseren voor het grootste model).

• Convergentie en Stabiliteit:

  • Het voorgestelde algoritme toonde een veel stabielere convergentie en lagere variantie tussen verschillende runs dan traditionele GA's. De gemiddelde EDAP was significant lager (1,21 vs 2,47 mJ·ms·mm²) met een veel kleinere standaardafwijking.

• RRAM vs. SRAM:

  • RRAM-ontwerpen (zonder gewichtswisseling) bereikten over het algemeen lagere EDAP-waarden.
  • SRAM-ontwerpen (met gewichtswisseling) hadden hogere latentie door data-overdracht, maar toonden de flexibiliteit om grotere netwerken te ondersteunen.

• Ablatie Studies:

  • Gezamenlijke optimalisatie presteerde beter dan sequentiële optimalisatie (waarbij niveaus één voor één worden geoptimaliseerd), omdat sequentiële methoden vaak vastlopen in lokale minima of area-constraints schenden.

• Kosten en Schaalbaarheid:

  • Het framework werd uitgebreid om CMOS-technologieknopen (van 90nm tot 7nm) als variabele op te nemen. Dit resulteerde in Pareto-fronten die de afweging tussen fabricagekosten en prestaties (EDAP) visualiseren.
  • Het framework bleek schaalbaar tot complexe werklasten, inclusief Transformer-modellen (ViT, GPT-2 Medium).

5. Significantie en Toekomstperspectief

Dit werk is significant omdat het een praktische oplossing biedt voor het probleem van het ontwerpen van flexibele AI-hardware. In plaats van voor elke nieuwe AI-toepassing nieuwe hardware te ontwerpen, biedt dit framework een methode om één robuust IMC-platform te creëren dat efficiënt werkt voor een breed scala aan modellen.

Belangrijkste implicaties:

• Het minimaliseert de "generalization penalty" (het prestatieverlies bij het ondersteunen van meerdere werklasten).
• Het biedt inzicht in de trade-offs tussen verschillende geheugentechnologieën (RRAM vs. SRAM) en fabricagekosten.
• Het stelt ontwerpers in staat om hardware te optimaliseren voor realistische, diverse werklasten in plaats van theoretische, geïsoleerde gevallen.

Toekomstige richtingen die in het artikel worden genoemd, omvatten:

• Uitbreiding naar volledige model-hardware co-optimisatie (inclusief het aanpassen van het neurale netwerk zelf).
• Integratie van PVT (Process, Voltage, Temperature) en betrouwbaarheidsbewuste optimalisatie.
• Ondersteuning voor zeer grote modellen (LLMs) via hiërarchische abstracties.
• Uitbreiding naar multi-chip systemen en ondersteuning voor trainingswerklasten (niet alleen inferentie).

Kortom, dit artikel levert een fundamentele bijdrage aan het veld van AI-accelerators door een schaalbare, robuuste en efficiënte aanpak te bieden voor het co-ontwerpen van hardware en software voor de complexe, dynamische wereld van neurale netwerken.