Mitigating the Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques

Deze dissertatie stelt voor om processorontwerp te verschuiven van data-agnostisch naar data-informeerd door middel van machine learning en semantische data-eigenschappen, waardoor de prestaties en energie-efficiëntie aanzienlijk worden verbeterd door het memory-bottleneck effectief aan te pakken.

De kern

Deze samenvatting legt uit hoe deze proefschrift de "verkeersopstopping" in computers oplost, met behulp van slimme technieken en machine learning.

Stel je een moderne computer voor als een gigantisch, super snel restaurant. De chef-kok (de processor) is razendsnel in het bereiden van gerechten. Maar er is een groot probleem: de keukenbevoorrading (het geheugen) is traag. De kok moet vaak wachten tot de bezorger (de geheugencontroller) de ingrediënten (data) uit de kelder haalt. Terwijl de kok wacht, staat het restaurant stil. Dit noemen we de "geheugenkloof".

Rahul Bera's proefschrift, getiteld "Het oplossen van de geheugenkloof met machine learning", stelt voor om de bestaande, starre regels van het restaurant te veranderen. In plaats van dat de chef alleen kijkt naar een statische lijst, laten we de computer leren en voelen wat er gebeurt.

Hier zijn de vier grote ideeën uit het proefschrift, vertaald naar alledaagse analogieën:

1. Pythia: De slimme bezorger die leert van het verkeer

Het probleem: Traditionele computers gebruiken vaste regels om te voorspellen welke ingrediënten de chef nodig heeft. Ze zeggen bijvoorbeeld: "Als de chef pasta vraagt, bestel dan ook saus." Maar wat als de chef vandaag pizza bestelt? De vaste regel werkt niet meer. Soms bestellen ze te veel (wat de gangen verstopt) en soms te weinig (waardoor de chef moet wachten).

De oplossing (Pythia):
Pythia is als een slimme bezorger die een reinforcement learning (versterkende leer) algoritme gebruikt.

• Hoe het werkt: In plaats van een statische lijst te volgen, leert Pythia door te kijken naar het gedrag van de chef en de drukte in het restaurant. Als de gangen vol staan (geheugenbandbreedte is vol), leert Pythia om minder te bestellen. Als de chef een bepaald patroon volgt, leert Pythia dat patroon te voorspellen.
• Het resultaat: Pythia past zich continu aan. Hij leert welke ingrediënten nodig zijn voordat de chef ze vraagt, maar hij wast ook niet te veel weg. Hij is als een bezorger die de verkeersdrukte in de gaten houdt en zijn route aanpast.

2. Hermes: De snelle schatting voor de "verre" bestellingen

Het probleem: Soms moet de chef een ingrediënt hebben dat niet in de voorraadkast (de snelle cache) staat, maar diep in de kelder (het hoofdgeheugen). De chef moet eerst de hele voorraadkast doorzoeken om te zien dat het er niet is, en dan pas de bestelling naar de kelder sturen. Die zoektocht kost tijd, terwijl de bestelling al onderweg had kunnen zijn.

De oplossing (Hermes):
Hermes is als een voorspeller die een perceptron (een soort simpele hersenstructuur) gebruikt.

• Hoe het werkt: Hermes kijkt naar de bestelling en zegt: "Ik weet bijna zeker dat dit ingrediënt niet in de voorraadkast staat." In plaats van de chef te laten zoeken, stuurt Hermes gelijktijdig een bestelling naar de kelder, terwijl de chef nog steeds de voorraadkast doorzoekt.
• Het resultaat: Als Hermes gelijk heeft (wat vaak zo is), is het ingrediënt al onderweg als de chef eindelijk merkt dat het niet in de kast staat. De wachttijd verdwijnt. Het is alsof je een pizza bestelt terwijl je nog aan het kijken bent of je koelkast leeg is; de pizza is er al als je besluit te bestellen.

3. Athena: De regisseur die de orkestleden laat samenspelen

Het probleem: Als je Pythia (de slimme bezorger) en Hermes (de voorspeller) samen in het restaurant zet, kan het chaos ontstaan. Pythia bestelt misschien te veel, terwijl Hermes ook al bestellingen stuurt. Ze werken dan tegen elkaar in en blokkeren de gangen.

De oplossing (Athena):
Athena is de regisseur die ook machine learning gebruikt.

• Hoe het werkt: Athena kijkt naar de hele situatie: hoe druk is het? Wie werkt het beste? Als het restaurant rustig is, laat Athena Pythia en Hermes allebei hard werken. Als het erg druk is, schakelt Athena Hermes uit en laat hij Pythia voorzichtig zijn. Athena leert continu welke combinatie het beste werkt voor de huidige situatie.
• Het resultaat: Athena zorgt dat de twee technieken niet in conflict komen, maar elkaar juist versterken. Het is als een dirigent die het orkest laat spelen in harmonie, afhankelijk van hoe het publiek reageert.

4. Constable: De chef die weet wat hij al heeft

Het probleem: Soms vraagt de chef om een ingrediënt dat hij elke dag op exact hetzelfde moment nodig heeft, en dat altijd hetzelfde is (bijvoorbeeld: "altijd 100 gram zout"). De chef doet elke keer hetzelfde: hij loopt naar de kast, pakt het zout, en gebruikt het. Dit kost tijd en energie, terwijl het resultaat altijd hetzelfde is.

De oplossing (Constable):
Constable is een slimme chef die de herhaling in het gedrag ziet.

• Hoe het werkt: Constable merkt op: "Ah, deze bestelling is 'stabiel'. Weet je wat? Ik hoef niet naar de kast te lopen. Ik weet al wat er in zit." Hij slaat de actie over en geeft het resultaat direct door.
• Het resultaat: De chef hoeft niet meer te wachten of te zoeken. Hij bespaart tijd en energie. Het is alsof je een automatische koffiezetapparaat hebt dat weet dat je elke ochtend om 8:00 uur koffie wilt, en die al zet voordat je de deur uitloopt.

Waarom is dit belangrijk?

Vroeger bouwden computerontwerpers systemen met vaste regels, alsof ze een auto bouwden die alleen op de snelweg kon rijden. Maar het moderne internet en AI (zoals ChatGPT of beeldherkenning) zijn als stadsverkeer: chaotisch, veranderlijk en onvoorspelbaar.

Dit proefschrift zegt: "Stop met het bouwen van starre regels. Laat de computer leren van de data zelf."

Door machine learning (zoals Pythia, Hermes en Athena) en slimme observatie (Constable) te gebruiken, kunnen computers veel sneller worden en minder energie verbruiken, zelfs als de data die ze verwerken steeds groter en complexer wordt. Het is de overgang van een robot die alleen commando's uitvoert, naar een robot die echt begrijpt wat er gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het proefschrift "Mitigating The Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques" van Rahul Bera, geschreven in het Nederlands.

Titel: Het Mitigeren van de Memory Bottleneck met Machine Learning-gedreven en Data-bewuste Microarchitecturale Technieken

Auteur: Rahul Bera (ETH Zürich, 2025)
Promotor: Prof. Dr. Onur Mutlu

---

1. Het Probleem: De Data-agnostische Beperking

Moderne applicaties genereren en verwerken enorme hoeveelheden data, wat de opslag- en ophaalcapaciteiten van moderne geheugensystemen overweldigt. Geheugen is en blijft de belangrijkste prestatie- en energie-efficiëntie bottleneck. Om dit op te lossen, gebruiken architecten microarchitecturale technieken om geheugenlatentie te verbergen (bijv. caching, prefetching) of te tolereren (bijv. out-of-order execution).

Het kernprobleem dat Bera identificeert, is dat deze geavanceerde technieken vaak data-agnostisch zijn. Dit betekent dat ze:

1. Onvoldoende adaptief zijn: Ze maken beslissingen op basis van statische, door mensen ontworpen heuristieken die tijdens het ontwerp worden vastgesteld, en reageren niet dynamisch op de runtime-data die ze observeren.
2. Onvoldoende data-bewust zijn: Ze behandelen data uniform, zonder in te spelen op de inherente eigenschappen en semantiek van de applicatiedata (zoals herhaalbaarheid van waarden of adressen).

Dit leidt tot een significant gemiste kans voor prestatie- en energieverbeteringen, omdat de microarchitectuur niet optimaal gebruikmaakt van de overvloed aan informatie die tijdens de uitvoering beschikbaar is.

---

2. Methodologie: Een Paradigmaverschuiving

De dissertatie pleit voor een fundamentele verschuiving van data-agnostisch naar data-gedreven en data-bewust ontwerp.

• Data-gedreven: Microarchitecturale technieken passen hun beleidsregels continu aan door te leren van runtime-data (met behulp van Machine Learning).
• Data-bewust: Technieken passen hun beslissingen aan door gebruik te maken van de specifieke kenmerken van de applicatiedata.

Om dit te bewijzen, worden vier nieuwe technieken voorgesteld en geëvalueerd die lichtgewicht ML-methoden (Reinforcement Learning en Perceptron Learning) en data-kenmerken combineren. De evaluatie omvat een breed scala aan werklasten, inclusief een nieuwe corpus van 610 traces van de 4th Data Prefetching Championship (DPC4), die AI-, graf-mining- en datacenter-werklasten bevat.

---

3. Belangrijkste Bijdragen (De Vier Technieken)

A. Pythia: Hardware Prefetching met Online Reinforcement Learning (RL)

• Probleem: Bestaande prefetchers gebruiken vaak één statisch programma-kenmerk (feature) en missen systeemfeedback (zoals bandbreedtegebruik), wat leidt tot inconsistentie of prestatieverlies in bepaalde scenario's.
• Oplossing: Pythia modelleert prefetching als een Reinforcement Learning-probleem. De prefetcher is de "agent" die leert van interactie met het systeem.
  • Toestand (State): Een vector van meerdere programma-kenmerken (bijv. PC, adresdelta's).
  • Actie: Het kiezen van een prefetch-offset.
  • Beloning (Reward): Gebaseerd op dekking, nauwkeurigheid, tijdigheid en systeemfeedback (bijv. bandbreedtegebruik).
• Resultaat: Pythia leert autonoom patronen te herkennen en past zijn agressiviteit aan op basis van de systeemtoestand. Het presteert consistent beter dan state-of-the-art prefetchers (zoals SPP, Bingo, MLOP) in single-core, multi-core en bandbreedte-beperkte configuraties, met een bescheiden area- en power-overhead.

B. Hermes: Versnelling van Off-Chip Loads met Perceptron Learning

• Probleem: Zelfs met de beste prefetchers gaan veel loads off-chip. Een groot deel van de latentie van deze off-chip loads wordt echter verspild aan het doorlopen van de on-chip cachehiërarchie om te bepalen dat ze off-chip moeten.
• Oplossing: Hermes voorspelt welke loads off-chip zullen gaan en start speculatief het ophalen van data direct vanuit het hoofdgeheugen, terwijl de cachehiërarchie parallel wordt doorlopen.
  • Techniek: Gebruik van een Perceptron-gebaseerde predictor (POPET) die meerdere programma-kenmerken combineert om off-chip requests nauwkeurig te voorspellen.
  • Voordeel: Als de voorspelling correct is, wordt de on-chip cache-latentie volledig uit de kritieke pad verwijderd.
• Resultaat: Hermes levert aanzienlijke prestatiewinst op (tot ~11% alleen, meer in combinatie met Pythia) en reduceert wachttijden in de reorder buffer (ROB). Het werkt effectief zelfs in bandbreedte-beperkte systemen.

C. Athena: Synergisme tussen Prefetching en Off-Chip Prediction via RL

• Probleem: Het naief combineren van prefetching en off-chip prediction leidt vaak tot conflicten (bijv. bandbreedte-overbelasting of cache-vervuiling), vooral in complexe systemen. Bestaande coördinatiemechanismen zijn vaak statisch of niet flexibel genoeg.
• Oplossing: Athena is een RL-agent die de coördinatie tussen prefetchers en off-chip predictors (OCP) autonoom aanstuurt.
  • Innovatie: Athena gebruikt een samengestelde beloningsfunctie die het effect van de agent's acties scheidt van inherente variaties in het werklastgedrag (bijv. veranderingen in branch prediction). Dit voorkomt dat de agent "leert" op basis van ruis.
  • Actie: Het schakelen van prefetchers/OCP aan/uit en het aanpassen van de prefetch-agressiviteit op basis van Q-waarden.
• Resultaat: Athena overtreft naieve combinaties en andere coördinatiestrategieën (zoals TLP, HPAC, MAB) consistent in diverse cache-ontwerpen en werklasten, zonder extra tuning voor nieuwe werklasten.

D. Constable: Veilig Elimineren van Load Instructie-uitvoering

• Probleem: Bestaande technieken zoals Load Value Prediction (LVP) breken data-afhankelijkheid, maar voeren de load-instructie toch uit om de voorspelling te verifiëren, wat schaarse pipeline-resources (zoals load-ports) verbruikt.
• Observatie: Een aanzienlijk deel van de dynamische load-instructies haalt herhaaldelijk dezelfde waarde op van hetzelfde adres ("global-stable loads").
• Oplossing: Constable detecteert deze stabiele loads en elimineert hun volledige uitvoering (zowel adresberekening als data-ophaal), terwijl het de data-afhankelijkheid breekt door de laatste bekende waarde te gebruiken.
  • Mechanisme: Gebruik van structuren zoals SLD (Stable Load Detector), RMT (Register Monitor Table) en AMT (Address Monitor Table) om te garanderen dat de eliminatie veilig is (geen schrijfbewerkingen op bronregisters of adressen).
• Resultaat: Constable verbetert zowel de prestaties als de energie-efficiëntie (vermindering van dynamisch stroomverbruik) aanzienlijk, vooral in systemen met Simultaneous Multithreading (SMT) waar resource-contentie hoog is.

---

4. Resultaten en Evaluatie

De voorgestelde technieken zijn geëvalueerd met behulp van gedetailleerde simulaties (ChampSim, cycle-accurate modellen) op een breed scala aan werklasten:

• Generalisatie: Een cruciaal onderdeel van de evaluatie was het testen op de DPC4-traces (483 single-core en 966 four-core traces van AI, graf-mining en Google datacenters) die niet gebruikt zijn tijdens het ontwerp of de tuning van de modellen.
  • Conclusie: Alle ML-gedreven technieken (Pythia, Hermes, Athena) behielden hun prestatievoordelen op deze onbekende werklasten, wat bewijst dat ze niet overgefit zijn op specifieke benchmarks.
• Prestaties:
  • Pythia: Gemiddeld 14,8% prestatiewinst op DPC4-traces (single-core) en 13,9% (four-core).
  • Hermes: Tot 11,5% winst alleen, en tot 5,4% extra winst bovenop Pythia.
  • Athena: Consistent superieur aan bestaande coördinatiestrategieën in alle geteste cache-ontwerpen.
  • Constable: Tot 8,8% prestatiewinst in SMT-configuraties en aanzienlijke reductie in stroomverbruik.
• Overhead: Alle technieken hebben een bescheiden hardware-overhead (meestal enkele KB aan metadata-opslag en minimale area-toename).

---

5. Betekenis en Impact

Deze dissertatie levert een fundamentele bijdrage aan het veld van computerarchitectuur:

1. Paradigmaverschuiving: Het bewijst dat het verlaten van statische, mensontworpen heuristieken ten gunste van data-gedreven en data-bewuste ML-technieken de prestatiegrenzen van moderne processors kan verleggen.
2. Open Source: De auteur heeft de implementaties van Pythia, Hermes, Athena en Constable, evenals de DPC4-werklasten en evaluatie-infrastructuur, open-source gemaakt, wat de reproduceerbaarheid en verdere research in de gemeenschap stimuleert.
3. Industriële Relevantie: De inzichten hebben al geleid tot patentaanvragen (o.a. bij Intel) en zijn overgenomen in vervolgonderzoek. De technieken zijn relevant voor de toekomstige ontwikkeling van processors, vooral gezien de toenemende complexiteit van geheugensystemen en de groei van AI-werklasten.
4. Toekomstvisie: De dissertatie opent nieuwe wegen voor het toepassen van ML in andere domeinen, zoals caching, memory scheduling, en het co-ordineren van heterogene systemen (CPU/GPU/PIM).

Samenvattend biedt dit werk een robuust bewijs dat het integreren van machine learning en data-kenmerken in de microarchitectuur essentieel is om de groeiende "memory bottleneck" effectief aan te pakken in de volgende generatie computersystemen.