Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator

Helios is een hybride-bonding-gebaseerde hardware-software co-design voor 3D-DRAM die de dynamische aard van LLM-servingswerklasten adresseert door geavanceerde KV-cache-beheer- en communicatieprimitieven te introduceren, wat resulteert in aanzienlijke verbeteringen in snelheid en energie-efficiëntie ten opzichte van bestaande GPU- en NMP-ontwerpen.

De kern

Stel je voor dat je een gigantische, slimme chatbot hebt die continu vragen beantwoordt van miljoenen mensen tegelijk. Soms zijn de vragen kort ("Wat is de hoofdstad van Frankrijk?"), en soms zijn het enorme romans die de bot moet samenvatten. Dit noemen we Large Language Models (LLMs).

Het probleem is dat deze bots vaak vastlopen of erg traag worden als er veel mensen tegelijk vragen stellen, of als de vragen heel lang zijn. De huidige hardware (zoals de krachtige videokaarten in servers) is als een superkrachtige kok die wel snel kan snijden (rekenen), maar een heel trage koelkast heeft om ingrediënten op te slaan (geheugen). Als de kok moet wachten tot de ingrediënten uit de koelkast komen, staat de hele keuken stil.

Hier komt Helios om de hoek kijken. Dit is een nieuwe, slimme manier om deze chatbots te laten werken, ontwikkeld door onderzoekers van onder andere de Universiteit van Peking.

Hier is hoe Helios werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Statische" Koelkast

Stel je voor dat de huidige systemen werken met een statische indeling.

• Elke vraag krijgt een vaste plek in de koelkast toegewezen, zelfs als de vraag nog maar één zin is.
• Als er een lange vraag binnenkomt, moet die hele lange rij ingrediënten op één plek passen. Als die plek vol zit, moet je wachten, zelfs als er elders in de koelkast nog ruimte is.
• Dit zorgt voor verspilling (leeg ruimte die niet gebruikt kan worden) en wachttijden (de kok moet wachten tot de juiste ingrediënten worden opgehaald).

2. De Oplossing: Helios als een Slimme, Dynamische Keuken

Helios is een nieuwe soort "keuken" (een chip) die twee dingen combineert:

1. Hybrid Bonding: Dit is als het direct vastplakken van de koelkast op het aanrecht. In plaats van dat de ingrediënten (data) via een lange gang naar de kok (rekenkracht) moeten worden gebracht, zitten ze er direct bovenop. Dit maakt het overbrengen van data extreem snel en energiezuinig.
2. Slimme Indeling (Dynamisch): Helios gebruikt geen vaste plekken meer. Het werkt met kleine blokken.

De Analogie van de Legpuzzel

Stel je voor dat je een enorme legpuzzel moet maken (het antwoord op de vraag).

• Oude systemen: Je probeert de hele puzzel op één groot bord te leggen. Als de puzzel te groot is, past hij niet. Als je een klein stukje puzzel hebt, moet je toch een heel groot bord gebruiken.
• Helios: Je hebt een vloer met 16 kleine tafeltjes (deze noemen ze Processing Engines). Helios snijdt de puzzel in kleine, flexibele stukjes.
  • Als er een korte vraag is, gebruikt Helios maar één tafeltje.
  • Als er een lange vraag is, spreidt het de puzzelstukjes over alle 16 tafeltjes uit.
  • Als er een nieuwe vraag binnenkomt, zoekt Helios direct naar de tafeltjes die nog ruimte hebben. Er is geen "wachtlijst" meer omdat één tafeltje vol zit.

3. Waarom is dit zo snel?

Helios lost twee grote problemen op:

• Geen "Wachtrij" meer: Omdat de data direct op de rekenkracht zit en de puzzelstukjes slim worden verdeeld, hoeft de kok (de processor) nooit te wachten op ingrediënten.
• Perfecte Verdeling: Als er 100 mensen tegelijk vragen stellen, verdeelt Helios het werk zo dat geen enkele kok te veel werk heeft en geen enkele kok niets doet. Het is alsof een manager die ziet dat de ene kok te veel taartjes bakt en de andere te weinig, en direct de taakjes herschikt.

4. Het Resultaat

De onderzoekers hebben Helios getest tegen de beste huidige systemen (zoals de krachtige NVIDIA A100-chips).

• Snelheid: Helios is gemiddeld 3,25 keer sneller. Dat is alsof je een reis van 1 uur nu in 20 minuten doet.
• Energie: Het verbruikt 3,36 keer minder energie voor dezelfde taak. Dit is alsof je dezelfde afstand rijdt met een elektrische auto in plaats van een oude benzineauto die veel brandstof verbruikt.
• Stabiliteit: Zelfs als er plotseling duizenden mensen tegelijk een vraag stellen, blijft Helios rustig werken, terwijl andere systemen vastlopen.

Samenvattend

Helios is als het bouwen van een supermoderne, slimme fabriek waar de machines (rekenkracht) en de magazijnen (geheugen) perfect op elkaar zijn afgestemd. In plaats van starre regels te volgen, past Helios zich continu aan aan de vraag. Of je nu een korte vraag stelt of een heel boek laat samenvatten, Helios verdeelt het werk slim over alle beschikbare ruimte, waardoor het sneller, goedkoper en stabieler is dan wat we nu hebben.

Het is een stap in de richting van chatbots die niet alleen slimmer zijn, maar ook veel sneller en efficiënter reageren op onze dagelijkse vragen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator" (Helios), geschreven in het Nederlands.

Titel: Hardware-Software Co-design voor een 3D-DRAM-gebaseerde Versneller voor LLM-diensten (Helios)

Auteurs: Cong Li, Yihan Yin, Chenhao Xue, et al. (Peking University, Xi'an UniIC Semiconductors, Houmo AI, HKUST)

---

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor online generatieve diensten. Deze diensten staan voor een unieke uitdaging: ze moeten werken met hoog dynamische werklasten die gekenmerkt worden door:

• Fluctuerende aankomsttijden: De vraag kan met een factor 10 of meer variëren tussen piek- en daluren.
• Variabele request-lengtes: De contextlengte van verzoeken varieert enorm (van enkele honderden tot wel 10.000 tokens).

Bestaande versnellers, zoals GPU's en Near-Memory Processing (NMP) architecturen, hebben moeite om deze dynamiek efficiënt te hanteren:

• GPU's: Hebben hoge rekenkracht maar beperkte bandbreedte, wat leidt tot slechte prestaties bij geheugen-intensieve operaties (zoals de decoding-fase van LLM's).
• Bestaande NMP-ontwerpen: Deze integreren verwerkingseenheden (PE's) in geheugenmodules om bandbreedte te vergroten. Echter, ze lijden onder twee fundamentele beperkingen:
  1. Grofkorrelig KV-cache beheer: De Key-Value (KV) cache wordt statisch toegewezen aan vaste NMP-modules (bijv. per HBM-cube). Dit leidt tot rekenwerk-ongelijkheid (load imbalance) en ernstige geheugenfragmentatie, vooral bij variabele request-lengtes.
  2. Ondynamische attention-executie: Bestaande NMP-ontwerpen vereisen dat de volledige KV-cache van een attention-head binnen één module zit. Dit maakt het onmogelijk om fine-grained, dynamische cache-beheerstrategieën (zoals block-wise caching) toe te passen die nodig zijn voor variabele contextlengtes.

---

2. Methodologie: De Helios Architectuur

Helios is een versneller gebaseerd op Hybrid Bonding (HB)-technologie, die DRAM-dies direct op een logic-die stakelt. Het ontwerp combineert hardware-architectuur en systeemsoftware om de kloof tussen de dynamische aard van LLM-diensten en de gedistribueerde geheugenabstractie van NMP te overbruggen.

A. Hardware-ontwerp (HB-Device)

• Hybrid Bonding: Helios gebruikt HB om vier DRAM-dies en een auxiliary die te stacken op een logic-die. Dit biedt extreem hoge I/O-dichtheid (110.000 pins/mm²) en lage energie-efficiëntie (0.66 pJ/bit).
• Distributed Processing Engines (PE's): De logic-die bevat een $4 \times 4$ mesh van PE's. Elke PE heeft directe toegang tot zijn lokale DRAM-banken.
• PE Architectuur: Elke PE bevat units voor matrixbewerkingen (GEMM), online softmax, vectorbewerkingen en reductie. Dit stelt ze in staat om zowel compute- als memory-bound operaties lokaal uit te voeren.

B. Operator Executie: Gedistribueerde Tiled Attention

In plaats van de traditionele aanpak waarbij de volledige attention-matrix in één keer wordt berekend, implementeert Helios Tiled Attention:

• Block-wise Verwerking: De KV-cache wordt opgesplitst in blokken. Elke PE berekent lokale attention-deelresultaten voor zijn blokken.
• Online Softmax & Reductie: Deelresultaten worden via een geoptimaliseerd communicatiepatroon (gebaseerd op mesh-topologie) samengevoegd. Dit maakt het mogelijk om attention te berekenen zonder dat de volledige KV-cache in één module hoeft te passen.
• Overlapping: Berekening en communicatie worden zorgvuldig over elkaar gelegd om latentie te minimaliseren.

C. Systeemontwerp: Ruimtelijk Bewust KV-cache Toewijzing

Helios introduceert een nieuwe allocatiestrategie (Algorithm 2) die rekening houdt met de fysieke locatie van de PE's:

• Doel: Het balanceren van rekenwerk en het minimaliseren van communicatie- overhead.
• Strategie:
  • Volledige blokken worden toegewezen aan PE's met de minste belasting en de grootste afstand tot de centrale "reductie-knooppunten" (om latere communicatie te optimaliseren).
  • De laatste (onvolledige) blokken worden toegewezen aan PE's die dichter bij het centrum liggen of minder onvolledige blokken hebben, om de communicatiekosten voor de laatste blokken te verlagen.
• Resultaat: Dit elimineert geheugenfragmentatie en zorgt voor een evenwichtige lastverdeling, zelfs bij zeer dynamische werklasten.

---

3. Belangrijkste Bijdragen

1. Diepgaande Analyse: Identificatie van de fundamentele mismatch tussen dynamische LLM-diensten en statische NMP-architecturen (coarse-grained caching en inflexibele attention flows).
2. Helios Architectuur: Een volledig nieuw ontwerp dat NMP-native gedistribueerde tiled attention mogelijk maakt via Hybrid Bonding. Dit breekt de beperking dat een attention-head gebonden moet zijn aan één geheugenmodule.
3. Systeem-Software Co-design: Een ruimtelijk bewust KV-cache allocatiemechanisme dat rekening houdt met de fysieke topologie van de PE's om communicatie-overhead te minimaliseren en load balancing te maximaliseren.
4. End-to-End Implementatie: Een complete simulatie en evaluatie die laat zien dat Helios zowel de decoding-latentie als de energie-efficiëntie aanzienlijk verbetert ten opzichte van bestaande oplossingen.

---

4. Resultaten

Helios werd geëvalueerd tegenover bestaande GPU's (A100) en geavanceerde NMP-ontwerpen (zoals AttAcc, Duplex, Stratum) op diverse modellen (OPT, LLaMA3, Mixtral, Qwen, DeepSeek).

• Snelheid: Helios bereikt een 3,25x versnelling (geometrisch gemiddelde) ten opzichte van bestaande GPU/NMP-ontwerpen.
• Energie-efficiëntie: Een verbetering van 3,36x in energie-efficiëntie.
• Serving Performance:
  • Tot 72% verbetering in P50 en 76% verbetering in P99 "time-between-tokens" (TBT) latency.
  • Helios behoudt hoge prestaties onder zware druk, terwijl andere NMP-ontwerpen door load imbalance en fragmentatie snel verslechteren.
• Fragmentatie: Bestaande NMP-ontwerpen vertonen een piekfragmentatie die 4,67x tot 23,10x hoger is dan die van Helios. Helios houdt fragmentatie onder 15%.
• Load Balancing: De load imbalance ratio (verschil tussen snelste en langste PE) wordt beperkt tot 7,1-13,3% bij Helios, terwijl andere ontwerpen tot 100% kunnen oplopen bij lage belasting.

---

5. Betekenis en Impact

Dit paper is significant omdat het een oplossing biedt voor het "serving bottleneck" probleem in de LLM-industrie.

• Schaalbaarheid: Helios toont aan dat Near-Memory Processing effectief kan worden gebruikt voor dynamische LLM-diensten, mits de architectuur en het software-beheer samen worden ontworpen.
• Toekomstige Hardware: Het valideert het gebruik van Hybrid Bonding voor AI-versnellers, waarbij de hoge bandbreedte van 3D-DRAM wordt gecombineerd met flexibele rekenarchitecturen.
• Efficiëntie: Door de inefficiëntie van statische cache-toewijzing weg te nemen, kan Helios meer verzoeken per seconde verwerken met minder energie, wat cruciaal is voor de kosten en duurzaamheid van cloud-diensten voor LLM's.

Kortom, Helios beweert dat de toekomst van LLM-servers niet alleen ligt in meer rekenkracht, maar in het slimme co-ontwerp van hardware-architectuur en dynamisch geheugenbeheer.