{\lambda}Scale: Enabling Fast Scaling for Serverless Large Language Model Inference

Het paper introduceert {\lambda}Scale, een serverloos inferentiesysteem dat snelle schaling voor grote taalmodellen mogelijk maakt door gebruik te maken van RDMA-netwerken voor gelijktijdige modeloverdracht en uitvoering, wat leidt tot aanzienlijke verbeteringen in latentie en kosten.

De kern

Stel je voor dat je een gigantische, slimme robot (een "Large Language Model" of LLM) hebt die vragen beantwoordt, zoals een supergeavanceerde chatbot. Deze robot is echter zo groot dat hij niet in één computer past; hij moet verspreid worden over tientallen krachtige computers in een datacentrum.

Nu komt het probleem: Serverless computing is een slimme manier om deze robot te laten werken. Je betaalt alleen voor de tijd dat hij echt aan het werk is. Maar als er plotseling duizenden mensen tegelijk een vraag stellen (een "spike" in de vraag), moet het systeem razendsnel nieuwe kopieën van die robot starten.

Helaas is dat in de huidige wereld erg traag. Het is alsof je een nieuwe robot moet bouwen, de blauwdrukken moet downloaden van een ver eiland, en pas daarna mag beginnen met werken. Dit duurt minuten, terwijl mensen wachten op een antwoord in milliseconden.

𝜆Scale is de oplossing die in dit artikel wordt voorgesteld. Het is als een revolutionair nieuw systeem om die robot te starten. Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Het Probleem: De "Koude Start"

Stel je voor dat je een restaurant hebt dat alleen open gaat als er klanten zijn.

• Huidige situatie: Als er plotseling 100 klanten binnenstormen, moet het restaurant eerst wachten tot het eten uit de vriezer (de server) wordt gehaald, ontdooid, en pas dan begint het koken. De klanten wachten 10 minuten op hun eten.
• Het alternatief: Je houdt 100 koks en fornuizen warm en klaar, ook als er niemand is. Dat kost enorm veel geld (energie/kosten), zelfs als er niemand eet.

2. De Oplossing: 𝜆Scale (De "Gok" en de "Snelweg")

𝜆Scale lost dit op met twee slimme trucs:

Truc A: De "Snelweg" (RDMA)

In plaats van de blauwdrukken van de robot langzaam over een normale weg te sturen, gebruikt 𝜆Scale een hyper-snelweg (een RDMA-netwerk) tussen de computers.

• Vergelijking: Het is alsof je in plaats van brieven per post te sturen, de hele bibliotheek in één seconde per raket naar de andere kant van de stad schiet. Dit maakt het overbrengen van de enorme robot-gegevens extreem snel.

Truc B: "Eten Koken terwijl je de Ingrediënten Ontvangt" (Execute-while-load)

Dit is de meest creatieve en belangrijke truc.

• Huidige situatie: Je wacht tot alle ingrediënten (de hele robot) op het aanrecht liggen voordat je begint met koken.
• 𝜆Scale situatie: Zodra de eerste paar ingrediënten (bijvoorbeeld de blokken voor de eerste zin) op het aanrecht liggen, begint de kok al met koken! Terwijl de rest van de ingrediënten nog aan het binnenkomen is via de snelweg, wordt er al gewerkt.
• De Analogie: Stel je voor dat je een trein moet bouwen. In plaats van te wachten tot alle wagons zijn aangekomen om de trein te starten, begint 𝜆Scale de locomotief al te laten rijden zodra de eerste wagon is aangesloten. Terwijl de trein rijdt, worden de achterliggende wagons (de rest van de robot) aangeschoven. Zo heb je geen wachttijd.

3. De Slimme Coördinatie (𝜆Pipe)

Om dit te laten werken, heeft 𝜆Scale een slimme manager nodig, genaamd 𝜆Pipe.

• Hoe het werkt: Stel je voor dat je een groep vrienden hebt die een groot raam moeten schilderen.
  • Normaal gesproken wacht iedereen tot de verf en kwasten bij iedereen zijn.
  • 𝜆Pipe verdeelt de verf in kleine bakjes en stuurt ze via een binaire boom (een slimme manier van doorgeven: A geeft aan B en C, B geeft aan D en E, enzovoort).
  • Zodra een vriend een bakje verf heeft, begint hij al met schilderen, terwijl de rest van de verf nog onderweg is.
  • Zodra de hele muur is geschilderd (de robot volledig geladen is), schakelen ze over op een normale, snelle manier van werken zonder die complexe doorgeef-sluizen meer nodig te hebben.

Waarom is dit geweldig?

1. Snelheid: Het systeem kan binnen 1 seconde een enorme robot starten op 8 computers tegelijk. Dat is 1,5 tot 5 keer sneller dan de beste systemen die nu bestaan.
2. Kosten: Omdat je niet hoeft te wachten tot alles klaar is, hoef je geen dure computers "warm" te houden als er niemand is. Je betaalt alleen voor wat je gebruikt, maar dan wel razendsnel.
3. Geen Wachtrijen: Als er plotseling duizenden mensen vragen stellen, springt het systeem direct in actie. De wachtrij voor de "koks" (de servers) blijft kort, zelfs tijdens piekmomenten.

Samenvatting in één zin

𝜆Scale is als een super-snel restaurant dat begint met koken voor de gasten, terwijl de ingrediënten nog net binnenkomen via een raket, waardoor je nooit hoeft te wachten en je nooit dure fornuizen hoeft te laten staan als er niemand is.

Het maakt de toekomst van AI-chatbots sneller, goedkoper en responsiever voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "𝜆Scale: Enabling Fast Scaling for Serverless Large Language Model Inference" in het Nederlands.

1. Het Probleem

Serverless computing biedt een aantrekkelijke oplossing voor cloud-gebaseerde inferentie van Machine Learning-modellen, vooral vanwege de schaalbaarheid en het "pay-per-use"-model. Echter, bij het uitvoeren van Large Language Models (LLMs) in een serverless omgeving ontstaan er ernstige uitdagingen:

• Koude Start (Cold Start) Overhead: Moderne LLM's zijn enorm groot (tientallen tot honderden miljarden parameters). Het laden van deze modellen van een externe opslag (zoals S3) naar een GPU-node kan minuten duren. Dit creëert onacceptabele vertragingen voor real-time inferentie.
• Beperkte Schaalbaarheid: Bestaande oplossingen proberen dit op te lossen door modellen lokaal in het geheugen (GPU of host RAM) te cachen. Dit is echter inefficiënt in multi-tenant omgevingen omdat het geheugen beperkt is en modellen vaak te groot zijn om allemaal tegelijk te worden bewaard.
• Resource Overprovisioning: Om koude starts te vermijden, moeten platforms vaak GPU's voorhanden houden die inactief zijn tijdens rustperiodes, wat de kosten sterk verhoogt en het serverless-model ondermijnt.
• Trage Opslaglagen: Het gebruik van SSD's als tussenlaag is langzamer dan RAM, maar sneller dan netwerkdownloads. Echter, zelfs SSD-laden is te traag voor dynamische pieken in de vraag.

Er is dus een fundamentele afweging nodig tussen opstarttijd en resource-kosten die bestaande systemen niet effectief kunnen doorbreken.

2. Methodologie: 𝜆Scale en 𝜆Pipe

Het paper introduceert 𝜆Scale, een serverless inferentiesysteem dat de koude-startproblematiek oplost door twee kerninzichten te combineren:

1. Het gebruik van hoge snelheid RDMA-netwerken (Remote Direct Memory Access) tussen GPU-nodes voor snelle multicasting van modeldata.
2. Het toepassen van een "execute-while-load" (uitvoeren tijdens het laden) strategie, waarbij inferentie begint voordat het volledige model is geladen.

De kern van 𝜆Scale is het 𝜆Pipe-systeem, dat bestaat uit drie belangrijke ontwerpelementen:

A. Adaptieve Model Multicast (Adaptive Model Multicast)

In plaats van het hele model in één keer te kopiëren, wordt het model opgedeeld in fijne blokken. 𝜆Pipe gebruikt een binomiale pipeline-multicast algoritme (gebaseerd op RDMC) om deze blokken efficiënt over een cluster van nodes te verspreiden.

• K-way Transmissie: Het systeem verdeelt nodes in sub-groepen en gebruikt een circulaire verschuivingstrategie voor het overdragen van blokken. Hierdoor kunnen meerdere nodes tegelijkertijd beginnen met het assembleren van een compleet model, wat de totale doorvoertijd minimaliseert.

B. Dynamische Pipelined Uitvoering (Pipelined Inference Execution)

Zodra een node voldoende modelblokken heeft ontvangen om een deel van de inferentie uit te voeren, start deze direct met het verwerken van verzoeken.

• 2D Pipelining: Inferentieverzoeken worden parallel verwerkt over een netwerk van nodes. Elke node berekent een specifiek blok van het model voor een batch van verzoeken en geeft het tussenresultaat door aan de volgende node.
• Dynamische Constructie: De uitvoeringspijplijnen worden dynamisch opgebouwd tijdens het laden. Zodra het model volledig is geladen, schakelt het systeem naadloos over naar lokale uitvoering (zonder cross-node overhead).

C. Efficiënt Geheugenbeheer (Efficient Model Management)

𝜆Scale beheert modellen over verschillende opslaglagen (GPU-geheugen, host-geheugen, SSD) via:

• Locality-driven Startup: Het systeem kiest de snelste startmethode afhankelijk van waar het model zich bevindt (Hot start vanuit GPU, Warm start vanuit host-geheugen, of Cold start via multicast).
• Tensor Packing & Pre-allocation: Tensor-data wordt samengevoegd in continue geheugenblokken voor efficiëntere overdracht, en geheugen wordt vooraf toegewezen om runtime-allocatie-overhead te elimineren.

3. Belangrijkste Bijdragen

• 𝜆Scale Architectuur: Een nieuw serverless platform dat RDMA en GPUDirect RDMA (GDR) gebruikt voor low-latency modelmulticast.
• 𝜆Pipe Systeem: Een innovatief schema voor "execute-while-load" dat adaptieve multicast en dynamische pijplijnconstructie combineert.
• Dynamische Schaalbaarheid: Het vermogen om schaalbaarheidspieken op te vangen zonder voorafgaande resource-reservering, door collaboratieve inferentie tijdens het laden.
• Implementatie: Een werkend systeem gebouwd op bestaande open-source frameworks (Derecho, Meta's Llama framework) dat Llama-modellen (7B, 13B, 70B) ondersteunt.

4. Resultaten

De evaluatie is uitgevoerd op een HPC-cluster met NVIDIA H800 GPU's en vergeleken met state-of-the-art systemen zoals ServerlessLLM, FaaSNet en NCCL.

• Snelheid van Multicast: 𝜆Scale is tot 1,82x sneller dan FaaSNet en 1,53x sneller dan NCCL bij het verspreiden van modelblokken over een cluster.
• Doorvoer (Throughput): 𝜆Scale bereikt piek-doorvoer aanzienlijk sneller. Bij koude starts (geen vooraf geladen modellen) is 𝜆Scale 3,75x tot 11,4x sneller dan ServerlessLLM.
• Latentie (TTFT - Time To First Token): 𝜆Scale verbetert de tail-latentie (90e percentiel) met tot 5x in vergelijking met bestaande oplossingen onder realistische werklasten.
• Kostenbesparing: Door snellere schaalbaarheid en minder tijd in een "wachtende" toestand, reduceert 𝜆Scale de totale GPU-resourcekosten met 17,8% tot 31,3%.
• Real-world Workload: Bij het testen met de "BurstGPT" workload (een piekbelasting scenario) slaagt 𝜆Scale erin om de vraagpieken direct op te vangen, terwijl andere systemen vertragingen oplopen door langzame model-lading.

5. Significatie

Deze paper is significant omdat het een fundamentele beperking van serverless LLM-inferentie oplost: de trade-off tussen starttijd en kosten.

• Paradigmaverschuiving: Het introduceert het concept dat inferentie tijdens het laden van het model kan plaatsvinden, in plaats van te wachten tot het model volledig is geladen.
• Efficiëntie: Het maakt serverless inferentie voor grote modellen economisch haalbaar door het verminderen van idle GPU-tijd en het elimineren van de noodzaak voor overprovisioning.
• Toekomstbestendigheid: Met de groeiende omvang van AI-modellen biedt 𝜆Scale een schaalbare architectuur die gebruikmaakt van moderne high-speed netwerkinfrastructuur (RDMA) om deze groei te ondersteunen zonder in te leveren op performance.

Kortom, 𝜆Scale bewijst dat snelle, kostenefficiënte en responsieve serverless inferentie voor grote taalmodellen mogelijk is door slimme netwerknut en dynamische uitvoeringsstrategieën.