{\lambda}Scale: Enabling Fast Scaling for Serverless Large Language Model Inference

Das Paper stellt {\lambda}Scale vor, ein effizientes serverloses Inferenzsystem für große Sprachmodelle, das durch die Kombination von RDMA-basiertem Multicast und einer „execute-while-load"-Strategie die Skalierungsgeschwindigkeit drastisch erhöht und im Vergleich zu bestehenden Lösungen die Tail-Latenz um bis zu 5-fach sowie die Kosten um 31,3 % senkt.

Das Wesentliche

Stell dir vor, du betreibst einen riesigen, digitalen Kaffee-Shop, der nur dann geöffnet ist, wenn Kunden kommen (das nennt man "Serverless"). Wenn ein Kunde einen Kaffee bestellt, muss der Barista (der Computer) erst das Rezept (das große KI-Modell) aus dem Keller holen, sich die Zutaten zurechtlegen und dann den Kaffee brühen.

Das Problem bei modernen KI-Modellen (wie Chatbots) ist, dass diese "Rezepte" gigantisch sind – so groß wie eine ganze Bibliothek. Wenn plötzlich 100 Kunden gleichzeitig reinkommen (ein "Last-Spike"), müssen 100 Baristas gleichzeitig die riesigen Bücher aus dem Keller holen. Das dauert ewig. Die Kunden warten, werden ungeduldig und der Service bricht zusammen.

Die aktuellen Lösungen sind wie zwei extreme Optionen:

1. Die teure Lösung: Du hältst 100 Baristas bereit, die immer die Bücher in der Hand halten, auch wenn niemand da ist. Das kostet ein Vermögen, weil die Baristas nur herumstehen.
2. Die langsame Lösung: Du hast nur wenige Baristas. Wenn Kunden kommen, rennen sie erst in den Keller, holen das Buch, lesen es sich durch und fangen dann an. Das dauert zu lange.

Hier kommt 𝜆Scale (Lambda-Scale) ins Spiel. Es ist wie ein geniales neues System für deinen Kaffee-Shop, das zwei magische Tricks anwendet:

1. Der "Fließband-Trick" (Execute-while-Load)

Stell dir vor, anstatt dass jeder Barista das ganze Buch erst komplett holen muss, bevor er anfängt, arbeiten sie zusammen.

• Barista A fängt an, das erste Kapitel zu lesen und den Kaffee zu brühen.
• Während Barista A noch das erste Kapitel liest, holt Barista B bereits das zweite Kapitel aus dem Keller.
• Barista C holt das dritte Kapitel.
• Das Geniale: Sie arbeiten während sie die Bücher holen. Sobald ein Barista ein kleines Stück des Rezepts hat, fängt er schon an zu kochen. Sie geben die Informationen wie in einer Fließbandproduktion weiter. Niemand muss warten, bis das ganze Buch da ist.

2. Der "Super-Highway" (RDMA)

Normalerweise ist der Weg vom Keller zum Tresen langsam (wie ein einspuriger Landweg). 𝜆Scale nutzt einen Superschnell-Highway (RDMA-Netzwerk), auf dem die Bücher in winzigen, schnellen Paketen gleichzeitig zu allen Baristas fliegen. Es ist, als würde man nicht ein ganzes Buch kopieren, sondern die Seiten in einem Blitz an alle gleichzeitig verteilen.

Wie funktioniert das genau? (Die Analogie der "Pipelines")

Das System nennt sich 𝜆Pipe. Stell dir vor, die Baristas bilden eine Schlange (eine Pipeline).

• Wenn ein neuer Barista (ein neuer Server) dazukommt, wird er nicht einfach nur angestellt und muss warten.
• Er wird sofort in die Schlange integriert.
• Während er noch die ersten Seiten des Rezepts empfängt, übernimmt er schon die Arbeit für die Kunden, die gerade warten.
• Sobald er das ganze Rezept hat, arbeitet er allein weiter. Aber in der Zwischenzeit hat er schon viel Arbeit erledigt, ohne dass die Kunden warten mussten.

Warum ist das so toll?

• Geschwindigkeit: Wenn plötzlich 1000 Kunden kommen, kann dein System in Sekundenbruchteilen 100 neue Baristas "aktivieren", die sofort arbeiten, ohne erst das ganze Buch lesen zu müssen.
• Geld sparen: Du musst keine 100 Baristas fest anstellen, die nur herumstehen. Du stellst sie nur ein, wenn sie gebraucht werden, und sie arbeiten sofort effizient. Das spart bis zu 30 % der Kosten.
• Kein Warten: Die Kunden (die KI-Anfragen) bekommen ihre Antwort viel schneller, weil niemand auf das vollständige "Rezept" warten muss, bevor der erste Kaffee serviert wird.

Zusammenfassend:
𝜆Scale ist wie ein Schwarm-Intelligenz-System für KI. Es erlaubt den Computern, gemeinsam an einer Aufgabe zu arbeiten, während sie sich noch die Werkzeuge holen. Es verwandelt das langsame "Zuerst-Holen-dann-Arbeiten" in ein schnelles "Arbeiten-während-des-Holens". Das Ergebnis: Schnelle KI, auch wenn plötzlich alle gleichzeitig etwas wollen, und das alles zu einem fairen Preis.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „𝜆Scale: Enabling Fast Scaling for Serverless Large Language Model Inference" auf Deutsch.

1. Problemstellung

Serverless-Computing bietet eine vielversprechende Lösung für Cloud-basierte Inferenzdienste von Machine-Learning-Modellen, da es dynamische Lastmuster effizient handhaben und Kosten durch ein „Pay-per-Use"-Modell senken kann. Allerdings stoßen bestehende Serverless-Plattformen bei modernen Large Language Models (LLMs) an ihre Grenzen, insbesondere aufgrund des Cold-Start-Problems:

• Hoher Start-Overhead: Das Laden und Initialisieren großer Modelle (z. B. Llama-70B mit 140 GB) von entfernten Speichern (S3, Hugging Face) oder sogar von lokalen SSDs auf GPUs dauert oft mehrere Minuten.
• Begrenzte Skalierbarkeit: Um diese Verzögerungen zu vermeiden, neigen Plattformen dazu, GPU-Ressourcen überdimensioniert vorzuhalten (Overprovisioning), was die Kosteneffizienz von Serverless-Systemen zunichtemacht.
• Speicherbeschränkungen: Das Cachen aller Modelle im Host-Speicher (RAM) ist in Multi-Tenant-Umgebungen aufgrund der begrenzten Kapazität und der hohen Anzahl an Modellen oft unpraktisch.
• Starre Trade-offs: Bestehende Lösungen stehen vor einem Dilemma: Entweder lange Startzeiten (Cold Starts) oder hohe Ressourcenkosten (Overprovisioning).

Das Ziel ist es, eine Serverless-Inferenzplattform zu schaffen, die auf Lastspitzen (Bursts) sofort reagieren kann, ohne zusätzliche Ressourcenkosten zu verursachen und ohne lange Wartezeiten.

2. Methodik und Systemarchitektur

Das Paper stellt 𝜆Scale vor, ein skalierbares Serverless-Inferenzsystem, das zwei zentrale Erkenntnisse nutzt:

1. Moderne GPU-Cluster verfügen über Hochgeschwindigkeits-Netzwerke (z. B. 400 Gbps RDMA), die einen effizienten Multicast ermöglichen.
2. Inferenz kann beginnen, bevor ein Knoten das gesamte Modell geladen hat („Execute-while-Load").

Die Architektur besteht aus einem Cluster-Manager und Worker-Nodes. Der Kern des Systems ist das Skalierungsschema 𝜆Pipe (Lambda-Pipe), das folgende Komponenten umfasst:

A. Adaptive Model Multicast (Adaptiver Modell-Multicast)

• Binomial-Pipeline-Algorithmus: 𝜆Scale nutzt einen auf dem Binomial-Pipeline-Algorithmus basierenden Ansatz, um Modelle in feinkörnige Blöcke zu partitionieren und diese über eine Hypercube-Kommunikations-Topologie an alle Zielknoten zu verteilen.
• K-Wege-Übertragung: Anstatt nur einen Quellknoten zu nutzen, kann 𝜆Scale mehrere Knoten gleichzeitig als Quellen verwenden ($k \rightarrow N$ Skalierung).
• Optimierter Transfer-Order: Durch eine zyklische Verschiebung der Block-Reihenfolge in Untergruppen wird sichergestellt, dass Zielknoten schnell vollständige Modell-Instanzen zusammenfügen können, um die Inferenz zu starten.

B. Pipelined Inference Execution (Pipelinierte Inferenz-Ausführung)

• Dynamische Pipelines: Während das Modell noch übertragen wird, werden die Knoten dynamisch zu „Execution Pipelines" gruppiert. Diese Pipelines führen eine verteilte Inferenz durch, bei der verschiedene Knoten verschiedene Teile des Modells (Model Blocks) verarbeiten.
• 2D-Pipelining: Anfragen werden so verteilt, dass Knoten parallel an verschiedenen Batches arbeiten, sobald genügend Modellblöcke verfügbar sind.
• Multi-GPU-Unterstützung: Das System unterstützt sowohl Modelle, die auf eine GPU passen, als auch solche, die über mehrere GPUs verteilt sind (Tensor Parallelism), und nutzt lokale Hochgeschwindigkeitsverbindungen (NVLink) für intra-node Replikation.

C. Mode Switching (Moduswechsel)

• Sobald ein Knoten das vollständige Modell geladen hat, wechselt er nahtlos in den lokalen Ausführungsmodus.
• Um den Übergang ohne Unterbrechung zu gewährleisten, werden KV-Caches (für bereits laufende Anfragen) neu berechnet, anstatt sie über das Netzwerk zu übertragen, was den Overhead minimiert.

D. Effizientes Modell-Management

• Lokalitätsgetriebener Start: Das System unterscheidet zwischen „Hot Start" (Modell bereits in GPU), „Warm Start" (Modell im Host-RAM) und „Cold Start" (Modell remote). Es nutzt die verfügbare Lokalität, um den Start zu beschleunigen.
• Speicherverwaltung: Durch „Tensor Packing" (Kontinuierliche Speicherblöcke) und „GPU Memory Pre-allocation" wird die Übertragungseffizienz maximiert und Laufzeit-Allokations-Overhead reduziert.

3. Wichtige Beiträge

1. Execute-while-Load Paradigma: 𝜆Scale ist das erste System, das die Idee der parallelen Inferenz während des Modelltransfers in einer Serverless-Umgebung effektiv umsetzt.
2. 𝜆Pipe-Schema: Ein neuartiges Skalierungsschema, das adaptiven Multicast mit dynamischer Pipeline-Konstruktion kombiniert, um die Startzeit von Inferenzinstanzen drastisch zu verkürzen.
3. Systemimplementierung: Eine vollständige Implementierung, die Open-Source-Projekte wie Derecho (für Multicast) und Meta's Llama-Framework erweitert, mit Unterstützung für GPUDirect RDMA (GDR).
4. Umfassende Evaluierung: Der Vergleich mit State-of-the-Art-Lösungen (ServerlessLLM, FaaSNet, NCCL) unter realen Workloads.

4. Ergebnisse und Evaluation

Die Evaluation wurde auf einem Testbed mit NVIDIA H800 GPUs und 400 Gbps RDMA-Netzwerken durchgeführt.

• Multicast-Performance: 𝜆Scale ist im Vergleich zu NCCL und FaaSNet um den Faktor 1,53x bis 1,82x schneller beim Modell-Multicast. Bei großen Modellen und vielen Knoten (z. B. Llama-70B auf 12 Knoten) ist der Vorteil noch deutlicher.
• Durchsatz-Skalierung: 𝜆Scale erreicht den Spitzen-Durchsatz signifikant schneller. Im Vergleich zu ServerlessLLM (das auf SSDs wartet) ist 𝜆Scale in Szenarien mit lokalem Cache 2x bis über 4x schneller.
• Cold-Start-Leistung: In Cold-Start-Szenarien (kein Modell im GPU-Speicher) übertrifft 𝜆Scale ServerlessLLM um das 3,75-fache bis 11,4-fache.
• Tail-Latenz (TTFT): Unter realen, bursty Workloads (BurstGPT-Datensatz) verbessert 𝜆Scale die 90. Perzentil-Tail-Latenz (Time-to-First-Token) um das 2,4-fache bis 5-fache.
• Kosteneffizienz: Durch die schnelle Skalierung und das Vermeiden von Overprovisioning reduziert 𝜆Scale den GPU-Ressourcenverbrauch im Vergleich zu den Baselines um 17,8% bis 31,3%.

5. Bedeutung und Fazit

𝜆Scale adressiert eine kritische Lücke im Bereich des Serverless-Computing für KI-Modelle. Es beweist, dass die traditionellen Trade-offs zwischen Startzeit und Ressourcenkosten überwunden werden können.

• Praktische Relevanz: Das System ermöglicht es Cloud-Anbietern, Serverless-LLM-Dienste mit strengen Latenzanforderungen (Millisekunden) anzubieten, ohne massive Infrastrukturkosten zu verursachen.
• Technischer Fortschritt: Die Kombination aus hochperformanten Netzwerktechniken (RDMA/GDR) und algorithmischen Innovationen (dynamische Pipelines während des Ladens) setzt einen neuen Standard für skalierbare Inferenzsysteme.
• Zukunftsaussichten: Das Paper legt den Grundstein für weitere Optimierungen, wie die Unterstützung von Tensor Parallelism und die Erweiterung auf noch größere Modelle, die mehrere Knoten überspannen.

Zusammenfassend stellt 𝜆Scale einen Durchbruch dar, der Serverless-Inferenz für große Sprachmodelle nicht nur möglich, sondern auch wirtschaftlich und leistungsfähig macht.