WVA: A Global Optimization Control Plane for llmd

Die Arbeit stellt den Workload Variant Autoscaler (WVA) vor, eine auf \texttt{llmd} abgestimmte globale Steuerungsplattform, die durch die Berücksichtigung von SLOs, Hardware-Heterogenität und internem Engine-Zustand im Vergleich zum herkömmlichen Kubernetes-HPA die effektive Durchsatzleistung um 37 % steigert, die Anzahl der fehlgeschlagenen Anfragen um das Zehnfache reduziert und den Energieverbrauch senkt.

Das Wesentliche

Stellen Sie sich vor, Sie betreiben eine riesige, hochmoderne Bibliothek, in der nicht Bücher, sondern künstliche Intelligenzen (die sogenannten "LLMs") arbeiten. Diese KI-Gelehrten müssen Fragen von Millionen von Besuchern gleichzeitig beantworten.

Das Problem ist: Diese Gelehrten sind sehr speziell. Sie brauchen nicht nur viel Rechenpower, sondern auch riesige Mengen an kurzfristigem Gedächtnis (den sogenannten "KV-Cache"), um den Kontext eines Gesprächs im Kopf zu behalten. Wenn dieser Speicher voll ist, wird die KI langsam oder antwortet gar nicht mehr.

Bisher haben die Bibliothekare (die klassischen Autoscaler wie Kubernetes HPA) nur auf einen simplen Zähler geschaut: "Wie voll sind die Schreibtische?" Wenn es zu voll wurde, haben sie einfach mehr Gelehrte eingestellt. Das Problem dabei: Sie haben nicht verstanden, warum es voll war. Sie haben teure, super-schnelle Gelehrte (H100-Chips) genauso behandelt wie günstigere, etwas langsamere Kollegen (A100-Chips), und sie haben nicht gemerkt, wenn ein Gelehrter zwar noch Platz hatte, aber sein Gedächtnis bereits "zerklüftet" und unbrauchbar war.

Die Lösung: WVA (Workload Variant Autoscaler)

Die Forscher von IBM haben eine neue Steuerung entwickelt, nennen wir sie WVA. Man kann sich WVA wie einen perfekten Bibliotheksvorstand vorstellen, der nicht nur auf die Anzahl der Besucher schaut, sondern genau weiß, wie der Geist jedes einzelnen Gelehrten funktioniert.

Hier ist, wie WVA funktioniert, mit ein paar einfachen Analogien:

1. Der "Puffer-Prinzip" (Headroom-Based Scaling)

Stellen Sie sich vor, Sie fahren ein Auto. Ein normaler Fahrer (der alte HPA) bremst erst, wenn er fast gegen die Wand fährt. Das ist gefährlich und führt zu Rucklern.
Der WVA-Fahrer hingegen schaut auf die Tankanzeige und den Verkehr voraus. Er sagt: "Oh, wir haben nur noch Platz für 3 Autos hinter uns, bevor es stockt. Wir müssen sofort ein neues Auto (einen neuen Server) hinzufügen, bevor der Stau entsteht."

• In der Praxis: WVA berechnet genau, wie viel "Luft" (Speicherplatz) noch übrig ist, bevor die KI langsam wird. Es stellt neue Server bereit, bevor die Besucher warten müssen. Das Ergebnis: Niemand muss in der Schlange stehen.

2. Die "Preis-Leistungs-Turbo-Taste" (Cost-Aware Tiering)

Früher hat die Bibliothek immer die teuersten, schnellsten Gelehrten (H100) eingesetzt, egal ob gerade nur eine kleine Frage gestellt wurde oder ein riesiger Roman geschrieben werden musste. Das ist wie ein Formel-1-Rennwagen, der im Stadtverkehr zum Bäcker fährt – extrem teuer und ineffizient.
WVA ist schlauer:

• Bei normalen Fragen schaltet es die günstigen, effizienten Gelehrten (A100) ein.
• Erst wenn es wirklich stressig wird und die günstigen Gelehrten an ihre Grenzen kommen, schaltet es die teuren Super-Gelehrten (H100) hinzu.
• Der Vorteil: Die Bibliothek spart enorm viel Geld und Strom, weil sie nicht ständig die "Rennwagen" laufen lässt, wenn ein "Kleinwagen" reicht.

3. Der "Keine-Halbherzigen-Entlassungen"-Ansatz (Fragmentation-Aware Scale-Down)

Wenn die Besucherzahl sinkt, wollen Bibliotheken oft Gelehrte entlassen, um Kosten zu sparen. Der alte HPA hat dabei oft Fehler gemacht: Er hat Gelehrte entlassen, die zwar ruhig wirkten, aber gerade mitten in einem langen, komplexen Gespräch steckten. Das Gespräch wurde abgebrochen, und der Besucher war frustriert.
WVA schaut genau hin: "Ist dieser Gelehrte wirklich fertig?" Es wartet, bis ein Gelehrter seine Arbeit wirklich abgeschlossen hat und sein Gedächtnis leer ist, bevor es ihn nach Hause schickt.

• Das Ergebnis: Keine abgebrochenen Gespräche, keine frustrierten Kunden.

Das Ergebnis im echten Leben

In Tests hat sich gezeigt, dass diese neue Steuerung (WVA) im Vergleich zum alten System (HPA):

• 37 % mehr Besucher pro Stunde bedienen kann (weil keine Zeit durch Warten verloren geht).
• 10-mal weniger Fehler macht (weniger abgebrochene Anfragen).
• Deutlich weniger Strom und Geld verbraucht, weil sie die richtigen Gelehrten zur richtigen Zeit einsetzt.

Zusammenfassend:
WVA ist wie ein Dirigent, der nicht nur auf den Taktstock schaut, sondern genau hört, wie jedes Instrument im Orchester klingt. Er sorgt dafür, dass das Orchester nie zu laut wird (keine Überlastung), nie zu leise (keine Unterauslastung) und immer die richtigen Instrumente (günstig oder teuer) zur richtigen Zeit spielt. So wird die KI-Welt nicht nur schneller, sondern auch günstiger und stabiler.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „WVA: A Global Optimization Control Plane for llmd" auf Deutsch:

1. Problemstellung

Das Serven von Large Language Models (LLMs) stellt eine erhebliche Herausforderung für die KI-Infrastruktur dar, insbesondere im Hinblick auf Kosten und Service-Level-Objektive (SLOs). Im Gegensatz zu herkömmlichen zustandslosen Microservices ist die LLM-Inferenz ein zustandsbehafteter, speichergebundener Prozess, der stark von der Kapazität des Key-Value (KV) Caches und der Eingabelänge abhängt.

Bestehende Autoscaler wie der Kubernetes Horizontal Pod Autoscaler (HPA) sind für diese Anforderungen ungeeignet, da sie:

• Black-Box-Ansatz: Sie optimieren nur generische Ressourcenmetriken (z. B. CPU-Auslastung) und ignorieren anwendungsspezifische Signale wie KV-Cache-Fragmentierung oder Warteschlangentiefe.
• Fehlende Heterogenität: Sie behandeln verschiedene Hardware-Typen (z. B. teure NVIDIA H100 vs. kostengünstigere A100) als austauschbare Einheiten und nutzen keine kostensensitiven Tiering-Strategien.
• Reaktives Verhalten: Skalierungsentscheidungen basieren auf Durchschnittswerten, was zu Verzögerungen führt, bis die Last bereits die SLOs verletzt hat. Dies führt zu unnötigem Over-Provisioning, Ressourcenverschwendung oder dem Abbruch von Anfragen aufgrund von Sättigung.

2. Methodik und Systemarchitektur

Die Autoren stellen WVA (Workload Variant Autoscaler) vor, eine spezialisierte Control-Plane, die eng mit llmd (einem Kubernetes-nativen Framework für verteilte LLM-Inferenz) integriert ist. WVA löst die Probleme durch folgende Kernkonzepte:

• Variante-Abstraktion (Variant Abstraction):
  WVA definiert eine „Variante" als Tupel aus {Hardware, Parallelismus, Quantisierung}. Dies ermöglicht es dem System, verschiedene Konfigurationen (z. B. Llama3-70b auf 2x H100 vs. 4x A100) unabhängig voneinander zu betrachten und deren Kosten-Nutzen-Verhältnis zu optimieren.

• Sättigungsbasierte Optimierung (Saturation-Based Optimization):
  Anstatt auf Durchschnittswerte zu reagieren, nutzt WVA feinkörnige Metriken wie KV-Cache-Auslastung und Warteschlangentiefe.

  • Headroom-basiertes Scaling: Das System berechnet einen proaktiven Sicherheitspuffer (Headroom, $\delta$). Es skaliert hoch, bevor die Sättigung eintritt, um Latenzspitzen zu vermeiden.
  • Fragmentierungs-bewusstes Herunterskalieren: Beim Skalieren nach unten wird geprüft, ob spezifische Pods noch gesättigt sind (z. B. durch fragmentierte KV-Caches). Nur wenn genügend nicht-gesättigte Replikas vorhanden sind, wird herunter skaliert, um Datenverluste zu verhindern.

• Globale Optimierung:
  WVA agiert als globale Optimierungsinstanz. In einem „Constrained Mode" (bei begrenzten Cluster-Ressourcen) priorisiert es Varianten basierend auf:

  1. Verbleibendem Sicherheitspuffer (Priorisierung von Instanzen, die kurz vor der SLO-Verletzung stehen).
  2. Kosten (Priorisierung günstigerer Hardware-Varianten wie A100 für Basislast, Reserve von teurerer Hardware wie H100 für Lastspitzen).

• Architektur:
  Das System ist modular aufgebaut mit austauschbaren Komponenten für Metrikensammlung (Collectors), Entscheidungsfindung (Optimizers) und Aktuation (Reconciler). Es nutzt eine Decision Cache, um die Optimierung von der Kubernetes-API zu entkoppeln und Stabilität zu gewährleisten.

3. Schlüsselbeiträge

• Deep Vertical Integration: WVA verbindet die Autoscaler-Logik tief mit dem Inferenz-Server-Status, anstatt als externer Black-Box-Monitor zu fungieren.
• Kostensensitives Tiering: Einführung eines Mechanismus, der automatisch kostengünstigere Hardware für Basislasten nutzt und teurere Hardware nur bei Bedarf (Spillover) aktiviert.
• Proaktive SLO-Sicherung: Durch die Berechnung eines physikalisch fundierten Sicherheitspuffers (basierend auf KV-Cache-Limits) werden Latenzspitzen verhindert, bevor sie auftreten.
• Modularität: Die Architektur erlaubt es, Skalierungsstrategien an verschiedene Inferenz-Engines (z. B. vLLM, SGLang) und Hardware-Umgebungen anzupassen, ohne den Kerncode zu ändern.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte sowohl in Simulationen (mit llm-d-inference-sim) als auch auf einem physischen GPU-Testcluster (200 NVIDIA H100 GPUs).

• Durchsatzsteigerung: WVA erreichte im Vergleich zum HPA eine 37%ige Verbesserung des effektiven Durchsatzes.
• Reduktion von Fehlern: Die Anzahl der fehlgeschlagenen Anfragen (Request Failures) wurde um den Faktor 10 reduziert.
• Kosten- und Energieeffizienz: Durch die Priorisierung günstigerer Hardware (A100) für Basislasten und die Vermeidung von Over-Provisioning wurde der Energieverbrauch gesenkt.
• Stabilität: WVA zeigte eine deutlich stabilere Latenzverteilung (Time To First Token - TTFT und Inter-Token Latency - ITL) und vermied das „Thrashing" (schnelles Hoch- und Herunterskalieren), das bei reaktiven Systemen häufig auftritt.
• Reaktivität: WVA konnte Lastspitzen proaktiv abfangen, indem es neue Replikas bereitstellte, bevor die Warteschlangen überfüllt waren, während HPA erst reagierte, wenn die Sättigung bereits eingetreten war.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass traditionelle, ressourcenbasierte Autoscaling-Ansätze für moderne LLM-Workloads unzureichend sind. WVA beweist, dass eine anwendungsbewusste, globale Optimierung notwendig ist, um die Balance zwischen hohen Kosten, Energieeffizienz und strengen Latenzanforderungen zu finden.

Die Arbeit legt den Grundstein für nachhaltigere KI-Infrastrukturen. Zukünftige Arbeiten sollen das System um prädiktive Skalierung (basierend auf Verkehrsprognosen) und energiebewusste Entscheidungen (unter Einbeziehung von CO2-Fußabdrücken) erweitern. WVA wird als Kernkomponente in das Open-Source-Projekt llm-d integriert und steht der Community zur Verfügung.