Serving Compound Inference Systems on Datacenter GPUs

Das Paper stellt JigsawServe vor, ein Serving-Framework für zusammengesetzte Inferenzsysteme auf Datacenter-GPUs, das durch die gemeinsame Optimierung von Latenz, Genauigkeit und Kosten mittels adaptiver Modellwahl und fein granularer räumlicher GPU-Partitionierung die maximale Dienstleistungsfähigkeit im Vergleich zu bisherigen Arbeiten um das 11,3-fache steigert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapiere von JIGSAWSERVE, verpackt in eine Geschichte und mit anschaulichen Vergleichen.

Das große Puzzle der KI-Dienste

Stell dir vor, du betreibst ein riesiges, hochmodernes Restaurant in einem Rechenzentrum. Deine Kunden (die Nutzer) bestellen keine einfachen Gerichte, sondern komplexe Menüs. Ein "Menü" ist hier eine KI-Anwendung, die aus mehreren Schritten besteht.

Zum Beispiel: Ein Nutzer macht ein Foto von einem Auto.

1. Schritt 1: Ein KI-Modell erkennt, dass es ein Auto ist (Objekterkennung).
2. Schritt 2: Ein zweites Modell liest das Nummernschild.
3. Schritt 3: Ein drittes Modell sagt dir, wie alt das Auto ist.

Das Problem: In der Vergangenheit behandelten Server jede dieser Aufgaben wie einen riesigen, einzelnen Koch, der den ganzen Herd blockiert. Oder sie ließen die KIs auf großen, teuren Grafikkarten (GPUs) laufen, die oft nur zu 10 % ausgelastet waren, während der Rest des Herds leer stand. Das ist, als würdest du einen riesigen Industriekessel nur nutzen, um eine Tasse Kaffee zu kochen.

Die Lösung: JIGSAWSERVE (Das Puzzle-System)

Die Forscher haben JIGSAWSERVE entwickelt. Der Name ist kein Zufall: Er kommt von "Jigsaw Puzzle" (Legespiel).

Stell dir die Grafikkarte nicht als einen großen, unteilbaren Block vor, sondern als ein Puzzle-Brett. JIGSAWSERVE ist der Meister-Puzzler, der dieses Brett in viele kleine, passende Teile zerlegt, um genau die richtigen KIs darauf unterzubringen.

Hier sind die drei genialen Tricks, die das System benutzt:

1. Der "Kleiderwechsel" (Genauigkeits-Skalierung)

Stell dir vor, du hast für die Aufgabe "Auto erkennen" fünf verschiedene KIs zur Auswahl:

• Der Profi: Sehr genau, aber langsam und braucht viel Platz (wie ein riesiger Koch mit vielen Utensilien).
• Der Schnellkoch: Etwas weniger genau, aber extrem schnell und braucht wenig Platz.

Früher musste man immer den "Profi" nehmen, egal ob es eilig war. JIGSAWSERVE ist schlau: Wenn es gerade ruhig ist, nimmt es den Profi. Wenn es stressig ist und viele Bestellungen reinkommen, wechselt es automatisch zum "Schnellkoch", solange das Ergebnis noch gut genug ist. Es passt die Qualität der KI an die aktuelle Situation an, genau wie ein Restaurant, das bei vollem Haus schnellere Gerichte anbietet, ohne die Gäste zu vergraulen.

2. Das Puzzle-Brett (Räumliche Aufteilung der GPU)

Moderne Grafikkarten sind wie riesige Schokoladentafeln. Früher gab man einer KI die ganze Tafel, auch wenn sie nur ein kleines Stück brauchte.
JIGSAWSERVE nutzt eine neue Technologie (MIG bei NVIDIA), um die Tafel in kleine, isolierte Stücke zu schneiden.

• Aufgabe A bekommt ein kleines Stück.
• Aufgabe B bekommt ein anderes kleines Stück.
• Aufgabe C bekommt ein drittes Stück.

Alle drei laufen gleichzeitig auf derselben Karte, ohne sich zu stören. So wird die Grafikkarte zu 100 % ausgelastet, anstatt dass drei Viertel davon leer stehen.

3. Der Chef-Koch (Der Aufgabenplaner)

Das System weiß, wie die Aufgaben zusammenhängen (der "Aufgaben-Graph"). Es weiß: "Wenn Schritt 1 100 Bilder verarbeitet, entstehen daraus vielleicht 300 Bilder für Schritt 2."
Der Chef-Koch (der Controller) berechnet im Voraus: "Wir brauchen für Schritt 1 einen kleinen Koch und für Schritt 2 drei schnelle Köche." Er verteilt die Ressourcen (die Puzzleteile) genau dorthin, wo sie gerade am dringendsten benötigt werden.

Warum ist das so toll? (Die Ergebnisse)

Die Forscher haben das System getestet und verglichen, wie viel "Kunden" (Anfragen pro Sekunde) verschiedene Systeme bedienen können, bevor sie zusammenbrechen.

• Das alte System: Braucht viele teure Grafikkarten und schafft wenig.
• JIGSAWSERVE: Schafft 11,3-mal mehr Anfragen mit den gleichen Ressourcen!

Stell dir vor, ein Restaurant, das früher 100 Gäste pro Stunde bediente, kann jetzt mit demselben Personal und derselben Küche 1.130 Gäste bedienen, ohne dass die Qualität leidet.

Außerdem:

• Es nutzt im Durchschnitt nur 43 % der verfügbaren Rechenkraft. Das bedeutet, man spart enorm viel Strom und Geld.
• Die Kunden warten nicht länger als vereinbart (weniger als 0,6 % der Anfragen haben Verzögerungen).

Zusammenfassung in einem Satz

JIGSAWSERVE ist wie ein genialer Restaurantmanager, der die Grafikkarten in kleine Puzzleteile schneidet, die KIs je nach Stresslevel anpasst und den Arbeitsplan so berechnet, dass das Restaurant mit der Hälfte der bisherigen Kosten das Doppelte (oder Zehnfache) an Arbeit erledigen kann.

Es zeigt uns, dass wir nicht einfach immer mehr teure Hardware kaufen müssen, sondern die Hardware, die wir schon haben, viel klüger nutzen sollten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Serving Compound Inference Systems on Datacenter GPUs" auf Deutsch:

Problemstellung

Mit dem Aufkommen neuer Anwendungsbereiche wie Extended Reality (XR) und Multi-Agenten-Systemen werden Machine-Learning-Anwendungen zunehmend als komplexe Inferenzsysteme (Compound Inference Systems) aufgebaut. Diese Systeme bestehen nicht aus einem einzelnen monolithischen Modell, sondern aus einem gerichteten azyklischen Graphen (DAG) mehrerer ML-Modelle, die verschiedene Teilaufgaben erfüllen, um eine komplexe Funktionalität zu liefern.

Das effiziente Bereitstellen (Serving) solcher Systeme auf Datacenter-GPUs stellt zwei zentrale Herausforderungen dar:

1. Budgetierung von Latenz und Genauigkeit: Die End-to-End-Service-Level-Objectives (SLOs) für Latenz und Genauigkeit müssen intelligent auf die einzelnen Aufgaben im Graphen verteilt werden. Dies bietet Flexibilität, verschiedene Modellvarianten (mit unterschiedlichen Latenzen und Genauigkeiten) pro Aufgabe auszuwählen.
2. Ressourcenzuweisung: Verschiedene Aufgaben haben unterschiedliche Ressourcenanforderungen. Herkömmliche Systeme weisen oft ganze GPUs zu, was zu Unterauslastung führt. Moderne GPUs (z. B. NVIDIA mit MIG und MPS) ermöglichen jedoch eine feingranulare räumliche Partitionierung (Spatial Partitioning), um mehrere Workloads auf einer physischen GPU zu isoliert auszuführen.

Bisherige Arbeiten adressierten diese Probleme oft nur teilweise (z. B. nur Genauigkeitsskalierung oder nur räumliche Partitionierung), aber nicht in einer gemeinsamen Optimierung für komplexe Inferenzgraphen.

Methodik: JIGSAWSERVE

Die Autoren stellen JIGSAWSERVE vor, das erste Serving-Framework, das Latenz, Genauigkeit und Kosten (in Form von GPU-Ressourcen) gemeinsam optimiert. Das System besteht aus vier Hauptkomponenten:

1. Registration Handler: Registriert das komplexe Inferenzsystem, definiert den Task-Graphen, die verfügbaren Modellvarianten pro Aufgabe, deren Genauigkeiten und die End-to-End-SLOs.
2. Profiler: Führt ein Offline-Profiling durch, um Latenz und Durchsatz für alle Kombinationen von Modellvarianten, Batch-Größen und GPU-Segmenten (MIG-Instanzen mit MPS-Konkurrenz) zu ermitteln.
3. Controller: Das Herzstück des Systems. Es formuliert das Problem der optimalen Konfiguration als Mixed Integer Linear Programming (MILP) Problem.
   • Ziel: Maximierung der Systemgenauigkeit bei Minimierung der genutzten GPU-Slices unter Einhaltung der SLOs.
   • Entscheidungsvariablen: Anzahl der Instanzen pro Modellvariante, GPU-Segment-Typ und Batch-Größe für jede Aufgabe.
   • Nebenbedingungen:
     • Latenz: Die Summe der Latenzen (inkl. Warteschlangenverzögerung) auf jedem Pfad im Graphen darf die SLO nicht überschreiten.
     • Durchsatz: Die Gesamtkapazität der Instanzen muss den Bedarf (angepasst durch multiplikative Faktoren zwischen Aufgaben) decken.
     • Ressourcen: Die genutzten GPU-Slices dürfen die verfügbaren Kapazitäten nicht überschreiten.
     • Genauigkeit: Die gewichtete Genauigkeit aller Pfade muss einen definierten Schwellenwert erreichen.
4. Frontend: Empfängt Anfragen, routet sie durch den Graphen und überwacht die Nachfrage, um den Controller bei Bedarf zur Neukonfiguration zu triggern.

Das System nutzt zudem Mechanismen wie Early Dropping (Verwerfen von Anfragen, die die Latenz-SLO nicht mehr einhalten können) und dynamisches Batching, um die SLO-Verletzungsrate zu minimieren.

Hauptbeiträge

1. Neues Framework: JIGSAWSERVE kombiniert erstmals drei Schlüsselfunktionen:
   • Genauigkeitsskalierung pro Aufgabe (Auswahl von Modellvarianten).
   • Räumliche Partitionierung von GPUs (Nutzung von MIG und MPS).
   • Aufgabengraph-basierte Budgetierung von Latenz und Genauigkeit.
2. Analytische Evaluation: Die Autoren zeigen, dass die Kombination aller drei Features (A+S+T) die höchste Kapazität bietet.
   • Räumliche Partitionierung (S) allein bringt den größten Einzelgewinn (5,25-fach gegenüber unoptimiert).
   • Die volle Integration (JIGSAWSERVE) erreicht eine Kapazität von 21,6-fach im Vergleich zu unoptimierten Systemen und 11,3-fach im Vergleich zum nächsten Stand der Technik (Loki, das nur A+T nutzt).
3. Empirische Evaluation: In Tests mit realen Workloads (Social Media, Verkehrsanalyse, AR-Assistent) auf einem Cluster mit NVIDIA H100 GPUs zeigt JIGSAWSERVE überlegene Leistung:
   • Es nutzt im Durchschnitt nur 43,3 % der verfügbaren GPU-Ressourcen, um die Anforderungen zu erfüllen.
   • Die SLO-Verletzungsrate liegt bei weniger als 0,6 %.
   • Vergleiche mit Baselines (S+T, A+T, A+S) zeigen, dass das Weglassen eines der drei Features zu einer signifikanten Verschlechterung der Effizienz und höheren SLO-Verletzungen führt.

Ergebnisse

• Effizienzsteigerung: JIGSAWSERVE kann den maximal bedienbaren Bedarf (Requests pro Sekunde) um das 11,3-fache steigern im Vergleich zu Systemen, die nur Genauigkeitsskalierung und Graphen-Budgetierung nutzen (aber keine GPU-Partitionierung).
• Ressourcennutzung: Im Gegensatz zu anderen Systemen, die oft >10 % SLO-Verletzungen aufweisen oder mehr als doppelt so viele Ressourcen verbrauchen, hält JIGSAWSERVE die Genauigkeit und Latenz ein, während es die GPU-Auslastung drastisch reduziert.
• Konfigurationsintelligenz: Das System wählt dynamisch die richtigen Modellvarianten (z. B. weniger genaue Modelle für Aufgaben, die weniger kritisch für die Gesamtgenauigkeit sind) und die optimalen GPU-Segmente (z. B. spezifische MIG-Instanzen mit MPS-Konkurrenz), um den Durchsatz zu maximieren.

Bedeutung und Ausblick

Die Arbeit demonstriert, dass die gemeinsame Optimierung von Genauigkeitsskalierung, räumlicher GPU-Partitionierung und der Struktur des Inferenzgraphen entscheidend für die effiziente Bereitstellung komplexer ML-Systeme ist.

• Für die ML-Community: Es wird empfohlen, weiterhin mehrere Modellvarianten pro Architektur bereitzustellen, um Flexibilität zwischen Genauigkeit und Leistung zu ermöglichen.
• Für GPU-Hersteller: Die Bedeutung von fortschrittlichen räumlichen Partitionierungsmechanismen (wie MIG) wird unterstrichen, da sie die Grundlage für hohe Auslastung in Datacenter-Umgebungen bilden.
• Zukunft: Die Autoren planen, das Framework auf noch komplexere Szenarien (z. B. Modelle, die mehr als eine GPU benötigen) und fortschrittlichere Lastvorhersagemethoden zu erweitern, um Repartitionierungs-Overheads weiter zu minimieren.

Zusammenfassend stellt JIGSAWSERVE einen Paradigmenwechsel dar, der von der statischen Zuweisung ganzer GPUs hin zu einer dynamischen, graphenbewussten und feingranularen Ressourcennutzung führt, um die Kosten und die Latenz in Datacenter-Umgebungen signifikant zu senken.