DOPD: A Dynamic PD-Disaggregation Architecture for Maximizing Goodput in LLM Inference Serving

Das Paper stellt DOPD vor, ein dynamisches System zur Entkopplung von Prefill- und Decoding-Phasen bei LLM-Inferenz, das durch lastabhängige Ressourcenanpassung und optimierte Scheduling-Strategien die Systemeffizienz und die Einhaltung von Service-Level-Zielen im Vergleich zu bestehenden Ansätzen wie vLLM und DistServe signifikant verbessert.

Das Wesentliche

Das Problem: Ein ungleisches Paar im Restaurant

Stellen Sie sich vor, Sie betreiben ein sehr beliebtes Restaurant, in dem Gäste (die KI-Anfragen) kommen, um komplexe Gerichte (die Antworten einer KI) zu bestellen.

In der Welt der modernen KI gibt es zwei Hauptaufgaben:

1. Das Verstehen (Prefill): Der Kellner liest die Bestellung genau durch, versteht den Kontext und bereitet die Zutaten vor. Das ist reine Denkarbeit (viel Rechenleistung nötig).
2. Das Servieren (Decoding): Der Kellner bringt das Essen Stück für Stück an den Tisch. Das ist speicherintensiv (man muss viele Teller und Gläser bereitstellen).

Früher machten einzelne Kellner beides: Sie lasen die Bestellung und servierten gleichzeitig. Das führte zu Chaos: Wenn ein Kellner mit einer riesigen, komplizierten Bestellung beschäftigt war, mussten alle anderen Gäste warten, auch wenn sie nur ein Glas Wasser wollten.

Die Lösung "PD-Disaggregation" (wie bei DistServe oder vLLM):
Man trennte die Küche in zwei Bereiche:

• Kellner A (Prefill): Nur für das Verstehen der Bestellung zuständig.
• Kellner B (Decoding): Nur für das Servieren zuständig.

Das klingt toll, aber hier liegt das Problem: Die Arbeitslast ist ungleich.
Manchmal kommen 100 Gäste, die nur ein kurzes "Hallo" wollen (kurze Anfragen). Dann sind die "Versteh-Kellner" im Überfluss vorhanden, aber die "Servier-Kellner" sind überlastet.
Andere Male kommen Gäste mit einem 50-seitigen Roman als Bestellung (lange Anfragen). Dann sind die "Versteh-Kellner" überlastet, während die "Servier-Kellner" nur auf ihre Teller warten.

Wenn man die Anzahl der Kellner statisch festlegt (z. B. immer 5 Versteh-Kellner und 5 Servier-Kellner), entsteht entweder Leerlauf (Geldverschwendung) oder Staus (langsame Antworten für die Kunden).

---

Die Lösung: DOPD – Der intelligente Restaurant-Manager

Die Forscher haben DOPD entwickelt. Man kann sich DOPD wie einen super-intelligenten Restaurantmanager vorstellen, der zwei Dinge perfekt macht:

1. Der Wettervorhersager (Dynamische Anpassung)

Statt die Anzahl der Kellner starr festzulegen, schaut sich DOPD die Verlaufshistorie an.

• Die Analogie: Stellen Sie sich vor, der Manager hat eine Wettervorhersage. Er weiß: "In 10 Minuten kommen viele Leute mit kurzen Bestellungen." Also stellt er sofort mehr "Servier-Kellner" ein und weniger "Versteh-Kellner".
• In der Technik: DOPD nutzt mathematische Modelle (ARIMA), um vorherzusagen, wie viele Anfragen kommen und wie lang sie sein werden. Es passt die Anzahl der GPU-Server (die Kellner) in Echtzeit an, genau wie man im Restaurant mehr Personal einsetzt, wenn es voll wird.

2. Der clevere Teller-Verteiler (Intelligentes Scheduling)

Manchmal kommen gemischte Bestellungen: Ein Gast will einen ganzen Roman, der nächste nur ein Wort.

• Das Problem: Wenn man den "Wort-Gast" zwingt, auf den "Roman-Gast" zu warten, damit sie zusammen bedient werden, dauert es ewig.
• Die DOPD-Lösung: Der Manager ist aufmerksam auf die Länge.
  • Kurze Bestellungen: Er lässt sie sofort durch, ohne sie in eine lange Warteschlange zu stecken.
  • Lange Bestellungen: Er packt sie geschickt zusammen, damit die "Versteh-Kellner" effizient arbeiten.
  • Die Magie: Er verhindert, dass kurze Anfragen durch lange blockiert werden. Er sorgt dafür, dass jeder Kellner genau das tut, wofür er am besten geeignet ist, und keine Zeit mit Warten verliert.

---

Warum ist das so wichtig? (Die Ergebnisse)

Durch diesen Ansatz erreicht DOPD Wunder im Vergleich zu den alten Methoden:

1. Mehr Leistung für weniger Geld: Das Restaurant schafft es, mit 1,5-mal mehr Gästen gleichzeitig zu bedienen, ohne neue Kellner einzustellen. Das bedeutet: Weniger teure Grafikkarten (GPUs) werden verschwendet.
2. Schnellere Antworten: Die Zeit, bis der erste Bissen serviert wird (TTFT), ist um bis zu 67 % kürzer. Für den Nutzer fühlt sich die KI viel schneller an.
3. Zuverlässigkeit: Fast 99 % der Kunden bekommen ihre Bestellung pünktlich (SLO-Einhaltung). Bei alten Systemen waren es oft nur 80 %, was bedeutet, dass viele Kunden frustriert warteten.

Zusammenfassung in einem Satz

DOPD ist wie ein unsichtbarer Dirigent für ein KI-Orchester, der genau weiß, wann mehr Geiger (Versteh-Kellner) und wann mehr Cellisten (Servier-Kellner) benötigt werden, damit die Musik (die KI-Antworten) immer flüssig, schnell und ohne Störungen spielt – egal, ob das Publikum leise flüstert oder laut schreit.

Dieses System macht KI-Dienste nicht nur schneller und günstiger, sondern auch stabiler, was entscheidend ist, wenn KI bald in jedem Smartphone und jeder App zu finden sein wird.

Technische Zusammenfassung

1. Problemstellung

Moderne Large Language Models (LLMs) werden zunehmend in Produktionsumgebungen eingesetzt, was hohe Anforderungen an die Leistungsfähigkeit und Kosteneffizienz der Inferenz-Infrastruktur stellt. Ein etablierter Ansatz zur Optimierung ist die PD-Disaggregation (Prefill-Decoding-Disaggregation), bei der die rechenintensive Prefill-Phase (Verarbeitung des Eingabetextes) und die speicherintensive Decoding-Phase (Generierung von Tokens) auf separate GPU-Instanzen ausgelagert werden.

Trotz dieser Architektur bestehen jedoch signifikante Herausforderungen:

• Produzenten-Konsumenten-Ungleichgewicht: Die Arbeitslasten von LLMs sind heterogen und nicht-stationär. Ein statisches Verhältnis von Prefill-Instanzen (Produzenten) zu Decoding-Instanzen (Konsumenten) führt oft zu Ineffizienzen: Entweder sind Prefill-Instanzen im Leerlauf (Überbereitstellung) oder Decoding-Instanzen werden überlastet, was zu SLO-Verletzungen (Service Level Objectives) führt.
• Heterogene Arbeitslasten: Anfragen variieren stark in ihrer Eingabe- und Ausgabelänge. Ein statisches P/D-Verhältnis, das auf Durchschnittswerten basiert, kann weder kurze noch lange Anfragen optimal bedienen.
• Gemischte Längen-Problematik: Bei der Mischung sehr kurzer und sehr langer Anfragen entstehen Ressourcenengpässe. Kurze Anfragen leiden unter der Latenz des KV-Cache-Transfers zwischen den Instanzen, während lange Anfragen hohe Prefill-Ressourcen benötigen.
• Fehlende Dynamik: Bestehende Systeme (wie DistServe oder vLLM) nutzen oft statische Konfigurationen oder einfache Skalierungsmechanismen, die nicht in der Lage sind, das optimale P/D-Verhältnis in Echtzeit basierend auf der aktuellen Last anzupassen.

2. Methodik: DOPD (Dynamic Optimal Prefill/Decoding)

DOPD ist ein intelligentes, dynamisches Inferenzsystem, das das P/D-Verhältnis kontinuierlich anpasst, um den Goodput zu maximieren und die SLO-Einhaltung zu gewährleisten. Das System besteht aus fünf Hauptkomponenten:

A. Systemmodell und Optimalitätsberechnung

• Analytische Bestimmung des P/D-Verhältnisses: DOPD leitet eine analytische Formel her, um das optimale Verhältnis von Prefill- zu Decoding-Instanzen zu berechnen. Dies basiert auf:
  • Der maximalen Parallelität (Concurrency), die eine D-Instanz aufgrund von GPU-Speicherkapazität und Speicherbandbreite unterstützen kann.
  • Der Zeit, die eine P-Instanz für die Prefill-Phase benötigt, im Verhältnis zur Zeit, die eine D-Instanz für die Decoding-Phase benötigt.
  • Ziel ist es, eine Konfiguration zu finden, bei der beide Instanztypen im steady-state nahezu keine Leerlaufzeiten haben.
• Lastprognose: Um kurzfristige Schwankungen vorherzusehen, nutzt DOPD einen ARIMA-basierten Lastvorhersage-Algorithmus. Dieser analysiert historische Telemetriedaten (Eingabe-/Ausgabelängen, Concurrency) und korrigiert Prognosen durch Multiplikationsfaktoren, um systematische Fehler zu minimieren.

B. Intelligente Request-Scheduling-Strategie

Um die Probleme gemischter Längen zu lösen, implementiert DOPD ein längenbewusstes Scheduling:

• Lange Anfragen: Werden sofort zur Inferenz an P-Instanzen weitergeleitet, um Verzögerungen zu vermeiden.
• Kurze Anfragen: Werden gebündelt (Batching), um die Effizienz der GPU-Kernel zu erhöhen. Ein Greedy-Heuristik-Ansatz (ähnlich dem Rucksackproblem) entscheidet, welche kurzen Anfragen in einen Batch aufgenommen werden, basierend auf einem Schwellenwert für die akkumulierte Länge und einer maximalen Wartezeit.
• Ultra-kurze Anfragen: Können im Rahmen einer PD-Aggregation direkt auf der D-Instanz verarbeitet werden, um den Overhead des KV-Cache-Transfers zu vermeiden.

C. Dynamische Skalierung (Elastic Scaling)

Der PD Manager überwacht kontinuierlich die Systemmetriken (Queue-Tiefe, KV-Cache-Auslastung). Basierend auf den Prognosen und der berechneten optimalen P/D-Ratio skaliert das System nicht-disruptiv (ohne Downtime) die Anzahl der P- und D-Instanzen. Bei plötzlichen Lastspitzen (Bursts) greift das System proaktiv ein, bevor SLOs verletzt werden.

3. Hauptbeiträge

1. DOPD-Framework: Entwicklung eines dynamischen LLM-Inferenzsystems, das die Anzahl und Konfiguration von P- und D-Instanzen kontinuierlich anpasst.
2. Optimale P/D-Berechnung: Eine prinzipielle Methode zur Berechnung des idealen P/D-Verhältnisses unter Berücksichtigung von Hardware-Beschränkungen (Speicher, Bandbreite) und Workload-Charakteristika.
3. Längenbewusstes Scheduling: Ein Algorithmus, der die Heterogenität der Anfragen adressiert, indem er kurze und lange Anfragen unterschiedlich behandelt, um Ressourcenmismatches zu minimieren.
4. Umfassende Evaluierung: Experimente mit realen Produktions-Traces (Microsoft Azure, BurstGPT) und verschiedenen Modellen (LLaMa-3.3-70B, OPT-30B, QWen2.5-72B).

4. Ergebnisse

Die experimentellen Evaluierungen zeigen deutliche Verbesserungen gegenüber etablierten Systemen wie vLLM (aggregiert) und DistServe/Dynamo (disaggregiert):

• Goodput: DOPD steigert den System-Goodput um bis zu 1,5-fach im Vergleich zu den Baselines.
• Latenz:
  • Die P90 Time-to-First-Token (TTFT) wird um bis zu 67,5 % reduziert.
  • Die P90 Time-per-Output-Token (TPOT) wird um bis zu 22,8 % gesenkt.
• SLO-Einhaltung: Unter realistischen Arbeitslasten erreicht DOPD eine SLO-Einhaltung von 99,4 % (im Vergleich zu 80,8 % bei dynamischen Baselines wie DYN-LOAD).
• Ressourceneffizienz: Durch die präzise Anpassung des P/D-Verhältnisses werden GPU-Ressourcen effizienter genutzt, was Überbereitstellung vermeidet.
• Validierung: Die analytisch berechneten optimalen P/D-Verhältnisse wurden experimentell bestätigt (z. B. bei einer Eingabe/Ausgabe von 1000/150 Tokens liegt das optimale Verhältnis bei ca. 4,58 P-Instanzen pro D-Instanz).

5. Bedeutung und Fazit

DOPD adressiert eine kritische Lücke in der aktuellen Forschung zur LLM-Inferenz: Die Lücke zwischen statischen Disaggregations-Architekturen und der dynamischen Realität von Produktions-Workloads.

• Wirtschaftliche Relevanz: Durch die Maximierung des Goodputs bei gleichzeitiger Reduzierung der benötigten GPU-Ressourcen senkt DOPD die Betriebskosten für LLM-Dienste erheblich.
• Technischer Fortschritt: Der Ansatz beweist, dass eine Kombination aus analytischer Modellierung, maschinengestützter Vorhersage (ARIMA) und intelligentem Scheduling die Grenzen der PD-Disaggregation überwinden kann.
• Praktische Anwendbarkeit: Das System ist robust gegenüber Lastschwankungen und kann in industriellen Umgebungen mit strengen Verfügbarkeitsanforderungen eingesetzt werden.

Zusammenfassend stellt DOPD einen bedeutenden Schritt hin zu effizienteren, kostengünstigeren und leistungsfähigeren LLM-Inferenzdiensten dar, der die Skalierbarkeit und Operationalität von disaggregierten Architekturen in der Praxis verbessert. Der Quellcode ist als Open-Source-Projekt verfügbar.