🤖 machine learning

BlendServe: Optimizing Offline Inference for Auto-regressive Large Models with Resource-aware Batching

BlendServe ist ein System, das die Offline-Inferenz autoregressiver großer Modelle optimiert, indem es einen ressourcenbewussten Präfixbaum einführt, um die Ressourcenüberlappung und das Präfix-Sharing effektiv zu kombinieren, wodurch eine bis zu 1,44-fache Durchsatzsteigerung gegenüber Industriestandards wie vLLM und SGLang erreicht wird.

Ursprüngliche Autoren: Yilong Zhao, Shuo Yang, Kan Zhu, Lianmin Zheng, Baris Kasikci, Yang Zhou, Jiarong Xing, Ion Stoica

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yilong Zhao, Shuo Yang, Kan Zhu, Lianmin Zheng, Baris Kasikci, Yang Zhou, Jiarong Xing, Ion Stoica

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, Hochgeschwindigkeitsfabrik, die maßgeschneiderte Roboter baut (dies sind die KI-Modelle). Ihre Aufgabe ist es, tausende von Aufträgen (Anfragen) zu bearbeiten, um diese Roboter zu bauen.

In der Vergangenheit mussten Sie sich entscheiden zwischen zwei Arten von Aufträgen, wenn Sie Roboter schnell bauen wollten:

Die „Schwerlast“-Aufträge: Diese erfordern viel Muskelkraft (Rechenleistung), aber sehr wenig Speicherplatz. Denken Sie an Aufträge zum Bau eines Roboters mit einem superstarken Arm, aber ohne Lagerfächer.
Die „Schwerer Lager“-Aufträge: Diese erfordern sehr wenig Muskelkraft, aber eine massive Menge an Speicherplatz. Denken Sie an Aufträge für einen Roboter mit einem winzigen Arm, aber einem riesigen Lagerhaus im Inneren.

Das Problem: Der Engpass in der Fabrikhalle

Ihre Fabrik verfügt über zwei Hauptressourcen:

Muskel-Maschinen (Rechenleistung/Compute): Diese sind schnell, werden aber müde, wenn sie warten müssen.
Lageregel (Speicher/Memory): Diese sind riesig, werden aber ineffizient, wenn sie nicht optimal genutzt werden.

Der alte Weg (Naives Batching):
Früher bearbeiteten Fabriken die Aufträge einfach in der Reihenfolge ihres Eintreffens. Wenn Sie eine Schlange von 10 „Schwerlast“-Aufträgen hatten, arbeiteten Ihre Muskel-Maschinen unter Hochtouren, aber Ihre Lageregeln standen leer und nutzlos herum. Wenn dann die nächsten 10 „Schwerer Lager“-Aufträge kamen, waren Ihre Lageregeln voll besetzt, aber Ihre Muskel-Maschinen saßen untätig herum und spielten mit den Fingern.

Das ist so, als würde man versuchen, einen Lkw nur mit Ziegeln zu füllen, dann nur mit Federn. Man kann nicht so viel hineinpassen, wie man könnte, wenn man sie miteinander mischen würde. Der Lkw (Ihr Computerchip) ist die Hälfte der Zeit halb leer.

Das neue Problem:
Es gab noch einen Trick, den Fabriken verwendeten, der sich auf „Prefix Sharing“ (Präfix-Teilung) bezog. Stellen Sie sich vor, viele Aufträge beginnen mit dem exakt gleichen ersten Schritt (wie „Male den Roboter blau“). Wenn Sie diese Aufträge direkt nacheinander ausführen, müssen Sie das Blau nur einmal malen und das Ergebnis wiederverwenden. Das spart eine Menge Zeit.

Die „beste“ Reihenfolge für das Teilen (alle „Male Blau“-Aufträge zusammen zu erledigen) bedeutete jedoch oft, dass alle „Schwerlast“-Aufträge zusammen gruppiert und alle „Schwerer Lager“-Aufträge zusammen gruppiert wurden. Dies ruinierte die „Misch“-Strategie und ließ Ihre Maschinen wieder halb leer zurück.

Die Lösung: BlendServe

Die Autoren dieser Arbeit haben ein System namens BlendServe entwickelt. Denken Sie an einen superintelligenten Fabrikmanager, der die Reihenfolge der Arbeit neu arrangiert, um das Beste aus beiden Welten zu erhalten.

1. Der „Ressourcen-bewusste“ Baum:
Anstatt einer einfachen Linie organisiert BlendServe alle Aufträge in einem riesigen Stammbaum.

Zweige: Gruppen von Aufträgen, die dieselben ersten Schritte teilen (Prefix Sharing).
Beschriftungen: Jeder Zweig ist mit der Menge an „Muskelkraft“ vs. „Lagerplatz“ beschriftet.

2. Der „Dual Scanner“-Algorithmus:
Das ist der magische Trick. Der Manager geht nicht einfach nur einen Weg ab. Er steht an beiden Enden des Baums gleichzeitig:

Er schnappt sich einen „Schwerlast“-Auftrag von der linken Seite.
Er schnappt sich einen „Schwerer Lager“-Auftrag von der rechten Seite.
Er legt sie zusammen in denselben Batch (eine Verarbeitungseinheit).

Das Ergebnis:
Nun, wenn die Fabrik läuft, arbeiten die Muskel-Maschinen hart, während die Lageregeln gefüllt werden. Sie helfen einander. Der Lkw ist voll beladen mit einer perfekten Mischung aus Ziegeln und Federn.

Warum das wichtig ist

Das Paper behauptet, dass BlendServe durch dieses kluge Mischen bei gleichzeitiger Beibehaltung der „gemeinsamen Schritte“ Folgendes erreichen kann:

Die Fabrik um bis zu 44 % zu beschleunigen im Vergleich zu aktuellen Top-Systemen (wie vLLM und SGLang).
90 % der theoretisch „perfekten“ Geschwindigkeit zu erreichen. Stellen Sie sich vor, die perfekte Geschwindigkeit wäre 100 mph; BlendServe erreicht Sie bei 90 mph, während andere Systeme vielleicht nur 60 oder 70 mph schaffen.

Der Haken (und wie sie ihn gelöst haben)

Das Paper gibt zu, dass es schwierig ist, genau vorherzusagen, wie lange ein „Schwerer Lager“-Auftrag dauern wird, da KI Text Wort für Wort generiert. Um dies zu beheben, führt BlendServe einen schnellen „Testlauf“ mit einer kleinen Stichprobe der Aufträge durch, um zu schätzen, wie lange sie dauern werden, und nutzt diese Schätzungen dann, um die perfekte Mischung aufzubauen. Selbst wenn die Schätzung leicht daneben liegt, ist das System robust genug, um sich während des Betriebs anzupassen.

Kurz gesagt: BlendServe ist ein intelligenter Scheduler, der verhindert, dass Ihr Computer untätig herumsteht. Es mischt verschiedene Arten von KI-Aufgaben so zusammen, dass das Gehirn und das Gedächtnis Ihres Computers in perfekter Harmonie arbeiten, was die Offline-KI-Verarbeitung viel schneller und kostengünstiger macht.

Technisches Resümee: BlendServe

Problemstellung

Offline-Batch-Inferenz hat sich als kosteneffiziente Lösung für latenzunempfindliche Aufgaben großer Sprachmodelle (LLMs) herausgestellt, wie etwa die Modellbewertung und Datenkuratierung. Im Gegensatz zur Online-Inferenz, die auf niedrige Latenz abzielt, strebt die Offline-Inferenz danach, den Durchsatz (Tokens pro Sekunde) innerhalb eines gelockerten Zeitfensters zu maximieren.

Bestehende Techniken zur Durchsatzoptimierung, wie etwa Chunked Prefill (Sarathi-Serve) und Operator-Level-Overlapping (NanoFlow, Orion), konzentrieren sich darauf, Rechen- und Speicherressourcen innerhalb eines einzelnen Batches auszubalancieren. Diese Ansätze stoßen jedoch bei zunehmender Anwendungsdiversität an ihre Grenzen. Moderne LLM-Workloads weisen sehr unterschiedliche Ressourcenanforderungen auf:

Rechenintensiv: Aufgaben mit langen Eingabesequenzen, aber kurzen Ausgaben (z. B. Dokumentenzusammenfassung, Benchmarks wie MMLU), sättigen die Recheneinheiten der GPU, während die Speicherbandbreite unterausgelastet bleibt.
Speicherintensiv: Aufgaben mit langen Ausgabesequenzen (z. B. Videogenerierung, Reasoning) sättigen die Speicherbandbreite während der autoregressiven Dekodierungsphase, während die Recheneinheiten unterausgelastet bleiben.

Wenn ein Batch überwiegend aus einem einzigen Anfragttyp besteht, bleiben die Hardwareressourcen im Ungleichgewicht, was den Durchsatz begrenzt. Zudem steht eine bloße Umordnung von Anfragen zur Maximierung des Ressourcen-Overlaps oft im Konflikt mit dem Prefix Sharing – einer Technik, die Anfragen mit gemeinsamen Präfixen gruppiert, um redundante Berechnungen zu vermeiden. Eine Anordnungsreihenfolge, die das Prefix Sharing maximiert (typischerweise durch Tiefensuche auf einem Präfixbaum), führt möglicherweise zu Batches, die von einem einzelnen Ressourcentyp dominiert werden, während eine Ordnung, die den Ressourcen-Overlap maximiert, die Prefix-Lokalität zerstört.

Methodik: BlendServe

BlendServe ist ein Serving-System, das darauf ausgelegt ist, ressourcenbewusstes Batching und Prefix Sharing zu harmonisieren, um den Offline-Inferenzdurchsatz zu maximieren. Das Kerndesign besteht aus drei Hauptkomponenten:

1. Leistungsmodellierung und Rechendichte

BlendServe führt eine Metrik namens Rechendichte ( $\rho$ ) ein, definiert als das Verhältnis der rechengebundenen Operatorzeit zur speichergebundenen Operatorzeit einer Anfrage.

Anfragenebene: $\rho(r) = \frac{\text{Comp}(r)}{\text{Mem}(r)}$ . Ein hohes $\rho$ deutet auf rechenintensive Workloads hin; ein niedriges $\rho$ auf speicherintensive Workloads.
Batch-Ebene: Das System modelliert die gesamte Ausführungszeit $T$ als Funktion der Rechenzeit ( $T_{comp}$ ), der Speicherzeit ( $T_{mem}$ ) und des Prefix-Sharing-Verhältnisses ( $s$ ). Das Ziel ist es, $T$ zu minimieren, indem der Overlap von Rechen- und Speicheroperationen maximiert und gleichzeitig redundante Berechnungen minimiert werden.
Ausgabeschätzung: Da die Ausgabelängen in der autoregressiven Generierung unbekannt sind, verwendet BlendServe eine Sampling-Strategie während einer Warm-up-Phase. Es leitet die Verteilungen der Ausgabelängen aus der Semantik der Prompts und den Aufgabentypen ab, wobei es gesampelte Anfragen nutzt, um die Dichte der ungesampelten Anfragen innerhalb desselben Präfix-Subtrees zu schätzen.

2. Ressourcenbewusster Präfixbaum

Um den Kompromiss zwischen Prefix Sharing und Ressourcen-Overlap zu verwalten, konstruiert BlendServe einen ressourcenbewussten Präfixbaum:

Struktur: Basierend auf der Trie-Struktur, wie sie in Systemen wie SGLang verwendet wird, wobei Knoten gemeinsame Prompt-Segmente repräsentieren.
Erweiterung: Jeder Knoten ist mit der Rechendichte aller Anfragen in seinem Subtree annotiert.
Sortierung und Aufteilung: Das System sortiert Knoten auf jeder Ebene basierend auf ihrer Rechendichte, wobei rechenintensive Knoten nach links und speicherintensive Knoten nach rechts platziert werden. Um Ausreißer zu handhaben, die diese globale Ordnung stören, wird eine bedingte Knotenspaltung angewendet. Wenn die Dichte eines Knotens signifikant von seinen Nachbarn abweicht, wird er aufgeteilt und neu positioniert. Dies verursacht Kosten durch die Neuberechnung eines kleinen Präfixsegments, um eine bessere Ressourcenbalance zu erreichen.

3. Dualer Scanning-Algorithmus

Um den endgültigen Anfrage-Zeitplan zu generieren, verwendet BlendServe einen dualen Scanning-Algorithgen:

Mechanismus: Der Algorithmus scannt die Blätter des sortierten Präfixbaums gleichzeitig vom linken (rechenintensiven) und rechten (speicherintensiven) Ende her.
Batch-Bildung: Er berechnet dynamisch die erforderliche Speicherpartition ( $M_L$ und $M_R$ ), um eine Ziel-Gesamtrechendichte ( $\rho_{target}$ ) zu erreichen, die mit der Wurzel des Baums übereinstimmt. Anfragen werden von beiden Enden ausgewählt, um diese Partitionen zu füllen, wodurch sichergestellt wird, dass jeder Batch eine ausgewogene Mischung aus rechen- und speicherintensiven Anfragen enthält.
Ergebnis: Dieser Ansatz bewahrt die hierarchische Struktur des Präfixbaums (hohes Prefix Sharing) und verschachtelt gleichzeitig Anfragen, um den Hardware-Ressourcen-Overlap zu maximieren.

4. Verteilte Bereitstellung

BlendServe unterstützt Data Parallelism (DP) und Tensor Parallelism (TP).

In DP wird der zentralisierte Präfixbaum in Subtrees zerlegt, die verschiedenen Ranks zugewiesen werden, um eine ausgewogene Arbeitslast zu gewährleisten.
In TP integriert sich das System in bestehende Pipeline-Strategien, um den Kommunikations-Overhead mit der Berechnung zu überlappen und so die Kompatibilität mit großflächigen Deployments zu wahren.

Kernbeiträge

Analyse der Workload-Diversität: Eine detaillierte Charakterisierung, wie diverse LLM-Anwendungen (Chat, Coding, Videogenerierung) unterschiedliche Ressourcenanforderungen (Rechenleistung vs. Speicher) erzeugen, die bestehende Batching-Strategien einschränken.
Ressourcenbewusster Präfixbaum: Eine neuartige Datenstruktur, die Ressourcenanforderungen (Rechendichte) kodiert und gleichzeitig die Präfixstrukturen bewahrt, was es dem System ermöglicht, sowohl über Prefix Sharing als auch über Ressourcen-Overlap gleichzeitig zu argumentieren.
Dualer Scanning-Algorithmus: Ein heuristischer Scheduling-Algorithmus, der Batches erstellt, indem er einen sortierten Präfixbaum von beiden Enden scannt, wodurch Anfragetypen effektiv gemischt werden, um den Ressourcen-Overlap zu maximieren, ohne das Prefix Sharing zu opfern.
Prototyp und Evaluierung: Eine vollständige Implementierung auf Basis von NanoFlow und SGLang, evaluiert über mehrere Modelle (Llama-3-8B/70B, Qwen-2.5, DeepSeek) und diverse synthetische Workloads.

Experimentelle Ergebnisse

Die Autoren evaluierten BlendServe gegen Branchenstandards wie vLLM und SGLang sowie gegen State-of-the-Art-Systeme mit Fokus auf Durchsatz wie NanoFlow.

Durchsatz-Beschleunigung:
- Im Vergleich zu vLLM und SGLang erreicht BlendServe eine bis zu 1,44-fache Durchsatzsteigerung.
- Im Vergleich zu NanoFlow (dem aktuellen Stand der Technik für Durchsatz) liefert BlendServe im Durchschnitt einen um 20,84 % höheren Durchsatz.
Optimalitätslücke: BlendServe erreicht durchschnittlich 86,55 % des theoretisch optimalen Durchsatzes (bis zu 90 % in spezifischen Konfigurationen), was zeigt, dass es sich effektiv dem Limit dessen annähert, was mit perfektem Ressourcen-Overlapping und Prefix Sharing erreichbar ist.
Ressourcenausnutzung: Visualisierungen der Rechen- und Speicherleistung zeigen, dass BlendServe eine stabile, ausgewogene Ressourcenausnutzung über die Inferenzschritte hinweg beibehält, während Baselines wie NanoFlow-DFS signifikante Fluktuationen und Phasen der Ressourcenausnutzung aufweisen.
Prefix Sharing: Trotz der Umordnung von Anfragen zur Ressourcenbalance bewahrt BlendServe 97 % des maximalen Prefix-Sharing-Verhältnisses, das durch eine Standard-DFS-Traversierung erreichbar wäre.
Skalierbarkeit: Das System zeigt eine nahezu lineare Skalierung mit Data Parallelism (DP) und bleibt über verschiedene Modellgrößen (7B bis 72B) und Hardwarekonfigurationen hinweg effektiv.

Bedeutung und Ansprüche

Das Paper behauptet, dass BlendServe das erste Serving-System ist, das speziell für die Offline-Batch-Inferenz optimiert wurde und zwei traditionell gegensätzliche Ziele erfolgreich harmonisiert: Ressourcen-Overlapping und Prefix Sharing.

Die Autoren argumentieren, dass mit der Diversifizierung von LLM-Anwendungen die Annahme einheitlicher Ressourcenanforderungen innerhalb eines Batches nicht mehr gültig ist. Durch die Nutzung der gelockerten Latenzbeschränkungen der Offline-Inferenz zur Umordnung von Anfragen erschließt BlendServe signifikante Durchsatzgewinne, die bisherige Intra-Batch-Optimierungen nicht erreichen konnten. Das System zeigt, dass es möglich ist, den optimalen Durchsatz (90 %) zu erreichen, ohne die Effizienzgewinne durch Prefix Caching zu opfern, und bietet somit eine robuste Lösung für kosteneffiziente, hochperformante LLM-Inferenz.