DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
Dieses Paper präsentiert DriftSched, ein QoS-bewusstes Scheduling-Framework für Multi-Tenant-LLM-Inferenz, das einen Online-Feedback-Mechanismus nutzt, um Laufzeitfehler bei der Token-Schätzung zu korrigieren, wobei gezeigt wird, dass während die adaptive Kalibrierung die Schätzgenauigkeit signifikant verbessert, die Shortest-Job-First (SJF)-Scheduling-Policy die substanziellsten Reduktionen der End-to-End- und Tail-Latenz erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen ein sehr beliebtes Restaurant mit nur einer Küche (der GPU) und einem einzigen Koch. Sie haben drei Arten von Kunden:
- VIPs (Premium): Die ihr Essen schnell wollen und bereit sind, dafür extra zu bezahlen.
- Stammgäste (Standard): Die einfach nur eine normale Mahlzeit möchten.
- Großabnehmer (Batch): Die riesige Catering-Tabletts bestellen und es nicht schlimm finden, wenn sie warten müssen.
Das Problem? Die Küche wird überfordert. Bestellungen stapeln sich auf und manche Leute warten ewig, während andere schnell bedient werden. Der Koch muss entscheiden, für wen er als Nächstes kocht. Das nennt man „Scheduling“ (Zeitplanung).
Das Kernproblem: Die Arbeitslast erraten
Um zu entscheiden, wen er als Nächstes bedient, muss der Scheduler wissen, wie groß eine Bestellung ist.
- Ist es ein einfacher Salat (kurzer Job)?
- Oder ist es ein komplexes 5-Gänge-Menü (langer Job)?
Wenn der Scheduler falsch rät, herrscht Chaos. Wenn er denkt, dass eine riesige Catering-Bestellung klein ist, serviert er sie vielleicht vor dem schnellen Aperitif eines VIPs, was dazu führt, dass der VIP zu lange warten muss. Dies nennt man „Workload Misclassification“ (Fehlklassifizierung der Arbeitslast).
Die zwei Wege zu raten
Das Paper DriftSched testet zwei Wege, wie man schätzt, wie groß eine Bestellung ist:
- Der „faule Schätzer“ (Whitespace Proxy): Stellen Sie sich vor, man zählt die Wörter auf dem Bestellzettel. Wenn er 10 Wörter hat, ist er wahrscheinlich klein. Wenn er 100 Wörter hat, ist er groß. Das ist schnell und einfach für den Gastgeber zu tun, aber ungenau. Ein kurzer Satz kann komplex zu kochen sein, und ein langer Satz kann einfach sein.
- Der „Experten-Schätzer“ (Tokenizer-Aware): Stellen Sie sich vor, der Gastgeber liest tatsächlich das Rezept und weiß genau, wie viele Zutaten und Schritte involviert sind. Das ist genau, aber es dauert etwas mehr Zeit und Mühe für den Gastgeber, dies zu berechnen.
Die Lösung: DriftSched
DriftSched ist ein intelligentes System, das dieses Restaurant verwaltet. Es hat eine spezielle Funktion namens „Adaptive Calibration“ (oder EMA).
Stellen Sie es sich so vor: Wenn der Gastgeber den „faulen Schätzer“ verwendet und merkt, dass er konsequent die Zeit unterschätzt, die eine Mahlzeit wie ein „Technischer Bericht“ benötigt, lernt DriftSched aus seinen Fehlern. Es sagt: „Ah, jedes Mal, wenn wir raten, dass ein Technischer Bericht klein ist, dauert er in Wirklichkeit 20 % länger. Nächstes Mal werde ich 20 % zur Schätzung hinzufügen.“
Im Laufe der Zeit wird der „faule Schätzer“ fast so gut wie der „Experten-Schätzer“, weil das System seine eigenen Fehler korrigiert, basierend auf dem, was tatsächlich in der Küche passiert ist.
Die fünf Scheduling-Strategien
Das Paper testete fünf Regeln, um zu entscheiden, wer als Nächstes isst:
- FIFO (First-In, First-Out): Wie eine Standard-Warteschlange. Wer zuerst kommt, mahlt zuerst. Fair, aber wenn ein Großabnehmer vor Ihnen steht und eine riesige Bestellung hat, warten Sie ewig.
- Priority (Priorität): VIPs springen immer an die Spitze der Schlange. Stammgäste und Großabnehmer müssen warten. Großartig für VIPs, schrecklich für alle anderen.
- Weighted (Gewichtet): Ein Kompromiss. VIPs werden 50 % der Zeit bedient, Stammgäste 30 % und Großabnehmer 20 %. Jeder kommt mal dran, aber VIPs erhalten mehr Aufmerksamkeit.
- SJF (Shortest-Job-First): Der Koch wählt immer die kleinste, schnellste Bestellung als Nächstes, unabhängig davon, wer sie bestellt hat. Wenn ein Großabnehmer ein winziges Beilagegericht hat, wird dieses vor dem Hauptgang eines VIPs gekocht.
- Aging Priority (Alternde Priorität): Wie die Prioritäts-Strategie, aber wenn ein Großabnehmer zu lange wartet, erhält sein Ticket einen „Stempel“, der seine Priorität erhöht, damit er nicht „verhungert“.
Was haben sie herausgefunden?
1. Genauigkeit zählt, aber die Strategie zählt mehr
Die Verwendung des „Experten-Schätzers“ (Tokenizer) ist besser als der „faule Schätzer“ (Whitespace). Jedoch hat die Regel (die Scheduling-Policy), die man verwendet, um den nächsten Kunden auszuwählen, einen viel größeren Einfluss auf die Wartezeiten als die Genauigkeit, mit der man die Bestellgröße errät.
2. SJF ist der König der Geschwindigkeit
Die SJF-Regel (Shortest-Job-First) war am schnellsten. Sie reduzierte die durchschnittliche Wartezeit um etwa 42 % im Vergleich zur Standard-Warteschlange (FIFO). Warum? Weil das Abarbeiten aller kleinen, schnellen Bestellungen zuerst die Küche beschäftigt und effizient hält, und weniger Menschen hinter einer einzigen riesigen Bestellung feststecken.
3. Priority ist der König der VIPs
Wenn es Ihnen wichtig ist, die VIPs glücklich zu machen, ist Priority Scheduling die beste Wahl. VIPs warteten nur etwa 77 Sekunden, während Großabnehmer etwa 427 Sekunden warteten. SJF hingegen kümmerte sich nicht darum, wer Sie waren; es kümmerte sich nur darum, wie klein Ihre Bestellung war. Tatsächlich wurden unter SJF Großabnehmer manchmal schneller bedient als VIPs, weil ihre Bestellungen zufällig kleiner waren.
4. Der „faule Schätzer“ kann repariert werden
Die Selbstkorrektur-Funktion des Systems (EMA) funktionierte gut. Wenn das System den ungenauen „faulen Schätzer“ verwendete, lernte es, seine Schätzungen im Laufe der Zeit anzupassen, wodurch die Fehler um etwa 40 % reduziert wurden. Wenn man jedoch bereits den „Experten-Schätzer“ verwendet, hilft die Selbstkorrektur nicht viel, da die Schätzungen bereits genau waren.
Das Fazit
- Wenn Sie den schnellsten Gesamtservice wollen: Verwenden Sie SJF (Shortest-Job-First). Es leert die Warteschlange am schnellsten.
- Wenn Sie Ihre wichtigsten Kunden schützen wollen: Verwenden Sie Priority Scheduling. Es garantiert, dass VIPs zuerst bedient werden, auch wenn dies bedeutet, dass andere länger warten müssen.
- Machen Sie sich keine zu großen Sorgen um perfektes Raten: Selbst wenn Sie nur eine grobe Schätzung haben, wie lange eine Bestellung dauert, ist die Scheduling-Regel, die Sie wählen (SJF vs. Priority), viel wichtiger für die endgültige Wartezeit. Aber wenn Sie präzise raten können (mit dem Tokenizer), läuft das System reibungsloser.
Kurz gesagt: Wie Sie die Kunden in die Schlange stellen, ist wichtiger als wie perfekt Sie deren Bestellgröße schätzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.