Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

In der Welt der modernen künstlichen Intelligenz fungieren große Sprachmodelle als leistungsstarke Motoren, die Text, Code und Ideen generieren. Das Betreiben dieser Motoren ist jedoch keine einfache Aufgabe des bloßen Ein- und Ausschaltens. Wenn ein Nutzer eine Anfrage sendet, muss das System zuerst die Eingabe verarbeiten und dann das Antwortwort für Wort generieren. Dieser Prozess ist unvorhersehbar; eine kurze Frage kann einen Bruchteil einer Sekunde dauern, während eine komplexe Analyse sich über Minuten hinziehen kann, wobei im Verlauf riesige Mengen an Computerspeicher verbraucht werden. Da diese Anfragen in plötzlichen Schüben eintreffen und in ihrer Länge stark variieren, kommt die unterstützende Infrastruktur oft nicht hinterher. Wenn das System jede Anfrage exakt gleich behandelt, kann eine massive, langsame Aufgabe die Leitung verstopfen, was dazu führt, dass dringende, einfache Fragen viel zu lange warten müssen. Dies ist die zentrale Herausforderung beim Bereitstellen künstlicher Intelligenz: wie man einen chaotischen Arbeitsstrom verwaltet, damit kritische Aufgaben sofortige Aufmerksamkeit erhalten, ohne die teure Rechenleistung zu verschwenden, die für deren Betrieb benötigt wird.

Forscher der UC Berkeley haben dieses Problem angegangen, indem sie die Art und Weise neu überdachten, wie diese KI-Systeme ihre Arbeit priorisieren. Sie bauten auf einem früheren System namens Llumnix auf, das darauf ausgelegt war, Aufgaben zwischen verschiedenen Computerservern zu verschieben, um die Last auszubalancieren und Engpässe zu verhindern. Die ursprüngliche Version dieses Systems war effektiv, aber begrenzt, da sie nur zwei Dringlichkeitsstufen bot: hohe Priorität für dringende Angelegenheiten und normale Priorität für alles andere. Diese binäre Wahl war für reale Geschäftsszenarien zu stumpf, in denen oft fünf oder mehr Service-Stufen unterschieden werden müssen, wie etwa Platinum-, Gold-, Silber- und Free-Nutzer, die jeweils unterschiedliche Geschwindigkeitsgarantien haben. Die Forscher stellten eine grundlegende Frage: Was ist die richtige Anzahl an Prioritätsstufen, um ein System zu schaffen, das sowohl für alle Nutzer fair als auch effizient für die Maschine ist?

Um die Antwort zu finden, erstellte das Team eine hoch entwickelte Simulation eines groß angelegten KI-Rechenzentrums. Sie führten diese nicht auf physischer Hardware durch, was für Tests prohibitiv teuer und langsam gewesen wäre, sondern nutzten statlich ein hochpräzises digitales Modell, das das Verhalten echter Computerchips nachahmt. In dieser virtuellen Umgebung erweiterten sie das Prioritätssystem so, dass es anywhere von eins bis zehn verschiedene Dringlichkeitsstufen unterstützen konnte. Sie führten zudem eine neue Methode zur Speicherverwaltung ein, bei der jeder Prioritätsstufe ein spezifisches Maß an „Atemraum“ gewährt wird, um sicherzustellen, dass sie ihre Arbeit abschließen kann, ohne verdrängt zu werden. Dieser Atemraum wird nicht gleichmäßig verteilt; stattdessen schrumpft er exponentiell, je niedriger die Priorität ist, wodurch sichergestellt wird, dass die kritischsten Aufgaben immer den benötigten Platz haben, während weniger dringende Aufgaben die Lücken füllen.

Das Team testete dieses neue System gegen mehrere bestehende Methoden und führte dabei tausende simulierte Anfragen unter verschiedenen Bedingungen durch. Sie variierten die Mischung der Nutzer, erstellten Szenarien, in denen hochpriorisierte Anfragen selten, häufig oder gleichmäßig verteilt auftraten, und passten das Gesamtvolumen der Arbeit an, um zu sehen, wie sich das System bei geringer Auslastung im Vergleich zu einer nahezu vollen Auslastung verhält. Die Ergebnisse zeigten einen klaren optimalen Punkt. Obwohl das System technisch gesehen bis zu zehn Prioritätsstufen bewältigen konnte, ohne zusammenzubrechen, verbesserte das Hinzufügen von mehr als vier Stufen die Leistung nicht. Tatsächlich begann das System jenseits von vier Ebenen, an Effizienz zu verlieren. Die zusätzliche Komplexität der Verwaltung so vieler verschiedener Kategorien verbrauchte mehr Ressourcen, als sie einsparte, und der Nutzen der Trennung der Aufgaben begann zu verblassen.

Die optimale Konfiguration erwies sich als vier Prioritätsstufen. In ihren Simulationen ermöglichte dieses Setup dem System, eine signifikante Geschwindigkeitsverbesserung der Gesamtleistung zu erzielen. Die End-zu-End-P99-Latenz des Systems verbesserte sich um bis zu das 3,13-fache im Vergleich zu Standardmethoden, und die Kosten pro Latenz sanken um bis zu 6

Das Team entdeckte auch, dass die Vorteile dieser feingliedrigen Priorisierung stark davon abhängen, wie beschäftigt das System ist. Wenn das Rechenzentrum moderat ausgelastet ist, funktioniert die Fähigkeit, Aufgaben in verschiedene Spuren zu trennen, hervorragend, sodass hochpriorisierte Anfragen schnell hindurchschießen können, während niedrigere warten müssen. Wenn das System jedoch vollständig gesättigt ist, also wenn jeder Server mit maximaler Kapazität läuft, nimmt der Vorteil von vielen Prioritätsstufen ab. In diesen extremen Bedingungen ist das System so voll, dass kein zusätzlicher Platz vorhanden ist, um Aufgaben zu verschieben, und die Unterscheidung zwischen den Stufen wird weniger effektiv. Dies deutet darauf hin, dass ein Vier-Stufen-Modell zwar das ideale Design für die meisten Situationen ist, aber am besten mit einem System funktioniert, das automatisch weitere Server hinzufügen kann, bevor die Last zu schwer zu bewältigen wird.

Letztendlich liefert diese Arbeit einen praktischen Bauplan für die Zukunft der KI-Infrastruktur. Sie zeigt, dass eine einfache, vierstufige Hierarchie ausreicht, um das volle Spektrum der Nutzerbedürfnisse abzudecken, von kritischen Echtzeit-Interaktionen bis hin zur Hintergrund-Batch-Verarbeitung. Indem Ingenieure von einem starren Zwei-Stufen-System weggehen und die Falle vermeiden, das Design durch zu viele Stufen zu überkomplizieren, können sie KI-Dienste bauen, die sowohl schneller als auch kosteneffizienter sind. Die Studie bestätigt, dass der Schlüssel zur Bewältigung der unvorhersehbaren Natur der künstlichen Intelligenz nicht darin liegt, das System komplexer zu machen, sondern darin, das präzise Maß an Organisation zu finden, das es atmen lässt.