Astrolabe: Balancing Load in LLM Serving with Randomized Prediction-Guided Scheduling
Astrolabe ist ein randomisierter, vorhersagegesteuerter Scheduler für das Multi-Instanz-LLM-Serving, der durch die Kombination von Antwortlängen-Schätzung, simulationsbasierter Latenzvorhersage und einer Power-of-Two-Choices-Dispatch-Policy eine überlegene Lastverteilung sowie reduzierte Latenzzeiten erreicht und dadurch die Notwendigkeit eines kostspieligen migrationsbasierten Rebalancings eliminiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine riesige, hochtechnologische Bäckerei, die darauf spezialisiert ist, „Gedanken-Kuchen“ für Millionen von Kunden gleichzeitig zu backen. In dieser Bäckerei sind die Öfen unglaublich leistungsstark, aber die Rezepte sind knifflig. Manchmal möchte ein Kunde einen einfachen Keks (eine kurze Antwort), und manchmal verlangt er eine zehnstöckige Hochzeitstorte (eine lange, komplexe Antwort). Das Problem ist, dass die Bäcker (die Computer) nicht wissen, wie groß der Kuchen sein wird, bevor sie mit dem Backen beginnen. Wenn ein Bäcker mit einer riesigen Bestellung feststeckt, während alle anderen untätig sind, staut sich die Schlange und die Kunden werden wütend.
Um dies zu beheben, nutzten viele Bäckereien früher einen „Läufer“, der zwischen den Öfen hin- und herlief, halbgebackene Kuchen schnappte und sie zu einem freieren Ofen brachte. Dies nennt man „Migration“. Aber in der Welt der künstlichen Intelligenz ist das Verschieben dieser halbgebackenen Kuchen unordentlich und langsam. Es ist, als würde man versuchen, einen riesigen, zerbrechlichen, halb gefrorenen Kuchen durch einen überfüllten Raum zu tragen; es kostet viel Energie, verstopft die Flure und macht die gesamte Bäckerei oft sogar langsamer. Dieses Paper mit dem Titel „Astrolabe“ stellt eine kühne Frage: Was wäre, wenn wir die Kuchen gar nicht erst bewegen müssten? Was wäre, wenn wir die Größe einer Bestellung vorhersagen könnten, noch bevor sie den Ofen erreicht, und sie sofort an den richtigen Bäcker senden könnten?
Die Autoren dieses Papers, Wei Da und Evangelia Kalyvianaki von der Universität Cambridge, haben ein neues System namens Astolabe entwickelt, um genau dieses Problem zu lösen. Sie fanden heraus, dass man, anstatt hektisch hin und her zu rennen, um die Arbeit umzuverteilen, ein cleveres „Ratespiel“ nutzen kann, um Bestellungen sofort an den richtigen Ort zu senden.
So funktioniert Astrolabe, unter Verwendung eines einfachen Glücksspiels. Stellen Sie sich vor, Sie haben ein Dutzend Bäcker. Wenn eine neue Bestellung eingeht, fragt das System nicht jeden einzelnen Bäcker, wie beschäftigt er ist (was zu lange dauert), oder wählt einfach zufällig einen aus (was riskant ist), sondern es wählt zwei Bäcker zufällig aus. Es fragt sie schnell: „Wenn du diese Bestellung jetzt annimmst, wie lange würde es dauern?“ Einer könnte sagen: „Etwa 10 Sekunden“, und der andere könnte sagen: „Etwa 50 Sekunden“. Das System entscheidet sich sofort für den 10-Sekunden-Bäcker und sendet die Bestellung dorthin.
Dieser Trick wird als „Power-of-Two-Choices“ bezeichnet. Es ist, als würde man in ein überfülltes Speisesaal gehen und die kürzeste Schlange auswählen, indem man nur zwei Schlangen prüft, anstatt den ganzen Raum abzusuchen. Das Paper zeigt, dass diese einfache Zufallsprüfung überraschend leistungsstark ist. Durch die Kombination dieses Verfahrens mit einem „Kristallball“ (einem Vorhersagemodell), das rät, wie lang die Antwort der KI sein wird, kann Astrolabe Anfragen an den besten Bäcker weiterleiten, noch bevor sich die Schlange überhaupt bildet.
Die Ergebnisse sind äußerst beeindruckend. In ihren Tests konnte Astrolabe genauso viele Anfragen bewältigen wie die alte „Läufer“-Methode (Migration), jedoch ohne den unordentlichen Overhead durch das Verschieben von Daten. Tatsächlich begann die alte Methode kollabieren, wenn die Bäckerei extrem geschäftig wurde, wobei die Wartezeiten von Sekunden auf Minuten anstiegen. Astrolabe hingegen hielt alles reibungslos. Es reduzierte die Zeit bis zum Erhalt des ersten Wortes einer Antwort in einigen Fällen um bis zu 77 % und senkte die Anzahl der Unterbrechungen und Neustarts von Bestellungen im Vergleich zur Konkurrenz um etwa das Sechsfache.
Das Paper testete auch, was passiert, wenn der „Kristallball“ nicht perfekt ist. Selbst wenn die Vorhersagen etwas ungenau waren (was in der Realität vorkommt), funktionierte das System immer noch besser als die alten Methoden. Es stellt sich heraus, dass, da das System immer nur zwei Bäcker gleichzeitig vergleicht, kleine Fehler beim Raten nicht so viel Gewicht haben, wie man denken mag. Wenn beide Bäcker als langsam vorhergesagt werden, wählt das System einfach den „weniger langsamen“ aus, und die Mathematik dahinter funktioniert weiterhin.
Die Autoren prüften auch, ob dies funktionieren würde, wenn sie die Art des Ofens oder die Art des gebackenen Kuchens ändern würden. Sie testeten verschiedene Modelle und Einstellungen, und Astrolabe gewann konsequent. Es scheint, dass dieser „Rate-und-Check“-Ansatz eine robuste Methode ist, um KI-Systeme schnell und effizient am Laufen zu halten, selbst wenn die Arbeitslast chaotisch und unvorhersehbar ist.
Kurz gesagt legt das Paper nahe, dass wir keine komplexen, schwergewichtigen Systeme bauen müssen, um die Arbeit umzuverteilen. Stattdessen kann ein wenig Zufälligkeit und eine gute Vermutung über die Zukunft die Aufgabe viel schneller und effizienter erledigen. Es ist eine Erinnerung daran, dass der klügste Weg, eine Menge zu managen, manchmal nicht darin besteht, jeden einzelnen Menschen mikrozumanagen, sondern ihnen ein paar gute Optionen zu geben und sie den besten Weg wählen zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.