HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization
HeraSys ist ein LLM-Serving-System, das die End-to-End-Performance von gleichzeitigen Multi-Tenant-Workflows optimiert, indem es durch strukturelles Node-Merging berechnungsbedingte Redundanzen zwischen Workflows eliminiert und eine lastsensitive Joint-Scheduling-Policy einsetzt, um die Tail-Latenz signifikant zu reduzken und gleichzeitig den Durchsatz zu steigern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige Küche vor, in der ein Team von Köchen versucht, gleichzeitig hunderte von komplexen Mahlzeiten zuzubereiten. In der Welt der Künstlichen Intelligenz sind diese „Mahlzeiten“ Aufgaben, die von Large Language Models (LLMs) ausgeführt werden – den superintelligenten Computergehirnen, die Geschichten schreiben, Fragen beantworten und Probleme lösen. Normalerweise wird es, wenn Sie eine KI bitten, etwas zu tun, wie eine einzelne, isolierte Bestellung behandelt. Aber in der realen Welt gleichen Anwendungen immer mehr aufwendigen Banketten: Eine einzige Anfrage kann die Suche nach Informationen, das Überprüfen einer Datenbank und das anschließende Schreiben einer Zusammenfassung beinhalten, alles in einem Arbeitsgang. Diese werden als „Workflows“ bezeichnet.
Das Problem ist, dass die Küche chaotisch wird, wenn viele Menschen gleichzeitig diese komplexen Bankette bestellen. Wenn zwei Kunden darum bitten, dass dieselbe Zutat gehackt wird, hackt die Küche sie vielleicht zweimal, was Zeit und Energie verschwendet. Schlimmer noch, wenn ein Kunde einen massiven, langsam garen Eintopf bestellt, könnten die Köche daran feststecken, wodurch alle anderen warten müssen, bis ihre schnellen Salate serviert werden. Dies ist die Herausforderung beim „Serving“ von KI: Wie verwaltet man eine Flut von komplexen, überlappenden Anfragen, ohne dass das System stillsteht oder manche Leute ewig warten müssen?
Hier kommt ein neues System namens HeraSys ins Spiel. Betrachten Sie HeraSys als einen revolutionären Küchenmanager, der nicht nur eine Bestellung nach der anderen betrachtet, sondern den gesamten Küchenboden im Blick behält, um zu sehen, wie verschiedene Bestellungen einander helfen können. Anstatt jede Anfrage als eine separate Insel zu behandeln, sucht HeraSys nach Überschneidungen. Wenn zwei verschiedene Kunden dasselbe Dokument analysiert oder dasselbe Werkzeug verwendet haben möchten, sagt HeraSys: „Hey, lass uns das einmal machen und das Ergebnis teilen!“ Es fungiert auch wie ein Verkehrspolizist, der sicherstellt, dass die schnellen, einfachen Bestellungen nicht hinter den langsamen, schweren stecken bleiben und dass die langsamen nicht die Aufmerksamkeit verhungern lassen.
Die Forscher hinter HeraSys haben ein System entwickelt, das diese komplexen KI-Aufgaben in winzige, feingliedrige Stücke zerlegt. Sie fanden heraus, dass sie durch das Zusammenführen duplizierter Schritte und die intelligente Planung, wer die Ressourcen der Küche (wie leistungsstarke Computerchips) erhält, das gesamte System viel schneller machen konnten. In ihren Tests zeigten sie, dass HeraSys die Zeit, die die langsamsten Anfragen zum Abschluss benötigen, um bis zu 2,17-mal verkürzen konnte (was bedeutet, dass sie mehr als doppelt so schnell waren) und die Gesamtzahl der Aufgaben, die das System bewältigen kann, um bis zu 1,85-mal im Vergleich zu den besten bestehenden Systemen steigerte.
Das Paper argumentiert gegen die alte Art der Vorgehensweise, bei der Systeme jede Anfrage als einen unabhängigen, isolierten Job behandeln. Sie zeigen, dass diese „Isolation“ unnötige Verschwendung und Engpässe erzeugt. Stattdessen schlagen sie einen kollaborativen Ansatz vor, bei dem das System aktiv nach gemeinsamer Arbeit sucht. Sie argumentieren auch gegen einfache Planungsregeln wie „First Come, First Served“, die dazu führen können, dass lange Aufgaben alle anderen blockieren, oder „Shortest Job First“, die dazu führen können, dass lange Aufgaben ewig warten müssen. HeraSys schlägt eine ausgewogene, „lastenbewusste“ Strategie vor, die einige Ressourcen für die schweren Aufgaben reserviert, während sie gleichzeitig die schnellen priorisiert, um Fairness und Geschwindigkeit für alle zu gewährleisten.
Die Ergebnisse, die durch umfangreiche Experimente auf echter Hardware gemessen wurden, legen nahe, dass dieser feingliedrige, kollaborative Ansatz ein bedeutender Schritt nach vorne ist. Durch das Verschmelzen redundanter Schritte und die dynamische Anpassung der Art und Weise, wie Aufgaben gruppiert und ausgeführt werden, schafft es HeraSys, die durchschnittliche Wartezeit niedrig zu halten und gleichzeitig die „Tail“-Problematik der langsamen, frustrierenden Verzögerungen zu verhindern, die komplexe KI-Systeme oft plagt. Es ist ein wenig so, als würde man erkennen, dass man, wenn man eine Gruppe von Freunden organisiert, um ein Haus zu putzen, nicht einfach jedem ein Zimmer zuweisen sollte; man sollte stattdessen bemerken, dass zwei Personen gerade denselben Flur staubsaugen, und sie zusammenarbeiten lassen, während man gleichzeitig sicherstellt, dass die Person, die die Fenster wäscht, nicht darauf warten muss, dass der Staubsauger fertig ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.