Compass: SLO-aware Query Planner for Compound AI Serving at Scale
Compass ist ein neuartiger SLO-bewusster Abfrageplaner, der eine effiziente, großskalige compound AI-Bereitstellung über diverse Deployment-Umgebungen hinweg ermöglicht, indem er komplexe Planungsprobleme zerlegt, selektives Profiling für eine kosteneffiziente Leistungsschätzung nutzt und bipartites Matching einsetzt, um den Service-Goodput zu maximieren und gleichzeitig Kosten sowie Planungsverzögerung erheblich zu reduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine riesige, hochtechnologische Restaurantküche. In der Vergangenheit arbeiteten Köche (KI-Modelle) allein in einer großen Küche (der Cloud). Doch jetzt ist „Compound AI" wie ein komplexes Gericht, das ein ganzes Team erfordert: einen Sous-Chef zum Schneiden von Gemüse, einen Grillmeister zum Braten von Fleisch, einen Saucenexperten und einen Lieferfahrer, die alle zusammenarbeiten, um einem Kunden ein einziges Gericht zu servieren.
Das Problem? Sie haben Tausende von Bestellungen, die gleichzeitig hereinkommen. Manche Kunden wollen ihr Essen in 30 Sekunden (Live-Videochat), während andere damit einverstanden sind, etwas länger zu warten, aber die günstigste Option wünschen (Batch-Code-Generierung). Darüber hinaus ist Ihre Küche nicht nur ein Raum; Sie haben eine edle Hauptküche (Cloud), eine kleinere Satellitenküche in der Nähe (Edge) und sogar einige Hausköche (Edge-Geräte), die helfen können.
Compass ist der neue, supersmart Head Chef (Query Planner), der entwickelt wurde, um dieses Chaos zu managen. So funktioniert es, unter Verwendung einfacher Analogien:
1. Das Problem: Zu viele Möglichkeiten, nicht genug Zeit
In den alten Tagen würde der Head Chef versuchen, das perfekte Rezept zu finden, wenn eine neue Bestellung hereinkam. Aber mit Compound AI gibt es Millionen von Möglichkeiten, das Gericht zuzubereiten:
- Platzierung: Sollte das Schneiden in der Hauptküche oder in der Satellitenküche stattfinden?
- Konfiguration: Sollen wir ein riesiges, teures Messer (ein riesiges KI-Modell) oder ein kleines, schnelles verwenden?
- Ressourcen: Wie viele Köche sollten wir einsetzen?
Der Versuch, für jede einzelne Bestellung den perfekten Plan zu finden, dauert Stunden. Bis der Chef das herausgefunden hat, ist der Kunde bereits gegangen oder das Essen ist kalt. Bestehende Systeme waren entweder zu langsam oder funktionierten nur für einfache, Einzelgerichte-Bestellungen.
2. Die Lösung: Compasss „Smarte Abkürzungen"
Compass versucht nicht, jedes einzelne mögliche Rezept zu probieren. Stattdessen nutzt es drei clevere Tricks, um in Sekunden ein großartiges Rezept zu finden:
A. Die „Ähnlichkeits"-Abkürzung (Search Optimizer)
Stellen Sie sich vor, Sie haben zuvor ein „Scharfes Tofu"-Gericht für einen Kunden zubereitet. Jetzt bestellt ein neuer Kunde „Scharfes Tofu mit etwas weniger Salz".
Anstatt von vorne zu beginnen, schaut Compass in seine Historie. Es sagt: „Hey, ich weiß, wie das letzte Scharfe Tofu geworden ist. Ich kann dieses Wissen nutzen, um zu erraten, wie dieses neue schmecken wird."
- Die Metapher: Es ist wie ein Koch, der sich daran erinnert, dass „Rezept A" und „Rezept B" zu 90 % ähnlich sind. Sie müssen nicht das Ganze erneut probieren; sie passen nur das Salz an. Dies spart enorme Mengen an Zeit und Geld (GPU-Kosten).
B. Die „Probier"-Triage (SLO Profiler)
Um zu wissen, ob ein Rezept gut ist, muss man normalerweise das Ganze kochen und probieren. Aber ein riesiges KI-Modell zu kochen, ist teuer (es kostet echtes Geld, es auf leistungsstarken Computern laufen zu lassen).
Compass verwendet eine smarte Stichproben-Technik.
- Die Metapher: Anstatt die ganze Pizza zu essen, um zu sehen, ob sie salzig genug ist, nimmt Compass einen winzigen Bissen. Wenn der erste Bissen eindeutig zu salzig ist, stoppt es sofort und sagt: „Nein, werfen Sie dieses Rezept weg." Wenn der erste Bissen eindeutig perfekt ist, stoppt es und sagt: „Großartig, behalten Sie dieses." Es kocht die ganze Pizza nur, wenn es unsicher ist. Dies spart enorme Mengen an Geld und Zeit.
C. Der „Globale Sitzplan" (Multi-Query Planner)
Wenn Sie jede Bestellung einzeln planen, könnten Sie versehentlich alle „Grillmeister" an denselben Tisch setzen, wodurch andere Tische leer und hungrig bleiben.
Compass betrachtet alle Bestellungen auf einmal. Es erstellt einen Sitzplan, der die Last ausbalanciert.
- Die Metapher: Es ist wie ein Türsteher in einem Club, der die Leute nicht einfach einzeln hereingelassen. Er betrachtet die ganze Menge und sagt: „Okay, wir haben Platz am Tisch A für die große Gruppe und am Tisch B für die kleine Gruppe, damit jeder bedient wird, ohne dass jemand zu lange warten muss." Dies stellt sicher, dass die ganze Küche effizient läuft, nicht nur ein Gericht.
3. Die Ergebnisse: Schneller, Günstiger, Besser
Die Studie testete Compass an realen Szenarien wie Live-Videochat mit KI-Agenten, Spracherkennung und Code-Generierung. Hier ist, was passierte:
- Geschwindigkeit: Compass fand in Sekunden einen guten Plan (2,4- bis 5,1-mal schneller als zuvor). Das bedeutet, dass Benutzer nicht warten müssen, bis ihre KI darüber „nachdenkt", wie sie beginnen soll.
- Kosten: Es reduzierte die Kosten für den Betrieb dieser Dienste um das 3,8- bis 4,5-fache. Es ist wie das gleiche Essen für einen Bruchteil des Preises zu bekommen, indem man die richtigen Zutaten und die richtige Küche verwendet.
- Qualität: Es bediente 2,4- bis 5,1-mal mehr Kunden erfolgreich, ohne die Regeln (SLOs) zu verletzen.
Zusammenfassung
Denken Sie an Compass als den ultimativen Verkehrsleiter für eine Stadt voller KI-Roboter. Anstatt jeden Roboter dorthin fahren zu lassen, wohin er will (was Staus und Verzögerungen verursacht), betrachtet Compass die ganze Karte, erinnert sich, wo er schon einmal war, und leitet den Verkehr so, dass jeder schnell, günstig und sicher sein Ziel erreicht. Es verwandelt ein chaotisches, teures Durcheinander in einen reibungslosen, effizienten Betrieb.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.