🤖 machine learning

Compass: SLO-aware Query Planner for Compound AI Serving at Scale

Compass is een nieuw SLO-bewust queryplanner dat efficiënte, grootschalige compound AI-diensten over diverse deployment-omgevingen mogelijk maakt door complexe planningsproblemen te ontleden, selectieve profilering te gebruiken voor kosteneffectieve prestatieschatting en bipartiete matching toe te passen om de service-goodput te maximaliseren terwijl de kosten en planningslatentie aanzienlijk worden verlaagd.

Oorspronkelijke auteurs: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, high-tech restaurantkeuken runt. In het verleden werkten chefs (AI-modellen) alleen in één grote keuken (de cloud). Maar nu is "Compound AI" als een complex gerecht dat een heel team vereist: een sous-chef om groenten te snijden, een grillmeester om vlees te bereiden, een sausexpert en een bezorger, die allemaal samenwerken om één gerecht aan een klant te serveren.

Het probleem? Je hebt duizenden bestellingen die tegelijk binnenkomen. Sommige klanten willen hun eten binnen 30 seconden (live videochat), terwijl anderen het niet erg vinden om iets langer te wachten, maar dan wel het goedkoopste mogelijke aanbod willen (batch-codegeneratie). Bovendien is je keuken niet slechts één ruimte; je hebt een chique hoofdkeuken (Cloud), een kleinere satellietkeuken in de buurt (Edge) en zelfs wat thuischefs (Edge-apparaten) die kunnen helpen.

Compass is de nieuwe, super-slimme Hoofdkok (Query Planner) die is ontworpen om dit chaos te beheersen. Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: Te Veel Keuzes, Niet Genoeg Tijd

In de oude tijden zou de Hoofdkok, als er een nieuwe bestelling binnenkwam, proberen het perfecte recept te bedenken. Maar met Compound AI zijn er miljoenen manieren om het gerecht te maken:

Plaatsing: Moet het snijden in de hoofdkeuken of in de satellietkeuken gebeuren?
Configuratie: Moeten we een gigantisch, duur mes gebruiken (een enorm AI-model) of een klein, snel mes?
Hulpmiddelen: Hoeveel koks moeten we toewijzen?

Het vinden van het perfecte plan voor elke afzonderlijke bestelling kost uren. Tegen de tijd dat de Chef het heeft uitgedacht, is de klant al vertrokken of is het eten koud. Bestaande systemen waren ofwel te traag of werkten alleen voor simpele, enkel-gerecht bestellingen.

2. De Oplossing: Compass's "Slimme Kortsluitingen"

Compass probeert niet elk mogelijk recept te proeven. In plaats daarvan gebruikt het drie slimme trucs om binnen seconden een geweldig recept te vinden:

A. De "Vergelijkbaarheid"-Kortsluiting (Search Optimizer)

Stel je voor dat je eerder een "Kruidige Tofu"-gerecht voor een klant hebt bereid. Nu bestelt een nieuwe klant "Kruidige Tofu met iets minder zout".
In plaats van vanaf nul te beginnen, kijkt Compass naar zijn geschiedenis. Het zegt: "Hé, ik weet hoe de laatste Kruidige Tofu smaakte. Ik kan die kennis gebruiken om te raden hoe deze nieuwe eruit zal zien."

De Metafoor: Het is als een chef die onthoudt dat "Recept A" en "Recept B" voor 90% gelijk zijn. Ze hoeven niet het hele ding opnieuw te proeven; ze passen alleen het zout aan. Dit bespaart enorme hoeveelheden tijd en geld (GPU-kosten).

B. De "Proef"-Triage (SLO Profiler)

Om te weten of een recept goed is, moet je normaal gesproken het hele gerecht koken en proeven. Maar het koken van een gigantisch AI-model is duur (het kost echt geld om het op krachtige computers te draaien).
Compass gebruikt een slim bemonsteringstechniek.

De Metafoor: In plaats van de hele pizza te eten om te zien of hij zout genoeg is, neemt Compass een klein hapje. Als de eerste hap duidelijk te zout is, stopt het direct en zegt: "Nee, gooi dit recept weg." Als de eerste hap duidelijk perfect is, stopt het en zegt: "Geweldig, bewaar deze." Het kookt de hele pizza alleen als het twijfelt. Dit bespaart enorme hoeveelheden geld en tijd.

C. De "Wereldwijde Tafelindeling" (Multi-Query Planner)

Als je elke bestelling individueel plant, kun je per ongeluk alle "Grillmeesters" aan dezelfde tafel toewijzen, waardoor andere tafels leeg en hongerig blijven.
Compass kijkt naar alle bestellingen tegelijk. Het maakt een tafelindeling die de last in evenwicht brengt.

De Metafoor: Het is als een bouncer in een club die niet gewoon mensen één voor één binnenlaat. Ze kijken naar de hele menigte en zeggen: "Oké, we hebben ruimte bij Tafel A voor de grote groep en Tafel B voor de kleine groep, zodat iedereen wordt bediend zonder dat iemand te lang hoeft te wachten." Dit zorgt ervoor dat de hele keuken efficiënt draait, niet alleen één gerecht.

3. De Resultaten: Sneller, Goedkoper, Beter

Het papier testte Compass op real-world scenario's zoals live videochat met AI-agenten, spraak-naar-tekst en codegeneratie. Dit is wat er gebeurde:

Snelheid: Compass vond binnen seconden een goed plan (2,4 tot 5,1 keer sneller dan daarvoor). Dit betekent dat gebruikers niet hoeven te wachten tot hun AI nadenkt over hoe het moet beginnen.
Kosten: Het verlaagde de kosten voor het draaien van deze diensten met 3,8 tot 4,5 keer. Het is alsof je hetzelfde eten krijgt voor een fractie van de prijs door de juiste ingrediënten en de juiste keuken te gebruiken.
Kwaliteit: Het bediende 2,4 tot 5,1 keer meer klanten succesvol zonder de regels (SLO's) te overtreden.

Samenvatting

Denk aan Compass als de ultieme verkeersregelaar voor een stad vol AI-robots. In plaats van elke robot te laten rijden waar hij maar wil (wat file en vertraging veroorzaakt), kijkt Compass naar de hele kaart, onthoudt waar het eerder is geweest, en regelt het verkeer zodat iedereen snel, goedkoop en veilig op zijn bestemming komt. Het verandert een chaotische, dure puinhoop in een soepele, efficiënte operatie.

Technische Samenvatting: Compass: Een SLO-bewuste Queryplanner voor Compound AI-diensten op Schaal

1. Probleemstelling

Het ontstaan van Compound AI-systemen—die meerdere operators (zoals videosamplers, visie-encoders, LLM's, spraakrenderers) integreren in pijplijnen voor toepassingen zoals live videochat, autonoom rijden en immersieve gaming—heeft ML-serving verschoven van monolithische modelimplementatie naar complexe pijplijn-orchestration. Deze werklasten omvatten vaak diverse implementatieruimtes, variërend van randapparaten tot near-edge-clusters en cloud-tier.

Het optimaliseren van deze systemen vereist gezamenlijke planning van drie onderling afhankelijke dimensies voor elke operator in een pijplijn:

Plaatsing: Waar de operator wordt uitgevoerd (edge, near-edge of cloud).
Configuratie: Welke modelversie, precisie of samplefrequentie wordt gebruikt.
Resource-toewijzing: Hoeveel rekenkracht (bijv. GPU-aandeel) en bandbreedte worden gereserveerd.

De kernuitdaging is het maximaliseren van SLO-goodput (het aantal queries dat voldoet aan Service Level Objectives voor latentie, nauwkeurigheid en kosten) onder resource-concurrentie. Bestaande benaderingen falen om dit op schaal aan te pakken vanwege:

Combinatorische Explosie: Een enkele query kan duizenden kandidaat-plannen hebben door heterogene configuraties en plaatsingen.
Heterogeniteit: Runtime-omgevingen variëren (bijv. snelheden edge versus cloud) en invoerdata-distributies verschillen per gebruiker, wat prestatievariatie veroorzaakt zelfs voor identieke plannen.
Planningslatentie: Bestaande planners (bijv. Vulcan, VideoStorm) hebben minuten tot uren nodig om een haalbaar plan te vinden, waardoor ze onhaalbaar zijn voor real-time, kortlevende queries (bijv. spraakherkenning van 10 seconden).
Lokale versus Globale Optimalisatie: Single-query planners negeren cross-query resource-concurrentie, wat leidt tot suboptimale globale toewijzingen (bijv. overbelasting van de cloud terwijl edge-resources inactief blijven).

2. Methodologie: Het Compass-systeem

Compass is de eerste SLO-bewuste queryplanner die is ontworpen om grote schaal, multi-query en multi-tier compound AI-werklasten te verwerken. Het maakt gebruik van een tweestaps-planningskader om efficiëntie en besluitkwaliteit in evenwicht te brengen.

A. Systeemarchitectuur

Compass decomponeert het onhandelbare globale planningsprobleem in:

Single-Query Search: Het identificeren van een reeks Pareto-optimale kandidaat-plannen voor elke afzonderlijke query.
Multi-Query Scheduling: Het selecteren van de beste combinatie van query-planparen om de globale goodput te maximaliseren onder resource-beperkingen.

B. Kerncomponenten

1. Search Optimizer (Kostbewuste Multi-Objectief Search)

Om de enorme zoekruimte efficiënt te navigeren, introduceert Compass CAMO (Cost-Aware Multi-Objective) search, een verbetering ten opzichte van standaard Bayesiaanse Optimalisatie (BO).

Gedecomponeerde Surrogaten: In plaats van één doelwit, onderhoudt CAMO twee onafhankelijke surrogate-modellen: één voor nauwkeurigheid ( $f_a$ ) en één voor latentie ( $f_l$ ).
Utiliteitsfunctie: Het stelt nieuwe plannen voor door een acquisitie-functie $U(p)$ te maximaliseren die de kans op het voldoen aan SLO's afweegt tegen de profielkosten (latentie om de inferentie uit te voeren):
$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$
Inter-Query Warm-Start: Om de zoektocht voor nieuwe queries te versnellen, maakt Compass gebruik van latente overeenkomsten tussen queries. Het onderhoudt een "comité" van historische surrogate-modellen. Als een nieuwe query vergelijkbaar is met eerdere, stemt het comité over het volgende kandidaat-plan. Naarmate het eigen CAMO-model van de nieuwe query rijpt (voorspellingsfout daalt onder dat van het comité), schakelt het automatisch over naar zelfstandigheid.

2. SLO Profiler (Efficiënte Verificatie)

Profilering (het uitvoeren van plannen om nauwkeurigheid/latentie te meten) is de primaire bottleneck. Compass verlaagt deze kosten via:

Adaptieve Profilering: In plaats van vaste sampling, gebruikt Compass de Student's t-toets om het minimum aantal benodigde samples te bepalen om statistisch te bevestigen of een plan voldoet aan een SLO. Als het gat tussen de geschatte nauwkeurigheid van het plan en de SLO groot is, stopt het vroeg; als het gat klein is, wordt er meer gesampled.
Dependency-Gedeelde Profilering: Het cacheert tussenresultaten voor gedeelde pijplijnsegmenten. Als een nieuw plan alleen een downstream-operator wijzigt, slaat de profiler het opnieuw uitvoeren van upstream-operators over en hergebruikt het de gecachete resultaten.
Resource Trimming: De zoektocht gaat aanvankelijk uit van overgedimensioneerde resources om SLO-haalbaarheid te garanderen. De profiler voert vervolgens een meervoudige binaire zoektocht uit om resources gretig te trimmen (bijv. verkleinen van GPU-aandeel) totdat de latentie-SLO op het punt van schending staat, waardoor de Pareto-optimale kostenfront wordt geïdentificeerd.

3. Multi-Query Planner (Globale Planning)

Zodra elke query een reeks Pareto-optimale plannen heeft, voert Compass bipartiete matching uit tussen de query-set en hun plankandidaten.

Doelwit: Maximaliseren van SLO-goodput (voor scenario's met resource-beperkingen) of minimaliseren van totale implementatiekosten (voor elastische cloud-scenario's).
Algoritme: Een greedige heuristiek die plannen rangschikt op basis van hun voordeel-tot-resource-ratio (of voordeel-tot-kostenratio). Het wijst iteratief resources toe aan de best gerangschikte plannen totdat de capaciteit is uitgeput.
Theoretische Garantie: De auteurs bewijzen dat voor cloud-only setups, de greedige aanpak ten minste 50% van de optimale goodput bereikt. Voor multi-tier kostenminimalisatie ligt de kosten binnen een 11/9 competitieve ratio van het optimum, plus een kleine constante afhankelijk van het aantal tiers.

3. Belangrijkste Bijdragen

Eerste Generieke SLO-bewuste Planner: Compass is het eerste systeem dat compound AI-serving ondersteunt over diverse implementatieruimtes (alleen cloud, multi-tier, edge-cloud) terwijl het zowel continue als vluchtige interacties verwerkt.
Nieuwe Search-mechanisme: Het introduceert een kostbewuste, multi-objectief search (CAMO) die gebruikmaakt van planovereenkomsten (intra- en inter-query) en adaptieve profilering om efficiënt door hoog-dimensionale zoekruimtes te navigeren.
Globale Besluitkwaliteit: Door single-query search te ontkoppelen van globale planning, vermijdt Compass de combinatorische explosie van gezamenlijke planning, terwijl het een bijna-optimale besluitkwaliteit behoudt via Pareto-optimale kandidaatsets en greedige matching.
Real-world Implementatie: Het systeem is geïmplementeerd in ongeveer 2.800 regels Python, is API-compatibel met Kubernetes en LangChain, en ondersteunt bestaande ML-stacks met minimale code-aanpassingen.

4. Experimentele Resultaten

Evaluaties zijn uitgevoerd op vijf representatieve compound AI-toepassingen (Live Agent Chat, Agentic Code Generation, Dense Video Captioning, Visuele Tracking, Spraakherkenning) over realistische multi-tier-infrastructuur (Cloud, Near-Cloud, Near-Edge, Edge).

Service Goodput: Compass verbetert de SLO-goodput met 2,4–5,1× ten opzichte van state-of-the-art baselines (Vulcan, VideoStorm), zelfs in hun native implementatieruimtes.
Kostenreductie: Het verlaagt implementatiekosten met 3,8–4,5× door optimalisatie van resource-toewijzing en plaatsing.
Planningsnelheid: Compass versnelt planning met 4,2–10,5×, waarbij het eerste SLO-conforme plan wordt geïdentificeerd in <5 seconden (tegenover minuten voor baselines) en bijna-optimale plannen in <20 seconden.
Schaalbaarheid: Het systeem schaalt tot duizenden gelijktijdige queries, waarbij het prestaties bereikt die dicht bij een exhaustive-search oracle (ILP) liggen, terwijl het sublineaire planningsduur behoudt.
Responsiviteit: Het maakt real-time aanpassing mogelijk aan runtime-dynamiek (bijv. netwerkfluctuaties, lichtveranderingen) binnen seconden.

5. Betekenis en Claims

Het artikel stelt dat Compass een kritieke bottleneck aanpakt in de evolutie van AI-serving: de overgang van single-model inferentie naar compound AI-pijplijnen. De auteurs betogen dat zonder een planner die de combinatorische complexiteit van multi-operator, multi-tier en multi-query scenario's aankan, real-time compound AI-toepassingen (zoals live video-agents) niet efficiënt of kosteneffectief kunnen worden ingezet.

De betekenis ligt in:

Haalbaarheid: Het maken van real-time, SLO-garandeerde compound AI-serving hanteerbaar waar eerdere benaderingen te traag of onnauwkeurig waren.
Efficiëntie: Het drastisch verminderen van de "planningstaks" (tijd en kosten besteed aan configuratie-zoektocht) die voorheen de totale serving-tijd domineerde.
Generaliteit: Het bieden van een unificerend kader dat werkt over heterogene infrastructuur, van randapparaten tot grote cloud-clusters, zonder applicatie-specifieke tuning te vereisen.

Het artikel concludeert dat Compass serviceproviders in staat stelt om hoogwaardige, kostenefficiënte compound AI-diensten op schaal te onderhouden, en zo de kloof overbrugt tussen theoretische pijplijnoptimalisatie en praktische, real-time implementatie.