🤖 machine learning

Compass: SLO-aware Query Planner for Compound AI Serving at Scale

Compass è un nuovo pianificatore di query consapevole degli SLO che abilita un servizio composto di AI efficiente e su larga scala in ambienti di deployment diversificati, decomponendo problemi di pianificazione complessi, utilizzando il profiling selettivo per una stima delle prestazioni economicamente vantaggiosa e impiegando l'abbinamento bipartito per massimizzare il buon rendimento del servizio riducendo al contempo in modo significativo i costi e la latenza di pianificazione.

Autori originali: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire una cucina di ristorante enorme e ad alta tecnologia. In passato, gli chef (i modelli di intelligenza artificiale) lavoravano da soli in un'unica grande cucina (il cloud). Ma ora, il "Compound AI" è come un pasto complesso che richiede un'intera squadra: un sous-chef per tagliare le verdure, un grigliatore per cucinare la carne, un esperto di salse e un fattorino, tutti che lavorano insieme per servire un singolo piatto a un cliente.

Il problema? Hai migliaia di ordini che arrivano contemporaneamente. Alcuni clienti vogliono il cibo in 30 secondi (chat video in diretta), mentre ad altri non importa aspettare un po' di più, purché sia l'opzione più economica possibile (generazione di codice in batch). Inoltre, la tua cucina non è una sola stanza; hai una cucina principale di lusso (Cloud), una cucina satellite più piccola nelle vicinanze (Edge) e persino alcuni cuochi casalinghi (dispositivi Edge) che possono aiutare.

Compass è il nuovo, super-intelligente Capo Chef (Query Planner) progettato per gestire questo caos. Ecco come funziona, usando analogie semplici:

1. Il Problema: Troppe Scelte, Non Abbastanza Tempo

Una volta, se arrivava un nuovo ordine, il Capo Chef cercava di capire la ricetta perfetta. Ma con il Compound AI, ci sono milioni di modi per preparare il piatto:

Posizionamento: Il taglio delle verdure deve avvenire nella cucina principale o in quella satellite?
Configurazione: Dobbiamo usare un coltello gigante e costoso (un modello di IA enorme) o uno piccolo e veloce?
Risorse: Quanti cuochi dovremmo assegnare?

Trovare il piano perfetto per ogni singolo ordine richiede ore. Quando il Chef finalmente lo capisce, il cliente se n'è già andato, o il cibo è freddo. I sistemi esistenti erano troppo lenti o funzionavano solo per ordini semplici di un singolo piatto.

2. La Soluzione: Le "Scorciatoie Intelligenti" di Compass

Compass non cerca di assaggiare ogni singola ricetta possibile. Invece, usa tre trucchi astuti per trovare una ricetta ottima in pochi secondi:

A. La Scorciatoia della "Somiglianza" (Search Optimizer)

Immagina di aver cucinato un piatto "Tofu Piccante" per un cliente in passato. Ora, un nuovo cliente ordina "Tofu Piccante con un po' meno sale".
Invece di ricominciare da capo, Compass guarda la sua cronologia. Dice: "Ehi, so com'è venuto fuori l'ultimo Tofu Piccante. Posso usare quella conoscenza per indovinare come assaggerà questo nuovo".

La Metafora: È come uno chef che ricorda che la "Ricetta A" e la "Ricetta B" sono simili al 90%. Non hanno bisogno di fare una nuova degustazione completa; basta regolare il sale. Questo fa risparmiare enormi quantità di tempo e denaro (costi GPU).

B. Il Triage della "Degustazione" (SLO Profiler)

Per sapere se una ricetta è buona, di solito devi cucinare tutto e assaggiarlo. Ma cucinare un modello di IA gigante è costoso (costa soldi veri eseguirlo su computer potenti).
Compass utilizza una tecnica di campionamento intelligente.

La Metafora: Invece di mangiare l'intera pizza per vedere se è abbastanza salata, Compass ne prende un piccolo boccone. Se il primo boccone è chiaramente troppo salato, si ferma immediatamente e dice: "No, buttiamo questa ricetta". Se il primo boccone è chiaramente perfetto, si ferma e dice: "Ottimo, teniamo questa". Cucina la pizza intera solo se è indeciso. Questo fa risparmiare enormi quantità di denaro e tempo.

C. La "Mappa dei Posti a Sedere Globale" (Multi-Query Planner)

Se pianifichi ogni ordine individualmente, potresti accidentalmente assegnare tutti i "Grigliatori" allo stesso tavolo, lasciando altri tavoli vuoti e affamati.
Compass guarda tutti gli ordini contemporaneamente. Crea una mappa dei posti a sedere che bilancia il carico.

La Metafora: È come un buttafuori in un club che non fa entrare le persone una alla volta. Guarda l'intera folla e dice: "Ok, abbiamo spazio al Tavolo A per il gruppo grande e al Tavolo B per il gruppo piccolo, così tutti vengono serviti senza che nessuno aspetti troppo a lungo". Questo garantisce che l'intera cucina funzioni in modo efficiente, non solo un singolo piatto.

3. I Risultati: Più Veloce, Più Economico, Meglio

Il documento ha testato Compass su scenari reali come chat video in diretta con agenti di IA, riconoscimento vocale e generazione di codice. Ecco cosa è successo:

Velocità: Compass ha trovato un buon piano in pochi secondi (da 2,4 a 5,1 volte più veloce di prima). Questo significa che gli utenti non devono aspettare che la loro IA "pensi" a come iniziare.
Costo: Ha ridotto il costo di esecuzione di questi servizi da 3,8 a 4,5 volte. È come ottenere lo stesso pasto per una frazione del prezzo usando gli ingredienti giusti e la cucina giusta.
Qualità: Ha servito con successo da 2,4 a 5,1 volte più clienti senza violare le regole (SLO).

Riepilogo

Pensa a Compass come al controllore del traffico definitivo per una città di robot di intelligenza artificiale. Invece di lasciare che ogni robot guidi dove vuole (causando ingorghi e ritardi), Compass guarda l'intera mappa, ricorda dove è stato prima e dirige il traffico in modo che tutti arrivino a destinazione velocemente, economicamente e in sicurezza. Trasforma un caos costoso e disordinato in un'operazione fluida ed efficiente.

Riepilogo Tecnico: Compass: Un Pianificatore di Query Consapevole degli SLO per la Distribuzione di AI Composita su Larga Scala

1. Enunciato del Problema

L'emergere di sistemi di AI composita—che integrano molteplici operatori (ad esempio, campionatori video, encoder visivi, LLM, renderer vocali) in pipeline per applicazioni come chat video in diretta, guida autonoma e gaming immersivo—ha spostato la distribuzione di ML dal deployment di modelli monolitici alla complessa orchestrazione di pipeline. Questi carichi di lavoro spesso attraversano spazi di deployment diversificati, che vanno dai dispositivi edge ai cluster near-edge e ai livelli cloud.

L'ottimizzazione di questi sistemi richiede una pianificazione congiunta di tre dimensioni interdipendenti per ogni operatore in una pipeline:

Posizionamento: Dove eseguire l'operatore (edge, near-edge o cloud).
Configurazione: Quale versione del modello, precisione o frequenza di campionamento utilizzare.
Allocazione delle Risorse: Quanto calcolo (ad esempio, quota GPU) e larghezza di banda provisionare.

La sfida principale è massimizzare il goodput SLO (il numero di query che soddisfano gli Obiettivi di Livello di Servizio per latenza, accuratezza e costo) in condizioni di contesa delle risorse. Gli approcci esistenti falliscono nell'affrontare questo problema su larga scala a causa di:

Esplosione Combinatoria: Una singola query può avere migliaia di piani candidati a causa di configurazioni e posizionamenti eterogenei.
Eterogeneità: Gli ambienti di runtime variano (ad esempio, velocità edge vs cloud) e le distribuzioni dei dati di input differiscono tra gli utenti, causando variazioni di prestazioni anche per piani identici.
Latenza di Pianificazione: I pianificatori esistenti (ad esempio, Vulcan, VideoStorm) impiegano minuti o ore per trovare un piano fattibile, rendendoli non praticabili per query in tempo reale e di breve durata (ad esempio, riconoscimento vocale di 10 secondi).
Ottimizzazione Locale vs Globale: I pianificatori per singola query ignorano la contesa delle risorse tra query diverse, portando ad allocazioni globali subottimali (ad esempio, sovraccaricare il cloud lasciando risorse edge inattive).

2. Metodologia: Il Sistema Compass

Compass è il primo pianificatore di query consapevole degli SLO progettato per gestire carichi di lavoro di AI composita multi-query, multi-livello su larga scala. Adotta un framework di pianificazione a due stadi per bilanciare efficienza e qualità delle decisioni.

A. Architettura del Sistema

Compass scompone il problema di pianificazione globale intrattabile in:

Ricerca per Singola Query: Identificazione di un insieme di piani candidati Pareto-ottimali per ogni singola query.
Pianificazione Multi-Query: Selezione della migliore combinazione di coppie query-piano per massimizzare il goodput globale sotto vincoli di risorse.

B. Componenti Principali

1. Ottimizzatore di Ricerca (Ricerca Multi-Obiettivo Consapevole dei Costi)

Per navigare efficientemente nello spazio di ricerca vasto, Compass introduce la ricerca CAMO (Cost-Aware Multi-Objective), un miglioramento rispetto alla standard Ottimizzazione Bayesiana (BO).

Surrogati Decomposti: Invece di un singolo obiettivo, CAMO mantiene due modelli surrogati indipendenti: uno per l'accuratezza ( $f_a$ ) e uno per la latenza ( $f_l$ ).
Funzione di Utilità: Propone nuovi piani massimizzando una funzione di acquisizione $U(p)$ che bilancia la probabilità di soddisfare gli SLO contro il costo di profilazione (latenza per eseguire l'inferenza):
$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$
Avvio Caldo Inter-Query: Per accelerare la ricerca per nuove query, Compass sfrutta le somiglianze latenti tra le query. Mantiene un "comitato" di modelli surrogati storici. Se una nuova query è simile a quelle passate, il comitato vota sul prossimo piano candidato. Man mano che il modello CAMO della nuova query matura (l'errore di previsione scende sotto quello del comitato), passa automaticamente all'autonomia.

2. Profiler SLO (Verifica Efficiente)

La profilazione (esecuzione di piani per misurare accuratezza/latenza) è il collo di bottiglia principale. Compass riduce questo costo tramite:

Profilazione Adattiva: Invece di un campionamento fisso, Compass utilizza il test t di Student per determinare il numero minimo di campioni richiesto per confermare statisticamente se un piano soddisfa un SLO. Se il divario tra l'accuratezza stimata del piano e l'SLO è ampio, si interrompe precocemente; se il divario è piccolo, campiona di più.
Profilazione Condivisa per Dipendenze: Caching delle output intermedie per segmenti di pipeline condivisi. Se un nuovo piano modifica solo un operatore a valle, il profiler evita di rieseguire gli operatori a monte, riutilizzando i risultati cache.
Ridimensionamento delle Risorse: La ricerca assume inizialmente risorse sovradimensionate per garantire la fattibilità degli SLO. Il profiler esegue quindi una ricerca binaria multidimensionale per ridurre avidamente le risorse (ad esempio, riducendo la quota GPU) fino a quando la latenza SLO è sull'orlo della violazione, identificando il fronte dei costi Pareto-ottimale.

3. Pianificatore Multi-Query (Pianificazione Globale)

Una volta che ogni query ha un insieme di piani Pareto-ottimali, Compass esegue un matching bipartito tra l'insieme delle query e i loro candidati di piano.

Obiettivo: Massimizzare il goodput SLO (per scenari con risorse vincolate) o minimizzare il costo totale di deployment (per scenari cloud elastici).
Algoritmo: Un'euristica greedy che classifica i piani in base al loro rapporto beneficio-risorsa (o rapporto beneficio-cost). Alloca iterativamente le risorse ai piani più alti fino all'esaurimento della capacità.
Garanzia Teorica: Gli autori dimostrano che per configurazioni solo-cloud, l'approccio greedy raggiunge almeno il 50% del goodput ottimale. Per la minimizzazione dei costi multi-livello, il costo è entro un rapporto competitivo di 11/9 rispetto all'ottimo, più una piccola costante dipendente dal numero di livelli.

3. Contributi Chiave

Primo Pianificatore Generico Consapevole degli SLO: Compass è il primo sistema a supportare la distribuzione di AI composita attraverso spazi di deployment diversificati (solo-cloud, multi-livello, edge-cloud) gestendo sia interazioni continue che effimere.
Meccanismo di Ricerca Innovativo: Introduce una ricerca multi-obiettivo consapevole dei costi (CAMO) che sfrutta le somiglianze dei piani (intra- e inter-query) e la profilazione adattiva per navigare efficientemente spazi di ricerca ad alta dimensionalità.
Qualità della Decisione Globale: Disaccoppiando la ricerca per singola query dalla pianificazione globale, Compass evita l'esplosione combinatoria della pianificazione congiunta mantenendo una qualità decisionale vicina all'ottimo attraverso insiemi di candidati Pareto-ottimali e matching greedy.
Implementazione Reale: Il sistema è implementato in circa 2.800 righe di Python, è compatibile con le API di Kubernetes e LangChain e supporta stack ML esistenti con modifiche minime al codice.

4. Risultati Sperimentali

Le valutazioni sono state condotte su cinque applicazioni rappresentative di AI composita (Chat con Agente in Diretta, Generazione di Codice Agente, Sottotitolazione Video Densa, Tracciamento Visivo, Riconoscimento Vocale) su infrastrutture realistiche multi-livello (Cloud, Near-Cloud, Near-Edge, Edge).

Goodput del Servizio: Compass migliora il goodput SLO di 2,4–5,1 volte rispetto alle baseline all'avanguardia (Vulcan, VideoStorm), anche nei loro spazi di deployment nativi.
Riduzione dei Costi: Riduce i costi di deployment di 3,8–4,5 volte ottimizzando l'allocazione delle risorse e il posizionamento.
Velocità di Pianificazione: Compass accelera la pianificazione di 4,2–10,5 volte, identificando il primo piano conforme agli SLO in <5 secondi (contro i minuti delle baseline) e piani near-ottimali in <20 secondi.
Scalabilità: Il sistema scala a migliaia di query concorrenti, raggiungendo prestazioni vicine a un oracolo di ricerca esaustiva (ILP) mantenendo un tempo di pianificazione sub-lineare.
Reattività: Abilita l'adattamento in tempo reale alle dinamiche di runtime (ad esempio, fluttuazioni di rete, cambiamenti di illuminazione) entro pochi secondi.

5. Significato e Affermazioni

Il documento afferma che Compass affronta un collo di bottiglia critico nell'evoluzione della distribuzione di AI: la transizione dall'inferenza di singoli modelli alle pipeline di AI composita. Gli autori sostengono che senza un pianificatore capace di gestire la complessità combinatoria di scenari multi-operatore, multi-livello e multi-query, le applicazioni di AI composita in tempo reale (come agenti video in diretta) non possono essere distribuite in modo efficiente o economicamente vantaggioso.

Il significato risiede in:

Fattibilità: Rendere trattabile la distribuzione di AI composita in tempo reale e garantita dagli SLO, dove gli approcci precedenti erano troppo lenti o inaccurati.
Efficienza: Ridurre drasticamente la "tassa di pianificazione" (tempo e costo spesi per la ricerca di configurazione) che in precedenza dominava il tempo totale di distribuzione.
Generalità: Fornire un framework unificato che funziona su infrastrutture eterogenee, dai dispositivi edge ai cluster cloud su larga scala, senza richiedere regolazioni specifiche per l'applicazione.

Il documento conclude che Compass permette ai fornitori di servizi di sostenere servizi di AI composita di alta qualità ed economicamente efficienti su larga scala, colmando il divario tra l'ottimizzazione teorica delle pipeline e il deployment pratico in tempo reale.