Serving Compound Inference Systems on Datacenter GPUs

Il paper presenta JigsawServe, un nuovo framework di servizio che ottimizza congiuntamente latenza, accuratezza e costi delle risorse GPU per sistemi di inferenza composti, aumentando la domanda servibile fino a 11,3 volte rispetto alle soluzioni precedenti attraverso la selezione adattiva dei modelli e la partizione spaziale fine delle GPU.

L'essenziale

Immagina di dover organizzare un grande ristorante di lusso che serve piatti complessi, non semplici hamburger. Ogni piatto (chiamato "richiesta") non è un singolo passo, ma una catena di operazioni: prima si taglia l'ingrediente, poi si cuoce, poi si condisce, e infine si impagina il piatto.

In questo ristorante, gli chef sono le Intelligenze Artificiali (IA) e i fornelli sono le GPU (i potenti processori grafici dei datacenter).

Ecco il problema che il paper affronta, spiegato con una metafora semplice:

1. Il Problema: Il Ristorante Sprecone

Fino a poco tempo fa, i ristoranti di IA funzionavano così:

• Un solo chef per ogni compito: Se dovevi tagliare le verdure, prendevi un intero chef (una GPU intera) solo per quello, anche se lavorava solo per 5 minuti.
• Ricette fisse: Se il cliente chiedeva un piatto "veloce", lo chef cucinava comunque tutto con la massima precisione, anche se non serviva.
• Spreco: Molti fornelli rimanevano vuoti mentre altri erano in fiamme. Il ristorante era lento e costoso.

Quando le richieste diventano complesse (come la Realtà Aumentata o sistemi che parlano e vedono allo stesso tempo), questo approccio diventa ingestibile. Il ristorante non riesce a servire tutti i clienti in tempo e spreca soldi in energia.

2. La Soluzione: JIGSAWSERVE (Il Cuoco Geniale)

Gli autori hanno creato un nuovo sistema chiamato JIGSAWSERVE. Il nome è un gioco di parole: Jigsaw significa "puzzle". Immagina di dover riempire un puzzle con pezzi di diverse dimensioni. JIGSAWSERVE è il sistema che sa esattamente quale pezzo mettere dove per non lasciare spazi vuoti.

Ecco come funziona, con tre trucchi magici:

A. Scegliere la "Versione Giusta" della Ricetta (Scaling dell'Accuratezza)

Immagina di avere diverse versioni della stessa ricetta:

• Versione "Chef Stellato": Prende 10 minuti, è perfetta, ma costa cara.
• Versione "Cucina Veloce": Prende 2 minuti, è buona al 95%, ma costa poco.

JIGSAWSERVE non usa sempre la versione stellata. Se il cliente è di fretta o se quel passaggio non è critico per il gusto finale, sceglie la versione veloce. Se il passaggio è cruciale (es. riconoscere un'arma in una foto), usa quella stellata. Adatta la qualità al bisogno.

B. Condividere i Fornelli (Partizionamento Spaziale)

Invece di dare un intero fornello (una GPU) a un solo chef, JIGSAWSERVE usa una tecnologia moderna (come le GPU NVIDIA MIG) che permette di dividere un singolo fornello in tante piccole fette.

• Puoi avere 7 piccoli fornelli su una macchina grande.
• Puoi far cucinare 3 chef diversi sullo stesso fornello, ognuno con il suo spazio dedicato, senza che si disturbino a vicenda.
• Risultato: Nessuno spreca spazio. Se un fornello è grande, lo riempi fino all'orlo con piccoli compiti.

C. La Mappa del Flusso (Budgeting del Grafo di Attività)

Il sistema sa che le richieste non sono tutte uguali.

• In un compito, potresti trovare 10 auto in una foto, e per ognuna devi fare un altro controllo.
• JIGSAWSERVE guarda l'intero "puzzle" (il grafico delle attività) prima di iniziare. Sa che se il primo passo produce 10 output, il secondo passo avrà bisogno di 10 volte più risorse.
• Assegna le risorse (i fornelli) in base a questa mappa, non a caso.

3. I Risultati: Quanto è Migliore?

Il paper ha fatto dei test su server reali (con GPU potenti come le H100) e i risultati sono sbalorditivi:

• Capacità: JIGSAWSERVE può gestire 11,3 volte più richieste rispetto ai sistemi precedenti più simili, usando le stesse macchine. È come se il tuo ristorante potesse servire 11 tavoli in più senza assumere nuovi camerieri.
• Risparmio: Per servire lo stesso numero di clienti, JIGSAWSERVE usa solo il 43% delle risorse disponibili. Gli altri sistemi ne usavano il doppio o il triplo.
• Qualità: Nonostante usi meno risorse e ricette più veloci, il piatto finale è quasi perfetto. Raramente (meno dell'1% delle volte) il cliente si lamenta che il piatto è arrivato in ritardo o non è abbastanza buono.

In Sintesi

JIGSAWSERVE è come un direttore d'orchestra geniale per le Intelligenze Artificiali. Invece di far suonare ogni musicista (IA) con un'intera orchestra (GPU) da solo, sa esattamente:

1. Quale strumento usare (modello veloce o preciso).
2. Come dividere il palco (GPU) in modo che tutti suonino insieme senza calpestarsi i piedi.
3. Come bilanciare il tempo di ogni sezione per rispettare il ritmo finale (i tempi di risposta).

Il risultato? Un sistema più veloce, più economico e che spreca pochissima energia, permettendo di servire moltissime persone contemporaneamente.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Serving Compound Inference Systems on Datacenter GPUs", presentata in italiano.

1. Il Problema

Con l'ascesa di domini emergenti come la Realtà Estesa (XR) e i sistemi multi-agente, le applicazioni non si basano più su un singolo modello di Machine Learning (ML), ma su sistemi di inferenza compositi (Compound Inference Systems). In questi sistemi, più modelli ML sono composti in un grafo di attività (DAG) per soddisfare una singola richiesta.

L'inferenza composita presenta due sfide principali per l'efficienza nei datacenter:

1. Allocazione dei Budget: I vincoli di Servizio (SLO) di latenza e accuratezza sono definiti per l'intero sistema end-to-end, non per le singole attività. È necessario decidere come ripartire questi budget tra i vari nodi del grafo.
2. Eterogeneità delle Risorse: Diverse attività nel grafo hanno requisiti di risorse molto diversi. I moderni GPU (es. NVIDIA) offrono meccanismi di partizionamento spaziale (come MIG e MPS), ma le soluzioni esistenti non sfruttano appieno queste capacità per allocare risorse "a grana fine" (spatial partitioning) combinandole con la scelta dinamica dei modelli.

Le soluzioni attuali spesso trattano le attività in modo isolato, non considerano la partizionamento spaziale dei GPU per sistemi compositi, o non ottimizzano congiuntamente accuratezza, latenza e costo delle risorse.

2. Metodologia: JIGSAWSERVE

Il paper presenta JIGSAWSERVE, il primo framework di serving che ottimizza congiuntamente latenza, accuratezza e costo (in termini di risorse GPU) adattivamente. Il sistema si basa su tre pilastri fondamentali:

1. Scaling dell'Accuratezza per Attività: Per ogni attività nel grafo, il sistema può scegliere tra diverse varianti di modello (es. ResNet-18 vs ResNet-101, o modelli quantizzati) che offrono compromessi diversi tra accuratezza, latenza e costo computazionale.
2. Partizionamento Spaziale dei GPU: Utilizza le funzionalità hardware dei GPU moderni (NVIDIA MIG e MPS) per dividere un singolo GPU fisico in più "segmenti" isolati. Questo permette di eseguire più istanze di modelli su un singolo GPU senza interferenze distruttive, massimizzando l'utilizzo.
3. Budgeting delle Risorse Guidato dal Grafo di Attività: A differenza dei sistemi che assegnano budget statici per attività, JIGSAWSERVE utilizza la struttura del DAG (fattori moltiplicativi tra le attività) per calcolare il carico di lavoro effettivo di ogni nodo e allocare le risorse di conseguenza.

Architettura del Sistema

Il sistema è composto da quattro componenti principali (Figura 1):

• Registration Handler: Registra il grafo delle attività, le varianti dei modelli e gli SLO.
• Profiler: Esegue un profiling offline per misurare latenza e throughput di tutte le combinazioni di varianti di modello, dimensioni dei segmenti GPU e dimensioni del batch.
• Controller: Il cuore del sistema. Utilizza un problema di Programmazione Lineare Intera Mista (MILP) per trovare la configurazione ottimale.
  • Input: SLO di latenza/accuratezza, domanda stimata, dati di profiling.
  • Variabili decisionali: Numero di istanze per ogni variante di modello, tipo di segmento GPU e dimensione del batch.
  • Vincoli: Rispetto degli SLO di latenza (considerando i ritardi di coda), accuratezza globale (calcolata come prodotto delle accuratezze lungo i percorsi) e limite totale delle "fette" (slices) GPU disponibili.
  • Obiettivo: Massimizzare l'accuratezza globale minimizzando l'uso delle risorse GPU.
• Frontend: Gestisce le richieste dei client, traccia la domanda e instrada le richieste al primo nodo del grafo.

Inoltre, il sistema implementa meccanismi di early dropping: se una richiesta non può rispettare lo SLO di latenza nemmeno con il modello più veloce, viene scartata preventivamente per evitare di bloccare le risorse.

3. Contributi Chiave

1. Framework Unico: JIGSAWSERVE è il primo sistema a combinare scaling dell'accuratezza, partizionamento spaziale dei GPU e budgeting guidato dal grafo di attività.
2. Valutazione Analitica: Dimostra che il partizionamento spaziale (S) offre il singolo guadagno maggiore (5.25x rispetto a un sistema non ottimizzato), seguito dallo scaling dell'accuratezza (A: 1.6x) e dal budgeting guidato dal grafo (T: 1.1x). La combinazione completa (A+S+T) raggiunge un aumento di capacità di 21.6x rispetto a un sistema non ottimizzato.
3. Superiorità rispetto allo Stato dell'Arte: Rispetto al lavoro più vicino (Loki, che considera A+T ma non la partizionamento spaziale), JIGSAWSERVE offre una capacità di servizio 11.3 volte superiore a parità di risorse.
4. Efficienza Empirica: In scenari reali, JIGSAWSERVE soddisfa gli SLO di accuratezza con meno del 0.6% di violazioni della latenza, utilizzando in media solo il 43.3% delle risorse GPU disponibili.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un server con 4 GPU NVIDIA H100, valutando tre applicazioni composite (Social Media, Analisi del Traffico, Assistente AR).

• Capacità di Servizio: JIGSAWSERVE gestisce una domanda massima (richieste al secondo) significativamente superiore rispetto a qualsiasi combinazione parziale delle sue funzionalità o rispetto ai sistemi baselines (come Loki, Clover, ParvaGPU).
• Utilizzo delle Risorse: Mentre le soluzioni alternative (es. S+T o A+T) spesso superano il 10% di violazioni degli SLO o utilizzano più del doppio delle risorse per gestire la stessa domanda, JIGSAWSERVE mantiene un utilizzo medio del 43.3%.
• Scelta delle Configurazioni: Il MILP seleziona dinamicamente varianti di modelli meno accurate per attività meno critiche (per risparmiare risorse) e assegna segmenti GPU specifici (es. istanze MIG 1/7 con diversa concorrenza MPS) in base al carico effettivo, evitando lo spreco di GPU intere per task leggeri.

5. Significato e Impatto

Questo lavoro dimostra che l'ottimizzazione congiunta di accuratezza, partizionamento hardware e struttura del grafo è fondamentale per l'efficienza dei sistemi di inferenza compositi.

• Per la comunità ML: Sottolinea l'importanza di rilasciare multiple varianti di modelli per ogni architettura, permettendo flessibilità tra prestazioni e accuratezza.
• Per i vendor GPU: Evidenzia la necessità di sviluppare e prioritizzare meccanismi di partizionamento spaziale (come MIG) per datacenter, poiché sono essenziali per ridurre i costi operativi.
• Impatto Economico: Riducendo drasticamente il consumo di risorse GPU (fino al 56% in meno rispetto alle alternative) mantenendo gli SLO, JIGSAWSERVE offre un percorso per rendere economicamente sostenibile il deployment su larga scala di applicazioni complesse come XR e sistemi multi-agente.

In sintesi, JIGSAWSERVE rappresenta un salto qualitativo nel serving di inferenza, trasformando i datacenter GPU da infrastrutture sottoutilizzate a sistemi ad alta densità e adattivi.