🤖 AI

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs

Coral è un sistema di servizio multi-LLM adattivo e consapevole dell'eterogeneità che ottimizza congiuntamente l'allocazione delle risorse e le strategie di servizio su diverse GPU cloud, ottenendo una riduzione dei costi fino a 2,79 volte e un goodput superiore di 2,39 volte mediante una decomposizione in due fasi senza perdita per abilitare un processo decisionale rapido e quasi ottimale.

Autori originali: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Pubblicato 2026-05-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire una cucina di ristorante di lusso e di grandi dimensioni. In passato, tutti pensavano che per preparare ogni singolo piatto servisse lo chef più costoso e di fascia alta e il fornello più grande e veloce. Ma nel mondo dei Large Language Models (LLM) — i cervelli artificiali dietro chatbot e generatori di codice — le cose sono cambiate. Nessun singolo "modello AI" è il migliore in tutto: alcuni sono eccellenti nella scrittura di codice, altri nel conversare, e alcuni sono semplicemente bravi in compiti semplici.

Inoltre, la "cucina" (i server cloud) è un caos di attrezzature diverse. Hai fornelli super veloci e costosi come gli "H100", ma spesso sono esauriti. Hai anche fornelli più vecchi ed economici come gli "L4" o gli "A100", disponibili e, sorprendentemente, offrono altrettanta potenza di cottura per ogni dollaro speso.

Il problema è: come si gestisce una cucina con 46 ricette diverse (modelli) utilizzando un mix di fornelli costosi ed economici, senza sprecare denaro o far aspettare i clienti?

Questo è il problema che Coral risolve.

Il vecchio metodo: l'errore della "taglia unica"

I sistemi precedenti tentavano di risolvere il problema trattando ogni piatto come una scatola nera. Dicevano: "Per il piatto della scrittura di codice, serve un intero fornello H100. Per il piatto della conversazione, serve un A100". Non guardavano dentro la ricetta per vedere se fosse possibile combinare parti diverse del fornello.

Ciò ha portato a due grandi problemi:

Denaro sprecato: Spesso acquistavano l'attrezzatura più costosa anche quando una combinazione più economica avrebbe funzionato altrettanto bene.
Colli di bottiglia: Se i fornelli costosi si esaurivano, l'intera cucina si fermava, anche se c'erano molti fornelli più economici che rimanevano inutilizzati.

La soluzione Coral: lo chef "intelligente che combina"

Coral è come uno chef capo geniale che si rende conto che un singolo piatto non deve essere cucinato su un solo tipo di fornello. Invece, Coral suddivide il processo di cottura in fasi e assegna il fornello perfetto a ciascuna fase.

Ecco come funziona, usando una semplice analogia:

1. La strategia a due fasi (Offline vs Online)

Coral divide il suo ragionamento in due parti per evitare di essere sopraffatto:

Fase 1: Il libro delle ricette (Offline)
Prima che il ristorante apra, Coral dedica tempo a creare un enorme "Libro delle Ricette". Per ogni possibile piatto (modello) e ogni possibile combinazione di fornelli (GPU), calcola il modo assoluto migliore per cucinarlo.
- Esempio: Capisce che per il piatto "Qwen-3 235B", il modo migliore per cucinare la prima parte (prefill) è utilizzare tre fornelli economici L40S e due fornelli costosi H100, disposti in una specifica sequenza.
- Scrive queste "ricette" perfette sotto forma di Modelli di Servizio. Questo richiede molto tempo, ma deve accadere solo una volta.
Fase 2: Il turno quotidiano (Online)
Quando il ristorante apre e iniziano ad arrivare gli ordini, Coral non si ferma a capire come cucinare da zero. Si limita a consultare il suo Libro delle Ricette.
- Controlla: "Abbiamo 5 L40S e 2 H100 disponibili in questo momento. Dobbiamo preparare 100 piatti Qwen-3".
- Sceglie istantaneamente la ricetta precalcolata che si adatta a quei fornelli specifici e soddisfa i requisiti di velocità del cliente.
- Poiché i calcoli complessi sono stati eseguiti in precedenza, Coral può prendere queste decisioni in secondi, non in ore. Ciò permette alla cucina di adattarsi istantaneamente se un fornello si rompe o se arriva un'ondata di nuovi ordini.

2. L'analogia del "lavoro di squadra"

Immagina di avere due squadre di lavoratori (due diversi modelli AI) e una fornitura limitata di strumenti (GPU).

Il vecchio metodo: La Squadra A si prende tutti gli strumenti migliori perché sono la squadra "migliore". Alla Squadra B rimangono strumenti rotti e non riesce a finire il lavoro.
Il metodo Coral: Coral guarda il quadro generale. Si rende conto che la Squadra A può effettivamente svolgere il proprio lavoro perfettamente bene con un mix di strumenti buoni e accettabili, se riorganizzano il loro flusso di lavoro. Questo libera gli strumenti migliori per la Squadra B. Entrambe le squadre finiscono il lavoro in tempo e nessuno strumento viene sprecato.

Perché questo è importante

Il documento ha testato Coral con 6 diversi modelli AI e 20 diversi tipi di chip informatici (GPU). I risultati sono stati impressionanti:

Più economico: Coral ha ridotto il costo di esecuzione di questi modelli AI fino a 2,79 volte rispetto ai migliori metodi esistenti. È come pagare 100 dollari per un pasto e pagare solo 36 dollari per la stessa qualità.
Più veloce (quando le risorse sono scarse): Quando la "cucina" è affollata e gli strumenti sono difficili da trovare, Coral è riuscito a servire 2,39 volte più clienti rispetto alla concorrenza senza rallentare.

La conclusione

Coral è un sistema che smette di trattare i modelli AI come macchine rigide a blocco unico. Invece, li tratta come ricette flessibili che possono essere cucinate su un mix di attrezzature vecchie e nuove. Pianificando in anticipo la "combinazione perfetta" e applicandola rapidamente in tempo reale, risparmia enormi quantità di denaro e mantiene l'AI funzionante senza intoppi, anche quando l'approvvigionamento hardware è incerto.

In sintesi: Coral è il manager intelligente che sa come utilizzare un mix di strumenti costosi ed economici per portare a termine il lavoro più velocemente e a costi inferiori rispetto a chiunque altro.

Riepilogo Tecnico: Coral – Servizio Multi-LLM Efficiente in Costo su GPU Cloud Eterogenee

1. Enunciato del Problema

Il panorama del deployment dei Modelli Linguistici su Grande Scala (LLM) è sempre più frammentato, senza un singolo modello dominante; invece, i provider devono servire contemporaneamente più modelli, ciascuno con architetture distinte e compromessi costo-qualità specifici. Parallelamente, i provider cloud offrono un mix eterogeneo di generazioni di GPU (dalle H100 di fascia alta alle A100 di fascia media e alle L4 più vecchie). Sebbene l'hardware di fascia alta offra prestazioni massime, le GPU di fascia media e quelle più vecchie spesso forniscono prestazioni-per-dollaro comparabili o superiori e una migliore disponibilità.

La sfida centrale affrontata da Coral è il servizio efficiente in costo e adattivo di più LLM su risorse cloud eterogenee. Ciò richiede l'ottimizzazione congiunta di due decisioni strettamente accoppiate:

Allocazione delle Risorse: Determinare quali nodi provisionare tra diverse regioni cloud.
Posizionamento del Modello: Decidere come partizionare ciascun modello su quei nodi eterogenei (ad esempio, tramite parallelismo di pipeline e parallelismo di dati).

I sistemi esistenti non riescono ad affrontare questo problema end-to-end. I lavori precedenti ottimizzano o l'allocazione delle risorse assumendo repliche omogenee (ignorando l'ottimizzazione del posizionamento) o il posizionamento per un singolo modello su un insieme fisso di nodi (ignorando l'allocazione globale). Un'ottimizzazione congiunta per forza bruta è intrattabile a causa dello spazio di ricerca esponenziale di entrambe le dimensioni e della necessità di una risoluzione rapida (minuti, non ore) per adattarsi alla domanda fluttuante e ai prezzi delle risorse.

2. Metodologia

Coral introduce un sistema adattivo e consapevole dell'eterogeneità che scompone il problema di ottimizzazione congiunta in una decomposizione in due fasi senza perdite.

Insight Chiave: Modelli di Servizio

Coral osserva che, per un modello fisso e un Obiettivo di Livello di Servizio (SLO) di latenza definito, il posizionamento del modello che massimizza il throughput su un insieme specifico di nodi dipende solo da quella combinazione di nodi, indipendentemente da come il resto del cluster è allocato. Ciò consente di spostare la ricerca del posizionamento offline.

Fase 1: Generazione Offline dei Modelli di Servizio

Processo: Per ogni coppia (modello, SLO), Coral enumera un sottoinsieme principiato di combinazioni di nodi. Per ogni combinazione, utilizza un Programma Lineare Intero (ILP) per calcolare il posizionamento del modello che massimizza il throughput (partizionamento dei layer e assegnazione dei nodi) soddisfacendo l'SLO di latenza.
Output: Una Libreria di Modelli di Servizio. Ogni modello è un artefatto riutilizzabile che specifica una combinazione di nodi e la sua strategia di posizionamento ottimale.
Ottimizzazione: L'ILP massimizza il throughput soggetto a vincoli di latenza. Per gestire la complessità combinatoria, Coral riduce lo spazio di ricerca limitando il numero massimo di nodi per modello ( $N_{max}$ ) e il rapporto totale di memoria ( $\rho$ ) rispetto alle dimensioni del modello, poiché combinazioni più grandi spesso comportano costi di comunicazione proibitivi.

Fase 2: Allocazione Online delle Risorse

Processo: L'allocatore di risorse online interroga periodicamente la Libreria di Modelli di Servizio pre-calcolata. Risolve un secondo ILP leggero per determinare quali modelli istanziare tra le regioni per soddisfare la domanda di throughput corrente al costo minimo.
Input: Domanda di throughput in tempo reale, disponibilità di GPU e prezzi tra le regioni.
Obiettivo: Minimizzare il costo totale di provisioning più una penalità di inizializzazione (per scoraggiare un turnover eccessivo) rispettando i vincoli di throughput e disponibilità.
Efficienza: Spostando la complessa ricerca del posizionamento del modello fuori dal percorso critico, il solver online completa l'operazione in decine di secondi invece che in ore, consentendo al cluster di adattarsi a cambiamenti dinamici della domanda e dell'offerta.

Implementazione del Sistema

Coral è implementato come sistema runtime che utilizza ZeroMQ per il controllo, NCCL per la comunicazione intra-istanza e vLLM come motore di esecuzione. Supporta sia il servizio disaggregato che aggregato Prefill-Decode (PD). Un simulatore basato su eventi ad alta fedeltà, validato su hardware reale, è utilizzato per valutazioni su larga scala dove il provisioning fisico è proibitivo in termini di costi.

3. Contributi Chiave

Il documento rivendica i seguenti contributi:

Formulazione del Problema: Una formalizzazione del servizio multi-LLM consapevole dell'eterogeneità come ottimizzazione congiunta su allocazione delle risorse e posizionamento del modello sotto SLO di latenza per modello.
Decomposizione Senza Perdite: Un approccio innovativo in due fasi che utilizza Modelli di Servizio riutilizzabili per spostare la complessa ricerca del posizionamento offline, riducendo i tempi di risoluzione online da ore a decine di secondi senza sacrificare l'ottimalità.
Solver Scalabili: Solver basati su ILP sia per il posizionamento offline che per l'allocazione online, in grado di scalare a cluster di migliaia di nodi.
Sistema End-to-End: Un'implementazione completa di Coral e un simulatore validato per valutazioni su larga scala.
Validazione Empirica: Valutazione su 6 modelli e 20 configurazioni GPU che dimostra riduzioni significative dei costi e miglioramento del goodput.

4. Risultati

La valutazione è stata condotta su modelli diversi (da 14B a 235B parametri) e configurazioni GPU (inclusi H100, A100, L40S, L4, A10G) in condizioni di disponibilità delle risorse variabile.

Efficienza dei Costi: Coral riduce i costi di servizio fino a 2,79× rispetto alla migliore baseline (Homo, che utilizza repliche omogenee) e 2,66× rispetto a Cauchy (una baseline disaggregata PD) in configurazioni estese. Nelle configurazioni principali, le riduzioni sono state rispettivamente 1,62× e 1,60×.
Goodput in Scarsità: In condizioni di scarsa disponibilità di risorse, Coral fornisce fino a 2,39× di goodput superiore (token al secondo che soddisfano gli SLO) rispetto alle baseline. Ciò è ottenuto coordinando congiuntamente le risorse tra i modelli per risolvere le contese, mentre le baseline non riescono a soddisfare la domanda per modelli specifici.
Tempo di Risoluzione: L'ILP di allocazione delle risorse online risolve in media in 0,24 secondi (configurazione principale) e 9,68 secondi (configurazione estesa), ben dentro la finestra di adattamento richiesta.
Confronto con Helix: In un regime a modello singolo su un cluster eterogeneo fisso, Coral ha ridotto i costi del 21% e migliorato il throughput del 26% rispetto a Helix, soddisfacendo rigorosamente gli SLO di latenza.
Sensibilità: L'analisi mostra che l'efficienza dei costi dei modelli generati si stabilizza quando il limite di nodi ( $N_{max}$ ) è impostato a 6 e il rapporto di memoria ( $\rho$ ) a 12, giustificando la strategia di potatura.

5. Significato

Il documento sostiene che l'ottimizzazione congiunta dell'allocazione delle risorse e del posizionamento del modello è essenziale per un servizio multi-LLM efficiente in termini di costi. Trattando le repliche del modello come scatole nere su hardware omogeneo, i sistemi esistenti lasciano sul tavolo risparmi sostanziali e faticano sotto vincoli di risorse. Coral dimostra che l'eterogeneità intra-replica – mescolando diversi tipi di GPU all'interno di una singola replica del modello tramite parallelismo di pipeline e di dati ibridi – consente ai sistemi di adattare le istanze alle caratteristiche specifiche del carico di lavoro e agli SLO.

Il significato di Coral risiede nella sua capacità di rendere questa ottimizzazione congiunta trattabile e adattiva. Pre-calcolando i posizionamenti ottimali come modelli riutilizzabili, colma il divario tra l'ottimalità teorica della ricerca congiunta e la necessità pratica di una riconfigurazione rapida e online. Ciò consente ai provider cloud di sfruttare un inventario di GPU più ampio ed economicamente vantaggioso, mantenendo al contempo garanzie di latenza rigorose per carichi di lavoro LLM diversi e concorrenti.