Riepilogo Tecnico: DiLaServe

Definizione del Problema

I Modelli di Linguaggio a Diffusione (DLM) sono emersi come una promettente alternativa ai modelli linguistici autoregressivi (LLM), offrendo la capacità di generare più token in parallelo durante ogni fase di denoising. Questo parallelismo consente teoricamente un throughput di inferenza significativamente superiore rispetto alla generazione sequenziale dei token dei modelli autoregressivi. Tuttavia, l'implementazione dei DLM in sistemi di serving in produzione presenta sfide uniche che impediscono la realizzazione di questi guadagni di throughput nel rispettare rigorosi Obiettivi di Livello di Servizio (SLO) sulla latenza.

Le principali sfide identificate sono:

1. Compromesso Velocità-Qualità: I DLM utilizzano un processo di denoising basato sulla confidenza in cui i token vengono svelati solo se la loro confidenza prevista supera una soglia. Abbassare questa soglia riduce il numero di fasi di denoising (migliorando la velocità) ma rischia di svelare token errati (degradando la qualità). I sistemi esistenti mancano di meccanismi per regolare dinamicamente questa soglia per ogni richiesta al fine di bilanciare l'aderenza agli SLO con la qualità della generazione.
2. Compromesso Latenza-Throughput a livello di Cluster: I DLM sono computazionalmente intensivi per fase e beneficiano del Parallelismo Tensoriale (TP). Tuttavia, aumentare il grado di TP riduce la latenza per fase ma riduce il numero totale di istanze del modello che un cluster può supportare, riducendo di conseguenza il throughput aggregato. Le configurazioni statiche del cluster non riescono ad adattarsi ai carichi di lavoro fluttuanti, portando o a eccessivi ritardi di accodamento sotto carichi elevati o a una latenza subottimale sotto carichi bassi.
3. Eterogeneità dell'Approximate KV Caching: A differenza dei modelli autoregressivi, i DLM non possono utilizzare un KV caching esatto a causa dell'attenzione bidirezionale. Le recenti tecniche di approximate KV caching introducono costi computazionali non uniformi: le "fasi di cache" (riutilizzo degli stati KV) sono economiche, mentre le "fasi di ricalcolo" (aggiornamento degli stati KV) sono costose. I sistemi di serving devono tenere conto di questa eterogeneità a livello di fase per stimare accuratamente latenza e carico.

Metodologia

Gli autori presentano DiLaServe, un sistema di serving a livello di cluster progettato specificamente per i DLM. DiLaServe integra tre meccanismi principali per affrontare le sfide sopra descritte:

1. Regolazione Dinamica della Soglia di Confidenza

DiLaServe tratta la soglia di confidenza come una manopola di controllo per ogni richiesta.

• Selezione Consapevole degli SLO: Per ogni richiesta, il sistema prevede il numero di fasi di denoising rimanenti necessarie sotto diverse soglie candidate. Seleziona la soglia di confidenza più alta che assicura che la latenza rimanente stimata rientri nel budget SLO rimanente della richiesta.
• Controllo del Carico Adattivo: Per evitare che il carico aggregato superi la capacità del cluster (il che causerebbe ritardi di accodamento e violazioni degli SLO), il sistema limita la soglia di confidenza massima disponibile per ogni richiesta. Calcola il carico aggregato peggiore assumendo che tutte le richieste utilizzino la loro soglia massima consentita e assicura che questa somma rimanga entro la capacità di elaborazione del cluster.
• Predizione delle Fasi: Un modello di gradient boosting leggero, addestrato offline, predice le fasi di denoising rimanenti basandosi su caratteristiche di runtime (progresso dello svelamento, statistiche di confidenza dei token e lunghezza dell'output). Queste predizioni vengono aggiornate online man mano che la richiesta procede, riducendo significativamente l'errore di predizione rispetto alle stime "one-shot".

2. Scheduling a Grana Fine

DiLaServe pianifica le richieste alla granularità delle singole fasi di denoising.

• Selezione dell'Istanza: Lo scheduler assegna la fase di denoising successiva all'istanza del modello con il tempo di completamento della fase previsto più basso, considerando sia il carico attuale dell'istanza che il suo grado di Parallelismo Tensoriale.
• Migrazione: Le richieste possono essere migrate tra le istanze tra una fase e l'altra. Poiché le fasi di denoising sono stateless senza KV caching (o richiedono lo stato KV solo nelle fasi di ricalcolo), la migrazione è leggera. Ciò consente un bilanciamento del carico a grana fine e riduce la latenza della coda (tail latency).

3. Riconfigurazione del Cluster tramite Programmazione Lineare Intera (ILP)

Per adattarsi ai cambiamenti nei pattern di carico di lavoro, DiLaServe risolve periodicamente un ILP a due stadi:

• Stadio 1 (Pianificazione della Capacità): Determina il numero ottimale di istanze del modello a ogni grado di TP per massimizzare la soglia di confidenza media (e quindi la qualità) garantendo al contempo la sufficienza della capacità in regime stazionario e la soddisfazione degli SLO.
• Stadio 2 (Pianificazione della Riconfigurazione): Calcola un piano di migrazione per passare dalla configurazione attuale del cluster alla configurazione target con un overhead minimo, dando priorità alla preservazione delle istanze esistenti per ridurre al minimo l'interruzione del servizio.

4. Supporto per l'Approximate KV Caching

DiLaServe modella esplicitamente l'eterogeneità introdotta dall'approximate KV caching. Distingue tra "fasi di cache" e "fasi di ricalcolo" quando stima il carico della richiesta, la capacità del cluster e la latenza rimanente. Fondamentalmente, limita la migrazione delle richieste affinché avvenga solo durante le fasi di ricalcolo per evitare l'overhead di ricostruzione dei cache KV sull'istanza di destinazione.

Contributi Chiave

• Sistema DiLaServe: Il primo sistema di serving a livello di cluster progettato specificamente per i Modelli di Linguaggio a Diffusione, affrontando le uniche sfide di compromesso velocità-qualità e latenza-throughput inerenti all'architettura.
• Ottimizzazione Congiunta: Un approccio innovativo che ottimizza congiuntamente le soglie di confidenza per richiesta, il controllo del carico a livello di cluster e la riconfigurazione dinamica del cluster (allocazione del grado di TP).
• Integrazione dell'Approximate KV Caching: Un framework che incorpora i costi non uniformi dell'approximate KV caching nelle decisioni di scheduling e riconfigurazione, consentendo un serving efficiente senza sacrificare i benefici del caching.
• Predizione delle Fasi: Un meccanismo di predizione delle fasi online che sfrutta le caratteristiche di runtime per stimare accuratamente il lavoro rimanente, consentendo una selezione della soglia precisa e consapevole degli SLO.

Risultati

Gli autori hanno valutato DiLaServe su cluster da 16 GPU utilizzando tracce reali di serving di LLM (derivate da ShareGPT e BurstGPT) e benchmark di accuratezza standard (GSM8K, MMLU-Pro, MBPP). Il sistema è stato testato contro baseline adattate da sistemi di serving esistenti (INFaaS e Llumnix) che utilizzano soglie di confidenza fisse.

• Raggiungimento degli SLO: DiLaServe ha migliorato il raggiungimento degli SLO fino al 56,6% rispetto alle baseline sotto carichi elevati. Nelle valutazioni con tracce reali, ha ottenuto un miglioramento del 30,2%.
• Latenza: La latenza end-to-end della richiesta è stata ridotta fino al 46%.
• Qualità: Questi miglioramenti sono stati ottenuti con una degradazione minima dell'accuratezza, tipicamente inferiore all'1% (ad esempio, un calo dello 0,9% nell'accuratezza sotto carico elevato e un calo di 0,09 punti nei punteggi LLM-judge su dati conversazionali).
• Studi di Ablazione: Gli autori hanno dimostrato che sia la regolazione dinamica della soglia che il controllo del carico a livello di sistema sono critici; rimuovere il controllo del carico ha ridotto il raggiungimento degli SLO fino al 42,4% negli scenari ad alto carico. Allo stesso modo, la riconfigurazione ha migliorato significativamente le prestazioni attraverso vari livelli di carico.

Significato

Il paper sostiene che DiLaServe dimostra la fattibilità del serving dei Modelli di Linguaggio a Diffusione su scala, rispettando rigorosi requisiti di latenza. Modellando esplicitamente le caratteristiche uniche dei DLM — specificamente il processo di denoising basato sulla confidenza e l'approximate KV caching — DiLaServe sblocca il potenziale di throughput di questi modelli senza sacrificare la qualità della generazione o l'aderenza agli SLO. Il lavoro suggerisce che i meccanismi di controllo dinamico e consapevole della qualità siano essenziali per la prossima generazione di sistemi di serving di modelli linguistici, andando oltre le configurazioni statiche per adattarsi e bilanciare velocità, qualità e utilizzo delle risorse.