Strait: Perceiving Priority and Interference in ML Inference Serving

1. Enunciato del Problema

I sistemi di serving per l'inferenza di Machine Learning (ML) affrontano sfide significative quando vengono distribuiti in scenari on-premises sotto un elevato utilizzo della GPU, in particolare per quanto riguarda la priorità dei task e la soddisfazione delle scadenze.

• Prioritizzazione Insufficiente: I sistemi esistenti (ad esempio TensorFlow Serving, NVIDIA Triton) spesso mancano di un supporto robusto per la prioritizzazione di task critici (ad esempio monitoraggio della sicurezza, controllo qualità) rispetto a quelli meno critici. Sebbene possano supportare le priorità dei stream CUDA, questi suggerimenti hardware sono spesso inefficaci perché i kernel concorrenti continuano a contendere le risorse condivise, potenzialmente causando che i task ad alta priorità (HP) subiscano gravi interferenze o manchino le scadenze.
• Interferenza Imprevedibile: La pianificazione attuale si basa spesso sulla condivisione temporale (esecuzione sequenziale) o sulla condivisione spaziale statica (esecuzione concorrente).
  • La condivisione temporale soffre di blocco in testa alla coda (Head-of-Line, HOL) e sottoutilizzo.
  • La condivisione spaziale migliora l'utilizzo ma introduce interferenza durante l'esecuzione concorrente dei kernel e i trasferimenti di dati. Questa interferenza è non lineare e difficile da stimare, portando a latenze imprevedibili e violazioni delle scadenze.
• Mancanza di Preemption: Le GPU commerciali generalmente non supportano la vera preemption a livello di task. Una volta inviato un batch, non può essere interrotto. Pertanto, le decisioni di pianificazione devono essere prese proattivamente per evitare di violare le scadenze, richiedendo una stima accurata della latenza sotto interferenza.

2. Metodologia: Il Sistema Strait

Strait è un sistema di serving per l'inferenza progettato per migliorare la soddisfazione delle scadenze per il traffico a doppia priorità (Alta Priorità e Bassa Priorità) modellando e gestendo esplicitamente l'interferenza.

A. Architettura del Sistema

Strait opera localmente su un nodo con più GPU. È composto da:

1. Scheduler Consapevole della Priorità: Gestisce le code dei task per diversi modelli, assegnando loro lo stato HP o LP.
2. Motore di Previsione dell'Interferenza: Un modello globale che stima i ritardi di latenza causati dall'interferenza nel trasferimento dati e nell'esecuzione del kernel.
3. Ciclo di Apprendimento Adattivo: Aggiorna continuamente il modello di previsione basandosi sul feedback runtime per gestire la deriva del carico di lavoro e le variazioni hardware.

B. Modellazione dell'Interferenza

Strait scompone la latenza di inferenza ($T_{inf}$) in quattro componenti:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. Interferenza nel Trasferimento Dati ($T_{data}$):

   • Modellata basandosi sull'osservazione che i trasferimenti dati PCIe con memoria bloccata (pinned memory) seguono un processo FIFO.
   • I ritardi sono calcolati in base al tempo di completamento del batch precedente sul link PCIe.
   • L'interferenza nei trasferimenti a valle è spesso trascurabile a causa delle piccole dimensioni dell'output.

2. Interferenza nell'Esecuzione del Kernel ($T_{kernel}$):

   • Modello di Previsione: Utilizza un modello di crescita esponenziale adattivo per stimare il rallentamento. L'intuizione è che l'interferenza aumenta lentamente a bassa pressione delle risorse ma accelera in modo super-lineare man mano che la pressione aumenta (superando la capacità della GPU di nascondere la latenza).
   • Input: Il modello utilizza medie ponderate nel tempo delle metriche di throughput delle risorse (ad esempio cache L1/L2, DRAM, Tensor Cores, CUDA Cores) dai batch co-localizzati.
   • Coefficiente di Priorità: Include un parametro apprendibile ($coeff_p$) per riflettere il fatto che i task HP possono subire meno interferenza rispetto ai task LP sotto pressione identica a causa della prioritizzazione degli stream CUDA.
   • Adattamento: Il modello utilizza l'ottimizzazione Adam e la perdita Huber per aggiornare i parametri online. Si ricalibra in base alla discrepanza tra la latenza di esecuzione del kernel prevista e quella effettiva, garantendo robustezza contro la deriva concettuale (ad esempio, cambi di architetture di modelli o tipi di GPU).

C. Algoritmo di Pianificazione Consapevole della Priorità

Lo scheduler impiega una ricerca binaria per determinare la dimensione ottimale del batch e l'assegnazione della GPU. Impone due vincoli principali:

1. Nessuna Violazione di Priorità Superiore/Uguale: Un nuovo batch viene schedulato solo se non causa ai task HP o a priorità uguale in corso di mancare le proprie scadenze.
2. Fattibilità della Scadenza Propria: Il nuovo batch deve essere in grado di rispettare la propria scadenza, stimata in modo conservativo (assumendo che venga eseguito a metà del throughput di runtime della GPU).
3. Limitazione (Throttling) LP: Per proteggere i task HP, il sistema limita dinamicamente il throughput aggregato dei task LP ($C_{low}$) utilizzando una politica Additive-Increase Multiplicative-Decrease (AIMD). Se un task HP manca una scadenza, $C_{low}$ viene reimpostato a una linea di base conservativa.

3. Contributi Chiave

1. Pianificazione Consapevole dell'Interferenza: Strait è il primo sistema a integrare la previsione esplicita dell'interferenza (sia trasferimento dati che esecuzione kernel) direttamente nella decisione di pianificazione per il traffico ML a doppia priorità.
2. Modello di Previsione Adattivo: Propone un nuovo modello di regressione auto-adattivo che impara dinamicamente i modelli di contesa delle risorse, superando i limiti dei modelli statici che falliscono quando i carichi di lavoro o l'hardware cambiano.
3. Gestione della Priorità senza Preemption: Dimostra come ottenere una prioritizzazione efficace dei task su GPU non preemtive bloccando o limitando proattivamente i task a bassa priorità per proteggere le scadenze ad alta priorità.
4. Valutazione Completa: Fornisce una valutazione rigorosa rispetto a baseline all'avanguardia, inclusa la condivisione temporale, la condivisione spaziale statica/reattiva e la preemption definita dal software (XSched).

4. Risultati della Valutazione

Gli esperimenti sono stati condotti su GPU NVIDIA L4 utilizzando diversi modelli DNN (ResNet, ViT, YOLO, RoBERTa) sotto tracce stocastiche, uniformi e di produzione.

• Soddisfazione delle Scadenze:
  • Strait riduce le violazioni delle scadenze per i task ad Alta Priorità da 1,02 a 11,18 punti percentuali rispetto agli approcci esistenti di condivisione spaziale e preemption.
  • Incurisce in un compromesso prestazionale accettabile per i task a Bassa Priorità (peggioramento nel caso peggiore di soli 0,61 punti percentuali).
• Confronto con la Preemption (XSched):
  • Rispetto a XSched (un sistema di preemption a livello di kernel), Strait ottiene una soddisfazione delle scadenze HP comparabile ma offre prestazioni più eque per i task LP.
  • XSched soffre di blocco HOL per i task LP quando le richieste HP dominano, mentre la pianificazione proattiva di Strait evita questo gestendo la concorrenza e le dimensioni dei batch.
• Adattabilità:
  • Il modello di previsione adattivo supera significativamente i modelli statici durante la transizione tra diversi insiemi di modelli (CNN vs Transformer) o architetture GPU (Ada Lovelace vs Ampere vs Hopper), riducendo gli errori di previsione p99 da 7,2 a 8 punti percentuali.
• Sovraccarico:
  • Il sovraccarico di pianificazione è minimo (decine di microsecondi), rendendolo adatto al serving in tempo reale.

5. Significato

Strait affronta un divario critico nell'infrastruttura ML on-premises dove la latenza deterministica e la prioritizzazione dei task sono fondamentali (ad esempio automazione industriale, sistemi di sicurezza). Passando dalla gestione reattiva delle risorse alla percezione proattiva dell'interferenza, Strait abilita:

• Affidabilità Superiore: Garantire che i task critici rispettino scadenze rigorose anche sotto carico pesante.
• Migliore Utilizzo delle Risorse: Consentire una condivisione spaziale sicura senza l'imprevedibilità che solitamente costringe i sistemi a fare affidamento sulla condivisione temporale inefficiente.
• Scalabilità: L'approccio è ortogonale al ridimensionamento automatico a livello di cluster e può essere integrato negli stack di serving esistenti (come Triton) per migliorare le loro capacità di gestione della priorità senza richiedere supporto hardware specializzato per la preemption.

In sintesi, Strait fornisce un framework robusto per gestire i complessi compromessi tra concorrenza, interferenza e priorità nel moderno serving di inferenza accelerato da GPU.