ML Inference Scheduling with Predictable Latency

Riepilogo Tecnico: Scheduling dell'Inferenza ML con Latenza Prevedibile

Definizione del Problema
I sistemi di serving per l'inferenza di machine learning (ML) mirano a massimizzare l'utilizzo della GPU pur rispettando rigorosi Obiettivi di Livello di Servizio (SLO) o deadline. Per migliorare l'utilizzo, i sistemi spesso impiegano il batching dinamico (consolidamento delle richieste) e l'esecuzione di batch concorrenti (esecuzione simultanea di più batch su una singola GPU). Tuttavia, l'esecuzione concorrente introduce l'interferenza, poiché i batch competono per risorse GPU limitate (es. cache L2, DRAM, Tensor Core). Questa interferenza crea deviazioni imprevedibili della latenza, rendendo difficile garantire gli SLO.

Gli approcci esistenti alla predizione dell'interferenza soffrono di due limitazioni primarie:

1. Predizione a Grana Grossa (Coarse-Grained): Spesso ignorano la dinamica di co-locazione a runtime. Un batch può co-localizzarsi con diversi batch concorrenti per durate variabili durante la sua esecuzione. I modelli statici che assumono una singola fonte di interferenza costante non riescono a catturare questi spostamenti temporali, portando a predizioni imprecise.
2. Modelli Non Adattivi: Gli approcci esistenti si affidano tipicamente a modelli statici addestrati offline. Questi modelli degradano in termini di accuratezza quando le caratteristiche del carico di lavoro cambiano (es. vengono implementati nuovi modelli o cambiano i tassi di arrivo delle richieste), richiedendo un costoso riaddestramento e una nuova distribuzione.

Metodologia
Gli autori valutano queste limitazioni attraverso una serie di simulazioni ed esperimenti condotti su una GPU NVIDIA L4 utilizzando il motore di inferenza TensorRT.

• Configurazione Sperimentale: Lo studio utilizza un set diversificato di modelli DNN (CNN come ResNet-50, VGG-19, ConvNeXt-B; e Transformer come RoBERTa-B, ViT-B-16, YOLO-v8n). I carichi di lavoro seguono un processo di arrivo di Poisson, che spazia da carichi leggeri fino ai test di stress.
• Approccio Baseline: La valutazione adotta il metodo di predizione dell'interferenza di gpulets [7], che utilizza un modello di regressione lineare ($\hat{y} = w^T x + b$). Le feature di input ($x$) consistono nelle metriche medie di throughput delle risorse (throughput di cache L2, DRAM e SM) del batch interferito e del suo batch co-localizzato, profilate offline con NVIDIA Nsight Compute.
• Valutazione delle Limitazioni della Grana Grossa: Gli autori simulano scenari in cui le dinamiche di co-locazione cambiano (es. il Batch 2 si co-localizza brevemente con il Batch 1, poi per una lunga durata con il Batch 3). Confrontano:
  • Statico: Ignorando completamente le dinamiche (utilizzando lo stato iniziale del runtime).
  • Dinamica Parziale: Tracciando arrivi/partenze e applicando un livellamento (smoothing) al throughput tramite una Media Mobile Esponenzialmente Pesata (EWMA) con diversi fattori di smoothing ($\alpha$).
• Valutazione delle Limitazioni della Non-Adattività: Gli autori confrontano tre strategie di apprendimento attraverso diversi set di test (carichi variabili, nuovi modelli e carichi di lavoro eterogenei):
  • Apprendimento Offline: Un modello statico addestrato una sola volta su un dataset specifico.
  • Apprendimento Online (SGD): Aggiorna i pesi del modello a runtime utilizzando la Discesa del Gradiente Stocastico (Stochastic Gradient Descent).
  • Apprendimento Online (RLS): Aggiorna i pesi del modello utilizzando i Minimi Quadrati Ricorsivi (Recursive Least Squares).

Risultati Chiave

1. Impatto delle Dinamiche di Co-Locazione: Ignorare le dinamiche di co-locazione a runtime porta a errori di predizione significativi. Anche quando si tiene parzialmente conto delle dinamiche tramite EWMA, il modello di predizione mostra comunque deviazioni evidenti. Nella valutazione, sebbene oltre il 50% delle predizioni sia rientrato in un errore relativo del 20%, una parte significativa ha superato il 60% di errore. Gli autori attribuiscono ciò all'uso di valori di throughput delle risorse co-localizzate statici e inaccurati come feature di input, che non riflettono la reale pressione sulle risorse subita da un batch nel tempo.
2. Impatto dei Cambiamenti del Carico di Lavoro: I modelli statici soffrono di un degrado delle prestazioni sotto carichi di lavoro variabili.
   • Quando testati su nuovi modelli implementati (Test Set 2) non visti durante l'addestramento, il metodo di apprendimento offline ha mostrato un massiccio aumento dell'Errore Quadratico Medio (MSE) da 0.0355 a 0.5480.
   • I metodi di apprendimento online (sia SGD che RLS) hanno mitigato significativamente questo degrado, mantenendo MSE molto più bassi (0.4311 per SGD e 0.3467 per RLS).
   • RLS ha costantemente superato il semplice SGD, probabilmente grazie alla sua capacità di sfruttare l'informazione di curvatura per una convergenza più rapida, sebbene a un costo computazionale superiore.

Contributi Chiave

• Valutazione delle Limitazioni della Predizione: Il documento fornisce prove empiriche che i metodi di predizione dell'interferenza a grana grossa, che ignorano le dinamiche temporali di co-locazione, portano a sostanziali deviazioni di accuratezza.
• Valutazione dell'Adattabilità del Modello: Lo studio dimostra che i modelli di predizione statici degradano considerevolmente sotto carichi di lavoro variabili (concept drift), mentre gli approcci di apprendimento online possono sostenere l'accuratezza predittiva.
• Baseline per il Lavoro Futuro: Testando rigorosamente l'approccio gpulets, gli autori stabiliscono una baseline che mostra i fallimenti specifici dei modelli di predizione dell'interferenza allo stato dell'arte in ambienti di serving ML dinamici.

Significatività e Rivendicazioni
Gli autori sostengono con moderazione che il loro lavoro evidenzia lacune critiche nelle attuali strategie di predizione dell'interferenza. Argomentano che, affinché lo scheduling dell'inferenza ML possa raggiungere un alto utilizzo della GPU rispettando gli SLO, i meccanismi di predizione devono essere riprogettati per:

1. Considerare le dinamiche di co-locazione a runtime invece di fare affidamento su snapshot statici.
2. Incorporare capacità di apprendimento online per adattarsi all'evoluzione delle caratteristiche del carico di lavoro senza richiedere un riaddestramento completo.

Il documento si pone come una valutazione fondazionale ("Work in Progress") che identifica la necessità di modelli di predizione più sofisticati e adattivi e di migliori metriche delle risorse per abilitare un'inferenza ML realmente prevedibile.