Riepilogo Tecnico: Verso Scheduler LLM Multi-Modello: Insight Empirici su Offloading e Preemption

Enunciato del Problema

Le moderne distribuzioni di Large Language Model (LLM) richiedono sempre più la gestione di modelli eterogenei (che variano per architettura, dimensione e specializzazione) su hardware condiviso e con risorse limitate. Sebbene sistemi esistenti come vLLM ottimizzino il throughput per carichi di lavoro a modello singolo tramite il batching continuo e una gestione efficiente della cache Key-Value (KV), mancano di meccanismi per gestire la pianificazione multi-modello in condizioni di vincoli stretti sulla memoria GPU.

In ambienti così vincolati, due meccanismi critici diventano necessari ma sono poco compresi nel contesto multi-modello:

1. Offloading Parziale CPU-GPU: Spostare sottoinsiemi di livelli del modello nella memoria della CPU per adattare i modelli alla limitata VRAM GPU.
2. Preemption: Sospendere un job di inferenza in esecuzione per espellere il suo modello e stato, consentendo l'esecuzione di un job a priorità superiore, e successivamente riprendere il job originale.

La letteratura corrente spesso assume un degrado delle prestazioni lineare con l'offloading o tratta i costi di preemption come un sovraccarico monolitico e non quantificato. Manca un dato empirico che caratterizzi come questi fattori interagiscano attraverso diverse scale di modello, architetture e piattaforme hardware.

Metodologia

Gli autori hanno condotto uno studio empirico sistematico su due piattaforme hardware distinte che condividono un sottosistema CPU comune (AMD Threadripper PRO 5995WX) ma differiscono per architettura GPU:

• Piattaforma A: NVIDIA RTX 5000 Ada Generation (32 GB VRAM).
• Piattaforma B: NVIDIA RTX A6000 (48 GB VRAM).

Lo studio ha utilizzato un insieme diversificato di modelli (Llama 3 8B, Qwen3 32B, Llama 2 70B per l'offloading; Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B per la preemption) ed eseguito due principali scansioni sperimentali:

1. Scansione di Offloading a Livello di Layer:

   • Eseguita su Ollama (quantizzato Q4) e HuggingFace Transformers (FP16).
   • Variata la frazione di layer transformer posizionati sulla GPU da 0% (tutto CPU) a 100% (tutto GPU) in incrementi del 10%, con una granularità più fine vicino al 100%.
   • Misurato il throughput di decodifica (token/secondo) su varie lunghezze di output (da 50 a 5.000 token).

2. Benchmark di Preemption e Migrazione:

   • Simulato uno scenario di preemption "peggiore" in cui un Job A a esecuzione prolungata (che genera 7.000 token) viene interrotto a nove checkpoint (da 100 a 5.000 token).
   • Job A viene completamente scaricato (pesi e cache KV spostati nella memoria host), viene eseguito un Job B, e Job A viene ricaricato e ripreso.
   • Decomposto il sovraccarico totale di preemption nei suoi componenti costitutivi: trasferimento della cache KV (GPU→CPU), scaricamento del modello, ricaricamento del modello e ripristino della cache KV (CPU→GPU).
   • Testate varie coppie di modelli per isolare l'impatto della dimensione del modello preemptato rispetto alla dimensione del modello preemptante.

Contributi Chiave

Il paper fornisce tre contributi principali:

1. Valutazione Empirica Sistematica: Una caratterizzazione completa degli LLM all'avanguardia su hardware eterogeneo, dimostrando che le tendenze delle prestazioni relative all'offloading e al scaling sono coerenti tra modelli e sistemi.
2. Quantificazione dei Sovraccarichi: Analisi dettagliata delle implicazioni sulle prestazioni dell'offloading parziale e della preemption, identificando le fonti dominanti di latenza e costi di movimento dei dati.
3. Distillazione delle Funzionalità dello Scheduler: Un insieme di caratteristiche chiave derivate dai dati empirici che i futuri scheduler multi-modello devono incorporare per supportare efficacemente l'esecuzione ibrida CPU-GPU e la preemption.

Risultati Chiave

1. Degrado Non Lineare dell'Offloading

• Sensibilità del Modello: Il throughput di decodifica non scala linearmente con la percentuale di layer sulla GPU. Modelli più piccoli (es. Llama 3 8B) mostrano una sensibilità netta e non lineare alla ridotta residenza GPU, subendo penalità significative nel throughput anche con offloading moderato. Modelli più grandi (es. Llama 2 70B) mostrano un degrado più graduale, approssimativamente lineare.
• Interazione Hardware: Il divario di prestazioni relativo tra CPU e GPU impatta significativamente l'efficienza dell'offloading. Sulla RTX 5000 (minore throughput di picco), la penalità relativa dell'offloading è più piccola rispetto alla RTX A6000 (maggiore capacità di calcolo), dove l'offloading comporta un degrado relativo maggiore.
• Lunghezza della Sequenza: Prompt più lunghi amplificano l'impatto negativo dell'offloading a causa dell'aumentata pressione sulla memoria della cache KV e dei costi di accesso.

2. Composizione del Sovraccarico di Preemption

• Dominio del Ricaricamento del Modello: Il costo della preemption è schiacciantemente dominato dal ricaricamento dei pesi del modello dal disco alla memoria GPU. Questo componente rappresenta >98,5% del sovraccarico totale di preemption su entrambe le piattaforme hardware.
• Trascurabilità della Cache KV: Il trasferimento della cache KV (sia GPU→CPU che CPU→GPU) contribuisce per meno dell'1,5% del sovraccarico totale, anche per cache grandi (fino a ~950 MB).
• Costo Costante: Il sovraccarico di preemption è efficacemente costante indipendentemente dal progresso del job (numero di token generati). Il costo dipende quasi interamente dall'ingombro dei pesi del modello preemptato, non dalla dimensione della cache KV o dall'identità del modello preemptante.
  • Esempio: Sulla RTX 5000, il sovraccarico di preemption varia da ~3s (modello 3B) a ~7,3s (modello 14B).
• Varianza Hardware: La RTX A6000 ha dimostrato costi assoluti di preemption inferiori (trasferimento disco-GPU più veloce) rispetto alla RTX 5000, nonostante disponga di una VRAM maggiore.

3. Efficienza del Movimento dei Dati

• I tempi di trasferimento della cache KV scalano linearmente con la lunghezza della sequenza ma rimangono nell'ordine delle decine di millisecondi (es. <90ms per un trasferimento di ~950MB sulla RTX 5000).
• La larghezza di banda PCIe effettiva è limitata dai sovraccarichi di copia dei tensori per layer nel runtime PyTorch, raggiungendo solo 9–16 GB/s contro un picco teorico di 31,5 GB/s.

Significato e Affermazioni

Il paper sostiene che questi risultati empirici alterano fondamentalmente i requisiti di progettazione per gli scheduler LLM di prossima generazione:

• Rifiuto delle Assunzioni Lineari: Gli scheduler non possono fare affidamento su strategie di posizionamento proporzionali o uniformi. Devono tenere conto della sensibilità all'offloading specifica del modello e non lineare, in particolare per i modelli più piccoli dove l'offloading parziale è altamente dannoso.
• Penalità Fissa di Preemption: Contrariamente all'assunzione che i costi di preemption varino con il progresso del job, lo studio stabilisce che la preemption può essere modellata come una penalità fissa dipendente solo dall'ingombro dei pesi del modello e dalla coppia hardware. Questo semplifica la logica di scheduling, consentendo una modellazione dei costi prevedibile.
• Consapevolezza Hardware: Le decisioni di scheduling devono essere esplicitamente consapevoli dell'hardware, considerando non solo la capacità GPU ma il divario di calcolo specifico tra CPU e GPU, nonché le velocità di trasferimento disco-GPU.
• Cache KV vs Pesi: Lo studio chiarisce che l'ottimizzazione della migrazione della cache KV è secondaria rispetto all'ottimizzazione del caricamento/scaricamento dei pesi del modello per l'efficienza della preemption, poiché la prima è attualmente trascurabile nella struttura dei costi totali.

Gli autori concludono che i futuri scheduler devono integrare queste caratteristiche – curve di offloading non lineari, profili di architettura del modello, dinamiche della lunghezza della sequenza e costi di preemption fissi – per gestire in modo efficiente carichi di lavoro eterogenei e multi-modello in ambienti dinamici e con risorse limitate.