Riepilogo Tecnico: Un Framework Teorico delle Code per l'Analisi di Stabilità dell'Inferenza LLM con Vincoli di Memoria KV Cache

Enunciato del Problema

La rapida adozione dei Modelli Linguistici di Grande Dimensione (LLM) ha creato sfide significative per un'inferenza efficiente su larga scala. A differenza dei carichi di lavoro tradizionali, l'inferenza LLM è vincolata da un doppio collo di bottiglia: la capacità computazionale e l'overhead di memoria dell'archiviazione Key-Value (KV). Sebbene la cache KV acceleri la decodifica riutilizzando le rappresentazioni dei token generati in precedenza, essa consuma una quantità sostanziale di memoria GPU, diventando spesso il vincolo di capacità primario.

I modelli di coda esistenti per l'inferenza LLM si concentrano tipicamente sui limiti computazionali o trattano la memoria come un vincolo statico, non riuscendo a catturare l'interazione dinamica tra calcolo e crescita della memoria durante il processo di inferenza. Nello specifico, mentre una richiesta progredisce attraverso la fase di prompt (prefill) e la generazione di token (decode), il suo footprint di memoria evolve linearmente. Se il tasso di arrivo delle richieste supera il tasso di servizio effettivo del sistema — determinato congiuntamente dalla potenza di calcolo GPU e dalla memoria KV cache disponibile — le code crescono senza limiti, portando a instabilità del sistema, latenza inaccettabile e degrado dell'esperienza utente. Manca un quadro teorico rigoroso che incorpori esplicitamente questi vincoli di memoria dinamici per determinare le condizioni di stabilità e guidare il provisioning delle GPU.

Metodologia

Gli autori propongono un nuovo framework teorico delle code che modella l'inferenza LLM come un sistema di code a tempo discreto, conservativo del lavoro, soggetto a un vincolo rigido di memoria KV cache ($M$).

1. Modello di Sistema

• Struttura della Richiesta: Ogni richiesta $i$ consiste in un prompt di dimensione $s_i$ e una risposta di lunghezza $o_i$, campionati da una distribuzione congiunta $F_{in-out}$.
• Fasi di Elaborazione:
  • Fase Prompt: I prompt vengono elaborati in blocchi di dimensione fissa ($\hat{s}$). L'utilizzo di memoria per il $j$-esimo blocco di un prompt cresce linearmente ($j \times \hat{s}$).
  • Fase Decode: Man mano che i token vengono generati sequenzialmente, l'utilizzo di memoria aumenta di una quantità di cache KV pari a un token per ogni passo. La memoria totale per una richiesta raggiunge $s_i + o_i$ al completamento.
• Vincolo di Memoria: Il sistema deve soddisfare $\sum_{i \in S(t)} (c_i^{(t)}\hat{s} + d_i^{(t)}) \le M$ in ogni istante $t$, dove $S(t)$ è l'insieme delle richieste attive, $c_i^{(t)}$ è l'indice del blocco di prompt elaborato e $d_i^{(t)}$ è l'indice del token di output elaborato.
• Pianificazione: Il framework assume il batching continuo e politiche conservatrici del lavoro (ad esempio, First-Come-First-Served), dove il server elabora il prompt di priorità successivo non appena la capacità lo consente.

2. Derivazione Teorica

Gli autori definiscono l'utilizzo cumulativo di memoria nel tempo di vita $g(s, o)$ per una singola richiesta, rappresentante l'area totale di memoria consumata durante l'intero tempo di servizio della richiesta.
$$g(s, o) := \sum_{k=1}^{s/\hat{s}} k\hat{s} + \sum_{j=1}^{o} (s+j)$$
Sulla base di ciò, derivano il tasso di servizio stabile massimo $\mu$:
$$\mu = \frac{M}{\bar{b} \mathbb{E}_{s,o \sim p(s,o)}[g(s, o)]}$$
dove $\bar{b}$ è il tempo di elaborazione del batch normalizzato.

3. Analisi di Stabilità

Utilizzando un argomento di deriva di Lyapunov adattato alle dinamiche di memoria lineari a tratti degli LLM, il documento stabilisce due teoremi chiave:

• Instabilità: Se il tasso di arrivo $\lambda > \mu$, il sistema è sovraccarico e il numero di richieste cresce all'infinito.
• Stabilità: Se $\lambda < \mu(1 - \delta)$, dove $\delta = \frac{\text{ess sup}(s+o)}{M} \ll 1$ rappresenta il margine di memoria richiesto per ospitare il singolo lavoro più grande, il sistema è stabile (catena di Markov ricorrente positiva).

Contributi Chiave

1. Modellazione Innovativa: Il documento introduce il primo modello di code per l'inferenza LLM che integra esplicitamente sia la domanda computazionale sia i vincoli dinamici di memoria GPU governati dalla cache KV. Generalizza i modelli precedenti aggiungendo la consapevolezza della memoria e affinando le impostazioni di pianificazione con fasi di prefill a blocchi.
2. Condizioni di Stabilità Rigorose: Gli autori derivano condizioni di stabilità e instabilità in forma chiusa. Questi risultati forniscono una base fondativa per determinare il throughput sostenibile massimo di un sistema di servizio LLM sotto carichi di lavoro stocastici.
3. Validazione Empirica: Le previsioni teoriche sono state validate attraverso esperimenti estesi in ambienti di produzione reali con GPU (NVIDIA A100), coprendo sia configurazioni single-GPU sia multi-GPU (data-parallel).

Risultati Sperimentali

Gli autori hanno condotto esperimenti utilizzando il modello Meta-Llama-3-8B su un banco di prova con 8 GPU e il motore di inferenza vLLM.

• Accuratezza: Il tasso di servizio teorico $\mu_{theory}$ corrisponde strettamente al tasso misurato empiricamente $\mu_{gpu}$. Attraverso vari rapporti prompt-to-decode (P/D) (1:1, 2:1, 1:2) e un dataset reale (LongBench v2), l'errore di previsione (Gap Absolute Percentage) è rimasto entro il 10% (specificamente variando dal 2,25% all'8,38%).
• Scalabilità Multi-GPU: In una configurazione di cluster con 8 GPU, il modello teorico si è scalato linearmente, raggiungendo un divario di soli 3,38% tra i tassi previsti e osservati.
• Dinamiche di Stabilità: Gli esperimenti hanno confermato che quando $\lambda < \mu$, le lunghezze delle code sono rimaste limitate (ad esempio, $\le 5$ per una singola GPU), mentre $\lambda > \mu$ ha portato a una crescita lineare e illimitata delle code.

Significato e Affermazioni

Il documento afferma di fornire un potente strumento per il deployment del sistema e il provisioning delle risorse. Combinando un tasso di arrivo delle richieste stimato con il tasso di servizio stabile derivato, gli operatori possono calcolare la dimensione necessaria del cluster per:

• Evitare costosi acquisti eccessivi (GPU inattive).
• Prevenire sottoprovvisioni che violano le prestazioni (code illimitate e picchi di latenza).

Gli autori sottolineano che il loro framework offre una "base fondativa" per la pianificazione della capacità, permettendo ai professionisti di bilanciare quantitativamente capacità e domanda. Osservano che, sebbene il loro lavoro attuale si concentri su deployment data-parallel, il framework può essere esteso al tensor parallelism regolando i parametri di memoria efficace e tempo di batch, sebbene il pipeline parallelism e la disaggregazione richiedano ulteriori studi. I risultati confermano che l'inclusione delle dinamiche di memoria nei modelli di code è essenziale per un'analisi di stabilità accurata nei moderni sistemi di servizio LLM.