Riepilogo Tecnico: Provisioning Analitico per il Serving di LLM Disaggregati Attention–FFN sotto Carichi di Lavoro Stocastici

Enunciato del Problema

Il serving dei Large Language Model (LLM) affronta sfide significative di efficienza man mano che le dimensioni dei modelli aumentano. Sebbene la Disaggregazione Attention–FFN (AFD) sia emersa come un'architettura promettente per disaccoppiare i livelli Attention vincolati alla memoria (stati, dominati dalla cache KV) dai livelli FFN vincolati al calcolo (senza stato), determinare il rapporto ottimale di provisioning delle risorse rimane un problema aperto.

In una topologia AFD (denotata come $r$A–1F, dove $r$ istanze di Attention alimentano un'istanza FFN), le prestazioni del sistema sono altamente sensibili al rapporto $r$.

• Se $r$ è troppo piccolo, il server FFN va in carenza di input, portando a risorse di calcolo inattive.
• Se $r$ è troppo grande, le istanze di Attention si bloccano in attesa del server FFN condiviso, causando blocchi a livello di step e bolle nella pipeline.

I sistemi esistenti determinano tipicamente $r$ attraverso ricerche empiriche o approssimazioni deterministiche naive che ignorano la stocasticità del carico di lavoro. La difficoltà principale risiede nella natura dinamica del carico di lavoro Attention: a differenza del calcolo FFN, che dipende solo dalla dimensione del batch, la latenza di Attention evolve continuamente man mano che le cache KV crescono e le richieste vengono rifornite con prompt e lunghezze di decodifica casuali. Inoltre, l'esecuzione sincronizzata di più worker di Attention introduce un effetto "straggler" (ritardatario) governato dal worker più lento, creando una barriera di sincronizzazione difficile da modellare analiticamente.

Metodologia

Gli autori sviluppano un rigoroso framework probabilistico per derivare una regola di provisioning in forma chiusa per il rapporto ottimale A/F ($r^*$) sotto carichi di lavoro stocastici. La metodologia affronta due fonti primarie di casualità:

1. Evoluzione del Carico di Lavoro per Slot: Gli autori modellano il carico di token per slot utilizzando un'analisi di rinnovo-ricompensa a tempo discreto. Identificano una singola statistica del carico di lavoro, $\theta$ (il carico di token stazionario atteso per slot), che governa il provisioning. Questa statistica tiene conto dell'effetto di "bias di lunghezza", dove richieste più lunghe vengono campionate più frequentemente in passaggi di decodifica casuali. Crucialmente, $\theta$ e la sua varianza $\nu^2$ possono essere stimati in modo non parametrico dalle tracce delle richieste senza assumere famiglie distributive specifiche.
2. Sincronizzazione tra Worker: Per affrontare l'effetto barriera in cui il sistema attende il più lento tra $r$ worker, gli autori applicano una correzione statistica d'ordine Gaussiana. Modellano il carico totale sui $r$ worker come una somma di variabili casuali i.i.d. e approssimano il carico massimo utilizzando il valore atteso del massimo di $r$ variabili normali standard ($\kappa_r$).

L'analisi produce due regole di provisioning:

• Regola Mean-Field ($r^*_{mf}$): Una soluzione in forma chiusa derivata ignorando la barriera di sincronizzazione (assumendo un bilanciamento del carico perfetto). Questa regola si decompone in tre regimi: collo di bottiglia Attention, collo di bottiglia di comunicazione e collo di bottiglia FFN.
• Raffinamento Consapevole della Barriera ($r^*_G$): Un'ottimizzazione raffinata che incorpora il termine di sovraccarico di sincronizzazione ($\sqrt{B}\nu\kappa_r$) nell'approssimazione del tempo di ciclo. Questo viene risolto tramite un'ottimizzazione analitica unidimensionale combinata con una ricerca discreta.

Contributi Chiave

1. Modello di Carico di Lavoro Probabilistico: Il documento stabilisce un framework analitico che cattura le dinamiche stocastiche del serving AFD con batching continuo. Identifica $\theta$ come la statistica governativa per il provisioning, valida sotto distribuzioni arbitrarie di prompt e lunghezze di decodifica, e fornisce un estimatore non parametrico per $\theta$ e $\nu^2$ dalle tracce.
2. Regola di Provisioning in Forma Chiusa: Gli autori derivano un rapporto ottimale mean-field che bilancia esplicitamente i colli di bottiglia Attention, di comunicazione e FFN. Forniscono inoltre un raffinamento consapevole della barriera che quantifica il sovraccarico di sincronizzazione introdotto dai worker straggler, mostrando che tale sovraccarico cresce sub-logaritmicamente con $r$.
3. Validazione Calibrata su Tracce: Il team ha sviluppato un simulatore AFD calibrato con tracce reali e parametri hardware (in particolare NPU Huawei Ascend 910C). Hanno validato il framework su carichi di lavoro e configurazioni hardware diversificati.

Risultati

La validazione sperimentale dimostra un'alta accuratezza nella previsione del comportamento del sistema:

• Accuratezza del Rapporto Ottimale: Il rapporto ottimale previsto ($r^*_{mf} \approx 9.3$) corrisponde strettamente al rapporto ottimale della simulazione. La curva teorica del throughput segue bene i risultati della simulazione su tutte le configurazioni testate ($r \in \{1, 2, 4, 8, 16, 24, 32\}$).
• Margini di Errore: Il rapporto ottimale previsto corrisponde a quello ottimale della simulazione entro il 10%.
• Impatto degli Straggler: È stato osservato un gap residuo fino a ~15% nella previsione del throughput tra il modello mean-field e la simulazione per grandi valori di $r$. L'analisi consapevole della barriera spiega questa discrepanza, attribuendola al sovraccarico di sincronizzazione che raggiunge ~11% a $r=24$.
• Sensibilità ai Parametri: Studi di ablazione mostrano che l'$r^*$ ottimale aumenta con dimensioni di microbatch ($B$) più grandi e lunghezze totali del contesto più lunghe (sia prefill $\mu_P$ che decodifica $\mu_D$), poiché questi fattori aumentano la pressione computazionale sul lato Attention.

Significato e Affermazioni

Il documento afferma di fornire la prima fondazione analitica principiale per il provisioning dei sistemi AFD, andando oltre la ricerca empirica. Offrendo un resoconto compatto e calibrabile di come la struttura stocastica del carico di lavoro determini il provisioning, il framework permette ai progettisti di sistema di:

• Determinare il rapporto ottimale A/F senza un'estesa costruzione di sistemi o tentativi ed errori.
• Comprendere i compromessi tra scalabilità della memoria (Attention) e scalabilità del calcolo (FFN) sotto carichi di lavoro realistici e stocastici.
• Quantificare il costo delle barriere di sincronizzazione nelle architetture disaggregate.

Gli autori notano che, sebbene la validazione su sistemi reali sia lasciata a lavori futuri man mano che le implementazioni AFD maturano, l'attuale validazione basata su simulazione (utilizzando tracce da distribuzioni simili alla produzione) fornisce una forte conferma empirica della teoria. Il lavoro è presentato come un preprint (arXiv:2601.21351v2), indicando che è un contributo fondamentale al campo emergente del serving di LLM disaggregati.