Technische Samenvatting: Analytische Provisioning voor Gedesaggregeerde LLM-Serving met Attention–FFN onder Stochastische Werklasten

Probleemstelling

Het serveren van Large Language Models (LLM) staat voor aanzienlijke efficiëntie-uitdagingingen naarmate de modelgroottes toenemen. Hoewel Attention–FFN-gedesaggregatie (AFD) is opgekomen als een veelbelovende architectuur om geheugen-gebonden Attention-lagen (toestandhoudend, gedomineerd door KV-cache) te ontkoppelen van reken-gebonden FFN-lagen (toestandsloos), blijft het bepalen van de optimale resource-provisioning-ratio een open probleem.

In een AFD-topologie (aangeduid als $r$A–1F, waarbij $r$ Attention-instanties één FFN-instantie voeden) is de systeemprestatie zeer gevoelig voor de ratio $r$.

• Als $r$ te klein is, ondervindt de FFN-server een tekort aan invoer, wat leidt tot inactieve rekenresources.
• Als $r$ te groot is, blokkeren Attention-instanties terwijl ze wachten op de gedeelde FFN-server, wat leidt tot blokkering op stapniveau en pipeline-bellen.

Bestaande systemen bepalen $r$ doorgaans via empirisch zoeken of naïeve deterministische benaderingen die stochastische werklastvariabiliteit negeren. De kernmoeilijkheid ligt in de dynamische aard van de Attention-werklast: in tegenstelling tot FFN-berekening, die alleen afhankelijk is van de batchgrootte, evolueert de Attention-latentie continu naarmate KV-caches groeien en verzoeken worden aangevuld met willekeurige prompt- en decode-lengtes. Bovendien introduceert de gesynchroniseerde uitvoering van meerdere Attention-workers een "straggler"-effect dat wordt gedicteerd door de langzaamste worker, waardoor een synchronisatiebarrière ontstaat die analytisch moeilijk te modelleren is.

Methodologie

De auteurs ontwikkelen een rigoureus probabilistisch raamwerk om een gesloten-formule provisioning-regel af te leiden voor de optimale A/F-ratio ($r^*$) onder stochastische werklasten. De methodologie adresseert twee primaire bronnen van willekeur:

1. Evolutie van de Werklast per Slot: De auteurs modelleren de tokenbelasting per slot met behulp van een discrete-tijd hernieuwings-beloningsanalyse. Zij identificeren een enkele werklaststatistiek, $\theta$ (de verwachte stationaire tokenbelasting per slot), die de provisioning bepaalt. Deze statistiek houdt rekening met het "length-biasing"-effect waarbij langere verzoeken vaker worden bemonsterd bij willekeurige decode-stappen. Cruciaal is dat $\theta$ en zijn variantie $\nu^2$ niet-parametrisch kunnen worden geschat uit verzoeksporen zonder specifieke distributiefamilies aan te nemen.
2. Synchronisatie tussen Workers: Om het barrière-effect aan te pakken waarbij het systeem wacht op de langzaamste van $r$ workers, passen de auteurs een Gaussische orde-statistiekcorrectie toe. Zij modelleren de totale belasting op de $r$ workers als een som van onafhankelijke, identiek verdeelde (i.i.d.) stochastische variabelen en benaderen de maximale belasting met de verwachte waarde van het maximum van $r$ standaardnormale variabelen ($\kappa_r$).

De analyse levert twee provisioning-regels op:

• Mean-Field Regel ($r^*_{mf}$): Een gesloten-formule oplossing afgeleid door de synchronisatiebarrière te negeren (uitgaande van perfecte load balancing). Deze regel decomposeert in drie regimes: Attention-bottleneck, communicatie-bottleneck en FFN-bottleneck.
• Barrière-bewuste Verfijning ($r^*_G$): Een verfijnde optimalisatie die de synchronisatieoverhead-term ($\sqrt{B}\nu\kappa_r$) integreert in de cyclus-tijdbenadering. Dit wordt opgelost via een een-dimensionale analytische optimalisatie gecombineerd met een discrete zoektocht.

Belangrijkste Bijdragen

1. Probabilistisch Werklastmodel: Het paper vestigt een analytisch raamwerk dat de stochastische dynamiek van AFD-serving met continue batching vastlegt. Het identificeert $\theta$ als de bepalende statistiek voor provisioning, geldig onder willekeurige prompt- en decode-lengte-distributies, en biedt een niet-parametrische schatter voor $\theta$ en $\nu^2$ uit sporen.
2. Gesloten-Formule Provisioning-Regel: De auteurs leiden een mean-field optimale ratio af die expliciet de Attention-, communicatie- en FFN-bottlenecks in evenwicht brengt. Zij bieden verder een barrière-bewuste verfijning die de synchronisatieoverhead introduceert door straggler-workers kwantificeert, en tonen aan dat deze overhead sub-logarithmisch groeit met $r$.
3. Met Sporen Gecalibreerde Validatie: Het team ontwikkelde een AFD-simulator die is gecalibreerd met real-world sporen en hardwareparameters (specifiek Huawei Ascend 910C NPUs). Zij valideerden het raamwerk over diverse werklasten en hardwareconfiguraties.

Resultaten

De experimentele validatie toont een hoge nauwkeurigheid in het voorspellen van systeemgedrag:

• Nauwkeurigheid van de Optimale Ratio: De voorspelde optimale ratio ($r^*_{mf} \approx 9.3$) komt nauw overeen met de simulatie-optimale ratio. De theoretische doorvoercurve volgt de simulatieresultaten goed over alle geteste configuraties ($r \in \{1, 2, 4, 8, 16, 24, 32\}$).
• Foutmarges: De voorspelde optimale ratio komt binnen 10% overeen met de simulatie-optimale.
• Impact van Stragglers: Een residuële kloof van tot ongeveer 15% in doorvoervoorspelling tussen het mean-field-model en de simulatie werd waargenomen bij grote $r$. De barrière-bewuste analyse verklaart deze discrepantie en schrijft deze toe aan synchronisatieoverhead, die ongeveer 11% bereikt bij $r=24$.
• Parametergevoeligheid: Ablatiestudies tonen aan dat de optimale $r^*$ toeneemt met grotere microbatchgroottes ($B$) en langere totale contextlengtes (zowel prefill $\mu_P$ als decode $\mu_D$), aangezien deze factoren de rekenkundige druk aan de Attention-kant verhogen.

Betekenis en Aanspraken

Het paper claimt de eerste geprincipeerde analytische basis te bieden voor het provisionen van AFD-systemen, verder gaand dan empirisch zoeken. Door een compacte, kalibreerbare weergave te bieden van hoe de structuur van een stochastische werklast de provisioning bepaalt, stelt het raamwerk systeemontwerpers in staat om:

• De optimale A/F-ratio te bepalen zonder uitgebreide systeemopbouw of trial-and-error.
• De afwegingen tussen geheugenschaal (Attention) en rekenschaal (FFN) onder realistische, stochastische werklasten te begrijpen.
• De kosten van synchronisatiebarrières in gedesaggregeerde architecturen te kwantificeren.

De auteurs merken op dat, hoewel validatie in real-systemen voor toekomstig werk wordt gelaten naarmate AFD-implementaties rijpen, de huidige op simulatie gebaseerde validatie (met gebruik van sporen uit productie-achtige distributies) sterke empirische bevestiging van de theorie biedt. Het werk wordt gepresenteerd als een preprint (arXiv:2601.21351v2), wat aangeeft dat het een fundamentele bijdrage is aan het opkomende veld van gedesaggregeerde LLM-serving.