More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving

Technische Samenvatting: Meer GPU's of een Kleinere Cache? Tensor Parallelisme versus KV-compressie voor Geheugenbeperkte LLM-serving

Probleemstelling
Wanneer implementaties van Large Language Model (LLM) serving te maken krijgen met geheugenbeperkingen door lange contexten of grote batchgroottes, worden beoefenaars geconfronteerd met een binaire keuze tussen twee gevestigde strategieën die zelden met elkaar communiceren:

1. Tensor Parallelisme (Systems Community): Het verdelen van modelgewichten en KV-caches over meerdere GPU's. Dit vergroot de geheugenruimte, maar brengt lineaire hardwarekosten en communicatie-overhead (all-reduce) met zich mee bij elke laag.
2. KV-compressie (Algorithms Community): Het reduceren van de KV-cachevoetafdruk via kwantisatie (bijv. 8-bit, 4-bit) of eliminatie (het behouden van alleen hoogwaardige tokens) op een enkele GPU. Dit vermijdt hardwarekosten, maar gaat ten koste van de kwaliteit van de generatie en introduceert dekwantisatie-overhead.

Het kernprobleel is het gebrek aan een uniforme, kosten-genormaliseerde vergelijking. Papers over parallellisme rapporteren doorvoerschaalbaarheid, terwijl papers over compressie geheugenratio's rapporteren. Bijgevolg kan een engineer niet bepalen welke strategie goedkoper is per miljoen tokens voor een vastgesteld model, een kwaliteitsvloer en een latentiedoel.

Methodologie
De auteurs hebben een kosten-genormaliseerde frontlijn geconstrueerd om deze strategieën direct te vergelijken.

• Simulatie-backbone: De studie maakt gebruik van Vidur, een geprofileerde simulator gekalibreerd op echte A100, A40 en H100 hardware. De auteurs hadden geen directe toegang tot GPU's; latentie en doorvoer zijn afgeleid van de voorspellers van Vidur (gevalideerd tegen echte hardware met <9% foutmarge).
• Kostencriterium: De primaire as is Kosten per Miljoen Tokens, berekend als:
  $$\text{Kosten/Mtok} = \frac{C_{gpu/hr} \times p}{3600 \times \text{Throughput} \times 10^6}$$
  Cruciaal is dat de device-count multiplier $p$ is opgenomen, wat ervoor zorgt dat het toevoegen van GPU's niet als "gratis" geheugen wordt beschouwd.
• Experimentele Opstelling:
  • Modellen: Llama-2-7B (primair) en Llama-2-70B (om de haalbaarheidsgrens te testen).
  • Configuraties: Tensor Parallelisme (TP) graden van 1, 2, 4, 8; KV-compressie instellingen inclusief bit-breedtes (16, 8, 4) en keep-ratio's (1.0, 0.5, 0.25).
  • Workloads: Synthetische workloads met vaste lengte (W1: interactief; W2: prefill-zwaar/verzadigd) om exacte geheugenarithmetiek te garanderen.
  • Haalbaarheidscontrole: Een configuratie is alleen geldig als zowel de gewichten als de KV-cache binnen het device-geheugen passen ($2W/p + B \cdot m_{kv} \le M_{dev}$).
• Beperkingen: De studie evalueert de outputkwaliteit niet en modelleert de specifieke kernel-niveau latentie van dekwantisatie niet, waarbij de laatste wordt behandeld als een "best-case" scenario om robuustheid te testen.

Belangrijkste Resultaten
De centrale bevinding is dat geen kosten-equivalentie crossover bestaat binnen de geteste regimes. De aanname dat de twee strategieën op één kostencurve concurreren, is ongeldig.

1. Compressie domineert onder de haalbaarheidsgrens:

   • Voor modellen die op een enkele GPU passen (bijv. Llama-2-7B op een 80GB A100), is KV-compressie consequent goedkoper dan het toevoegen van GPU's.
   • Bij een gelijkwaardig niveau van geheugenverlichting is compressie 1.20× tot 2.00× goedkoper dan tensor parallelisme.
   • Capaciteit vs. Latentie: Compressie vermenigvuldigt de concurrency-capaciteit per dollar met 16.5×, terwijl een 8x toename in GPU-uitgaven (TP=8) slechts een 1.21× winst oplevert in capaciteit per dollar.
   • Latentietrade-off: Hoewel compressie de kosten verlaagt, verslechtert het de per-token latentie (TPOT) met 8% tot 93% door toegenomen batching-contentie. Tensor parallelisme is de enige hefboom die zowel de latentie als de capaciteit verbetert.

2. De Haalbaarheidsgrens (Modelgrootte vs. Devicegeheugen):

   • De beslissingsgrens is niet de contextlengte of de batchgrootte, maar de modelgrootte relatief aan het devicegeheugen.
   • Voor een 80GB device ligt de grens bij ongeveer 36B parameters (fp16 gewichten).
   • Onder de grens (bijv. 7B): De KV-cache put het devicegeheugen zelden uit binnen het contextvenster. Het toevoegen van GPU's is grotendeels verspilde uitgave; compressie is de optimale strategie.
   • Boven de grens (bijv. 70B): Een enkele GPU kan de gewichten niet bevatten (127.5 GB voor Llama-2-70B). KV-compressie kan dit niet oplossen omdat het de gewichten niet verkleint. Tensor parallelisme is een toegangskaartje (verplicht), geen keuze.

3. Gedrag boven de grens:

   • Voor Llama-2-70B, zelfs met TP=2 (de minimale haalbare configuratie), is het systeem geheugen-verzadigd.
   • In dit regime levert het verhogen van de TP van 2 naar 4 een superlineaire schaling op (169% efficiëntie), omdat het de beperkende geheugenrestrictie verlicht, waardoor de kosten per token met 41% dalen bij interactieve workloads.
   • Echter, compressie blijft goedkoper dan verdere schaling (bijv. TP=8) bij een gelijkwaardig niveau van geheugenverlichting.

Betekenis en Claims
Het artikel claimt een definitieve beslisregel te bieden voor infrastructuurplanning, waarmee de gangbare aanname dat tensor parallelisme goedkoper wordt zodra de contextlengtes groeien, wordt gecorrigeerd.

• Weerlegging van de Crossover: De auteurs stellen expliciet dat zij geen crossoverpunt vinden waar het toevoegen van GPU's goedkoper wordt dan compressie. Compressie is op elk gelijkwaardig niveau van geheugenverlichting goedkoper.
• De Werkelijke Beslisregel:
  1. Controleer Haalbaarheid: Als de modelgewichten het devicegeheugen overschrijden (bijv. >36B op 80GB), is Tensor Parallelisme verplicht ($p_{min} = \lceil 2W/M_{usable} \rceil$).
  2. Controleer Verzadiging: Als de minimale haalbare TP-graad ($p_{min}$) resulteert in geheugenverzadiging (hoge KV-bezetting), kan het verhogen naar één graad hoger (bijv. van TP=2 naar TP=4) de kosten per token verlagen vanwege superlineaire schaling.
  3. Optimaliseer Capaciteit: Zodra de gewichten passen en het systeem niet geheugen-verzadigd is, is KV-compressie de dominante strategie voor het vergroten van de capaciteit. Het toevoegen van meer GPU's is inefficiënt.
• Complementaire Mechanismen: De twee strategieën kopen verschillende zaken. Tensor parallelisme koopt latentie en haalbaarheid (gewicht-sharding). Compressie koopt capaciteit (concurrency) tegen bijna nul hardwarekosten.

Erkende Beperkingen
De auteurs merken op dat de studie vertrouwt op gesimuleerde latentie voor compressie (zonder de dekwantisatie-overhead te modelleren) en dat de outputkwaliteit niet is gemeten. Zij stellen dat als de dekwantisatie-overhead aanzienlijk hoger zou zijn (17–47% throughput verlies), de volgorde zou kunnen omkeren, maar de huidige literatuur suggereert dat de overheads lager zijn. Daarnaast is de "haalbaarheidsgrens" specifelijk voor fp16 gewichten; gewicht-kwantisatie zou deze grens verschuiven.