Technische Samenvatting: Op weg naar Multi-Model LLM-planners: Empirische inzichten in uitwijken en preemptie

Probleemstelling

Moderne Large Language Model (LLM)-implementaties vereisen in toenemende mate het bedienen van meerdere heterogene modellen (variërend in architectuur, grootte en specialisatie) op gedeelde, hulpbronnen-beperkte hardware. Waar bestaande systemen zoals vLLM de doorvoer voor single-model workload optimaliseren via continue batching en efficiënt Key-Value (KV) cache-beheer, missen ze mechanismen om multi-model planning te hanteren onder strikte GPU-geheugenbeperkingen.

In dergelijke beperkte omgevingen worden twee kritieke mechanismen noodzakelijk, maar zijn ze slecht begrepen in een multi-model context:

1. Gedeeltelijke CPU-GPU Uitwijken (Offloading): Het verplaatsen van subsets van modellagen naar CPU-geheugen om modellen te laten passen in beperkt GPU-VRAM.
2. Preemptie: Het pauzeren van een lopende inferentie-taak om zijn model en staat te verwijderen, zodat een hogeropdrachtige taak kan uitvoeren, en vervolgens de oorspronkelijke taak te hervatten.

Huidige literatuur gaat vaak uit van lineaire prestatiedegrade bij uitwijken of behandelt preemptiekosten als een monolithische, niet-gekwantificeerde overhead. Er ontbreekt empirische data die beschrijft hoe deze factoren interageren over verschillende modelgroottes, architecturen en hardwareplatforms.

Methodologie

De auteurs voerden een systematische empirische studie uit over twee verschillende hardwareplatforms die een gemeenschappelijk CPU-subsysteem delen (AMD Threadripper PRO 5995WX) maar verschillen in GPU-architectuur:

• Platform A: NVIDIA RTX 5000 Ada Generation (32 GB VRAM).
• Platform B: NVIDIA RTX A6000 (48 GB VRAM).

De studie gebruikte een diverse set modellen (Llama 3 8B, Qwen3 32B, Llama 2 70B voor uitwijken; Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B voor preemptie) en voerde twee primaire experimentele sweeps uit:

1. Lagen-voor-Lagen Uitwijken Sweep:

   • Uitgevoerd op Ollama (Q4 gekwantiseerd) en HuggingFace Transformers (FP16).
   • Varieerde het fraction van transformer-lagen geplaatst op de GPU van 0% (alle CPU) tot 100% (alle GPU) in stappen van 10%, met fijnere granulariteit nabij 100%.
   • Gemeten decode-doorvoer (tokens/seconde) over verschillende outputlengtes (50 tot 5.000 tokens).

2. Preemptie en Migratie Benchmark:

   • Gesimuleerd een "slechtst-mogelijke" preemptie-scenario waarbij een langlopende Taak A (het genereren van 7.000 tokens) wordt onderbroken op negen checkpoints (100 tot 5.000 tokens).
   • Taak A wordt volledig uitgeladen (gewichten en KV-cache verplaatst naar hostgeheugen), Taak B wordt uitgevoerd, en Taak A wordt opnieuw geladen en hervat.
   • Ontbonden de totale preemptie-overhead in samenstellende stappen: KV-cache-overdracht (GPU→CPU), model uitladen, model opnieuw laden, en KV-cache herstellen (CPU→GPU).
   • Getest diverse modelkoppelingen om de impact van de grootte van het preemptie-model versus de grootte van het preempterende model te isoleren.

Belangrijkste Bijdragen

Het paper biedt drie primaire bijdragen:

1. Systematische Empirische Evaluatie: Een uitgebreide karakterisering van state-of-the-art LLM's over heterogene hardware, demonstrerend dat prestatietrends met betrekking tot uitwijken en schaling consistent zijn over modellen en systemen.
2. Kwantificering van Overhead: Gedetailleerde analyse van de prestatie-implicaties van gedeeltelijk uitwijken en preemptie, waarbij de dominante bronnen van latentie en data-bewegingskosten worden geïdentificeerd.
3. Planner-Functie Distillatie: Een set van sleutelfuncties afgeleid van empirische data die toekomstige multi-model planners moeten incorporeren om hybride CPU-GPU-uitvoering en preemptie effectief te ondersteunen.

Belangrijkste Resultaten

1. Niet-Lineaire Uitwijkingsdegradatie

• Modelsensitiviteit: Decode-doorvoer schaalt niet lineair met het percentage lagen op de GPU. Kleinere modellen (bijv. Llama 3 8B) vertonen scherpe, niet-lineaire gevoeligheid voor verminderde GPU-residentie, met aanzienlijke doorvoerpunaties zelfs bij matig uitwijken. Grotere modellen (bijv. Llama 2 70B) tonen een meer geleidelijke, ongeveer lineaire degradatie.
• Hardware-interactie: De relatieve prestatiekloof tussen CPU en GPU heeft een significante impact op uitwijkings-efficiëntie. Op de RTX 5000 (lagere piek-doorvoer) is de relatieve straf voor uitwijken kleiner in vergelijking met de RTX A6000 (hogere rekenkracht), waar uitwijken een grotere relatieve degradatie veroorzaakt.
• Sequentielengte: Langere prompts versterken de negatieve impact van uitwijken door verhoogde KV-cache-geheugendruk en toegangskosten.

2. Samenstelling van Preemptie-Overhead

• Dominantie van Model Opnieuw Laden: De kosten van preemptie worden overweldigend gedomineerd door het opnieuw laden van modelgewichten van schijf naar GPU-geheugen. Dit onderdeel staat voor >98,5% van de totale preemptie-overhead op beide hardwareplatforms.
• KV Cache Verwaarloosbaarheid: KV-cache-overdracht (zowel GPU→CPU als CPU→GPU) draagt minder dan 1,5% bij aan de totale overhead, zelfs voor grote caches (tot ~950 MB).
• Vaste Kosten: Preemptie-overhead is effectief constant ongeacht de voortgang van de taak (aantal gegenereerde tokens). De kosten hangen bijna uitsluitend af van de gewichtsfoto van het preemptie-model, niet van de grootte van de KV-cache of de identiteit van het preempterende model.
  • Voorbeeld: Op RTX 5000 varieert de preemptie-overhead van ~3s (3B-model) tot ~7,3s (14B-model).
• Hardware-variatie: De RTX A6000 vertoonde lagere absolute preemptiekosten (snellere schijf-naar-GPU-overdracht) in vergelijking met de RTX 5000, ondanks het hebben van meer VRAM.

3. Efficiëntie van Data-beweging

• KV-cache-overdrachttijden schalen lineair met sequentielengte maar blijven in de tientallen milliseconden (bijv. <90ms voor ~950MB-overdracht op RTX 5000).
• Effectieve PCIe-bandbreedte wordt beperkt door overhead per tensor-kopie per laag in de PyTorch-runtime, wat slechts 9–16 GB/s bereikt tegen een theoretische piek van 31,5 GB/s.

Betekenis en Claims

Het paper betoogt dat deze empirische bevindingen de ontwerpeisen voor next-generation LLM-planners fundamenteel veranderen:

• Afwijzing van Lineaire Aannames: Planners kunnen niet vertrouwen op evenredige of uniforme plaatsingsstrategieën. Ze moeten rekening houden met model-specifieke, niet-lineaire uitwijkingsgevoeligheid, met name voor kleinere modellen waar gedeeltelijk uitwijken zeer schadelijk is.
• Vaste Preemptiestraf: In tegenstelling tot de aanname dat preemptiekosten variëren met taakvoortgang, stelt de studie vast dat preemptie kan worden gemodelleerd als een vaste straf die alleen afhankelijk is van de gewichtsfoto van het model en het hardwarepaar. Dit vereenvoudigt planningslogica, waardoor voorspelbare kostenmodellering mogelijk wordt.
• Hardware-bewustzijn: Planningsbeslissingen moeten expliciet hardware-bewust zijn, waarbij niet alleen de GPU-capaciteit wordt overwogen maar ook de specifieke rekenkloof tussen CPU en GPU, evenals schijf-naar-GPU-overdrachtssnelheden.
• KV Cache versus Gewichten: De studie verduidelijkt dat het optimaliseren van KV-cache-migratie secundair is aan het optimaliseren van het laden/uitladen van modelgewichten voor preemptie-efficiëntie, aangezien het eerste momenteel verwaarloosbaar is in de totale kostenstructuur.

De auteurs concluderen dat toekomstige planners deze functies moeten integreren—niet-lineaire uitwijkingscurves, modelarchitectuurprofielen, dynamiek van sequentielengte en vaste preemptiekosten—om heterogene, multi-model workload efficiënt te beheren in dynamische, hulpbronnen-beperkte omgevingen.