Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism is een geheugencentrisch LLM co-serving framework dat gebruikmaakt van een nieuwe memory ballooning techniek genaamd kvcached om GPU-geheugen dynamisch terug te winnen en opnieuw toe te wijzen over meerdere modellen, waardoor ruimtelijke en temporele sharing wordt verenigd om de kostenefficiëntie en SLO-naleving in productieomgevingen te verbeteren.

De kern

Stel je voor dat je een enorm hotel runt met duizenden kamers (GPU's) en duizenden verschillende gasten (AI-modellen). Sommige gasten zijn beroemdheden die 24/7 een kamer willen, terwijl anderen toeristen zijn die slechts één keer per dag voor een check-in van 10 minuten verschijnen.

Het probleem is dat het runnen van jouw hotel duur is. Als je elke toerist een eigen privékamer geeft voor het geval ze verschijnen, eindig je met 90% van je hotel dat leeg en verspild is. Maar als je probeert iedereen in één kamer te proppen, ontstaat er chaos, en worden de beroemdheden boos omdat ze moeten wachten.

Prism is een nieuwe, slimme hotelmanager die dit oplost door een truc te gebruiken genaamd "Memory Ballooning".

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Statische Kamer"-valstrik

Op de oude manier van het runnen van AI, als een model (een gast) een kamer werd toegewezen, was die kamer voor altijd van hen, zelfs als ze sliepen (idle).

• Ruimte delen (De oude manier): Je probeert meerdere gasten in één kamer te plaatsen. Dit werkt geweldig als ze allemaal wakker zijn en aan het praten zijn. Maar als één gast een week weg is, blijft hun helft van de kamer leeg, en kan de andere gast die ruimte niet gebruiken.
• Tijd delen (De andere oude manier): Je zet een gast eruit om een ander binnen te laten. Dit werkt goed als gasten op verschillende tijden komen. Maar als twee gasten op exact hetzelfde moment arriveren, moet je hen constant in en uit de kamer jagen. Dit "eruit jagen" is traag en zorgt ervoor dat iedereen moet wachten (lag), waardoor ze hun deadlines missen.

De AI-verkeer in de echte wereld is rommelig. Soms wordt een groep modellen tegelijk druk, en soms worden ze allemaal tegelijk stil. Geen enkele oude strategie kon deze wisselingen aan.

2. De Oplossing: De "Ballooning"-truc

Prism introduceert een nieuwe manager genaamd kvcached (de ballonchauffeur). Denk aan het GPU-geheugen niet als een reeks vaste kamers, maar als opblaasbare ballonnen.

• De Elastische Ballon: Wanneer een model druk is en meer ruimte nodig heeft om na te denken, blaast de manager zijn ballon op, waarbij hij lucht steelt van andere modellen die momenteel slapen.
• Leeglopen voor Anderen: Wanneer een model gaat slapen, krimpt de ballon, waardoor de ruimte vrijkom komt zodat een nieuwe, ontwakende model direct zijn eigen ballon kan opblazen.
• Geen Meubels Verplaatsen: Het beste deel? De modellen weten niet eens dat dit gebeurt. Ze zien alleen een kamer die magisch groter en kleiner wordt. De manager doet het zware werk achter de schermen.

3. De Twee-Stappen-Strategie

Prism gebruikt twee slimme regels om te beslissen wie de lucht krijgt:

• Regel 1: De Globale Scheduler (De Hotelmanager): Deze kijkt naar het hele hotel. Hij vraagt: "Welke groep gasten is momenteel actief?" Vervolgens plaatst hij die actieve gasten op dezelfde verdieping (GPU) zodat ze gemakkelijk ruimte kunnen delen. Als een gast slaapt, verplaatst hij hem naar een opslagkast (CPU) om ruimte vrij te maken. Hij herschikt constant het hotel om ervoor te zorgen dat geen enkele verdieping overvol is terwijl een andere leeg is.
• Regel 2: De Lokale Scheduler (De Conciërge): Deze kijkt naar de specifieke verzoeken die nu binnenkomen. Als twee gasten vechten om het laatste beetje ruimte, controleert de conciërge wie de meest dringende deadline heeft. Hij laat de urgente gast eerst binnen en vertelt de minder urgente gast om even te wachten. Dit zorgt ervoor dat de belangrijkste taken op tijd worden uitgevoerd.

4. De Resultaten

Het paper testte Prism op echte gegevens van grote AI-aanbieders en vond het volgende:

• Snellere Service: Het kwam zijn snelheidspromessen (SLO's) tot 3,3 keer beter na dan eerdere methoden.
• Lagere Kosten: Om hetzelfde niveau van prestaties te behalen, had Prism de helft van het aantal GPU's nodig (of kon het twee keer zoveel verzoeken afhandelen met dezelfde hardware).
• Bewijs uit de Praktijk: Het is al ingezet in productieomgevingen met meer dan 10.000 GPU's, waarbij bedrijven aanzienlijk meer omzet per GPU genereren door de verspilde "idle" tijd om te zetten in factureerbaar werk.

Samenvatting

Prism is als een slimme, elastische hotelmanager. In plaats van gasten vast te leggen in vaste kamers of hen constant eruit te gooien, gebruikt het opblaasbare ballonnen om ruimte dynamisch te delen. Het vergroot de ruimte voor drukke modellen en krimpt de ruimte voor slapende modellen, waardoor het hotel altijd vol, efficiënt en snel is, zonder dat iemand in de rij hoeft te wachten.

Technische samenvatting

Technische Samenvatting: Prism

Probleemstelling

Inference-providers die duizenden Large Language Models (LLM's) hosten, worden geconfronteerd met een kritieke efficiëntie-uitdaging: het behouden van de beschikbaarheid voor laag-volume, essentiële modellen terwijl de kosten worden geminimaliseerd naarmate de tokenprijzen dalen. Productie-traceanalyse laat zien dat real-world workloads een dynamisch bursty-groepspatroon vertonen, waarbij specifieke subsets van modellen gezamenlijk actief worden en in de loop van de tijd verschuiven, gedreven door compound AI-systemen en agentische pipelines.

Bestaande serving-strategieën slagen er niet in om zich aan deze variabiliteit aan te passen:

• Ruimteverdeling (Colocatie): Het co-loceren van meerdere modellen op één GPU om ongebruikte geheugencapaciteit te benutten, werkt voor continue workloads met laag verkeer, maar creëert ernstige geheugfragmentatie tijdens lange perioden van inactiviteit. Het voorkomt dat actieve modellen opschalen om aan Service Level Objective (SLO) vereisten te voldoen, omdat het geheugen statisch wordt vastgehouden door inactieve modellen.
• Tijdverdeling (Swapping): Het wisselen (swappen) van modellen in en uit het GPU-geheugen gaat goed om met sporadisch verkeer, maar lijdt onder hoge latentie-overhead (seconden) tijdens snelle fluctuaties in de workload. Dit veroorzaakt "thrashing" wanneer meerdere modellen afwisselende verzoeken ervaren, wat leidt tot SLO-schendingen.

De kernuitdaging is het gebrek aan een principieel mechanisme om ruimte- en tijdverdeling te verenigen. Huidige systemen dwingen een afweging af tussen SLO-naleving en resource-efficiëntie, en zijn niet in staat om vloeiend tussen strategieën te schakelen wanneer workloadpatronen verschuiven van volatiele bursts naar afwisselende activiteit.

Methodologie

Prism is een geheugencentrisch GPU-sharing framework dat is ontworpen om ruimte- en tijdverdeling te verenigen via elastische geheugenallocatie. De architectuur bestaat uit drie primaire componenten:

1. GPU-geheugenballonering (De kvcached Driver)

Prism introduceert een ballon-driver, kvcached, die zich tussen inference-engines (bijv. SGLang) en het fysieke GPU-geheugen bevindt. Deze driver implementeert geheugenballonering om geheugen te heroveren en te heralloceren over modellen heen zonder de executie te verstoren.

• Virtuele/Fysieke Ontkoppeling: Engines reserveren een grote virtuele adresruimte, maar fysiek geheugen wordt on-demand gealloceerd en toegewezen. Dit stelt het systeem in staat om de fysieke voetafdruk (weights en KV cache) van een model tijdens runtime te verkleinen of te vergroten.
• Verenigd Beheer: kvcached behandelt modelgewichten en de KV cache als een verenigde pool van fysieke pagina's. Het ondersteunt diverse modelarchitecturen door token-blocks aan virtuele pagina's toe te wijzen en ze fysiek te segregeren om vormconflicten te voorkomen.
• Optimalisaties: Om de overhead te minimaliseren, maakt het gebruik van 2MB geheugenpagina's, geeft prioriteit aan gedeeltelijk gevulde pagina's en maakt gebruik van een pre-allocatie thread voor asynchrone pagina-voorbereiding. Het biedt een elastische tensor (eTensor) abstractie die compatibel is met bestaande attention-kernels en CUDA-graphs, waardoor nul code-wijzigingen in serving-engines vereist zijn.
• Snel Laden: Om de cold-start latentie te beperken, ontkoppelt Prism de engine-lifecycles van de model-lifecycles via een herbruikbare engine-pool en maakt het gebruik van parallelle gewichts-loading over GPU's via NVLink om de interconnect-bandbreedte te verzadigen.

2. Geheugencentrische Control Plane

Prism maakt gebruik van een hiërarchische scheduler om de elasticiteit te beheren die door kvcached wordt geboden:

• Load-Aware Model Placement (Globaal): Een globale scheduler plaatst modellen over GPU's om de geheugenruimte voor ballonering te maximalen. Het gebruikt een KV Pressure Ratio (KVPR) heuristiek, die geheugendruk kwantificeert op basis van SLO-gewogen token rates. Het algoritme plaatst modellen met een hoge vraag op een greedily wijze op GPU's met de laagste bestaande druk, zodat actieve modellen ruimte hebben om hun KV caches uit te breiden tijdens bursts.
• Slack-Aware Request Arbitration (Lokaal): Een GPU-lokale scheduler beheert gelijktijdige verzoeken van gecollocatieerde modellen. In plaats van statische isolatie gebruikt het een gedeelde request-queue en past het het Moore-Hodgson algoritme toe om deadline-missers te minimaliseren. Het prioriteert verzoeken op basis van hun time slack (het verschil tussen de deadline en de vereiste executietijd), waardoor urgente, kort-latente verzoeken worden afgehandeld vóór langlopende verzoeken, wat de TTFT (Time-to-First-Token) SLO-behalen maximaliseert.

3. Systeemintegratie

Prism is geïmplementeerd als een library die SGLang uitbreidt, gebruikmakend van CUDA Virtual Memory Management (VMM) API's. Het opereert als een apart control-proces dat de evacuatie, activatie en migratie van modellen coördineert op basis van runtime-metrieken.

Belangrijkste Bijdragen

1. Verenigd Sharing Mechanisme: Prism is het eerste systeem dat ruimte- en tijdverdeling verenigt onder één schema door GPU-geheugen als een elastische resource te behanden. Het stelt het systeem in staat om tegelijkertijd te fungeren als een tijdverdelingssysteem (het evacueren van inactieve modellen) en een ruimteverdelingssysteem (het co-serveren van actieve bursts).
2. kvcached Ballon-driver: Een open-source driver die flexibele, fijnmazige (2MB) geheugenherverdeling mogelijk maakt over heterogene LLM's met milliseconden-overhead en nul kernel-modificaties.
3. Productie-schaal Deployment: Het systeem is ingezet in productieomgevingen op 10.000+ GPU's en wordt actief onderhouden.
4. Uitgebreide Evaluatie: Het paper biedt een rigoureuze analyse van productie-traces van grote providers (Hyperbolic, Novita AI) en evaluatieplatforms (Chatbot Arena), waarbij 58 heterogene modellen worden behandeld over perioden variërend van 11 dagen tot 16 maanden.

Resultaten

Geëvalueerd op een cluster van maximaal 32 NVIDIA H100 GPU's met real-world traces:

• SLO Attainment: Prism bereikt tot wel 3,3× hogere TTFT SLO-behalen en 2× hogere TPOT SLO-behalen vergeleken met state-of-the-art baselines (inclusclusief MuxServe++, QLM en ServerlessLLM) bij hetzelfde aantal GPU's.
• Kostenefficiëntie: Om hetzelfde niveau van SLO-behalen te bereiken, vermindert Prism het vereiste aantal GPU's met 2× (bijv. het bereiken van 99% TTFT SLO met 16 GPU's versus 32+ voor baselines) of handelt het 3,5× meer verzoeken af met dezelfde hardware.
• Productie-impact: In shadow-deployments bij twee bedrijven heeft Prism de per-GPU throughput met 3,89× verhoogd (Bedrijf A) en de omzet per GPU met 2,86× (Bedrijf B) door idle capaciteit om te zetten in factureerbare tokens zonder de SLO's te schenden.
• Latentie: De model-activatielatentie is gereduceerd tot onder de 1,5 seconde, zelfs voor 70B modellen, en de migratie-overhead is verwaarloosbaar (tientallen milliseconden) bij gebruik van NVLink.

Betekenis

Het paper betoogt dat de fundamentele bottleneck in multi-LLM serving GPU-geheugencontentie is, niet rekenkracht (compute). Door het perspectief te verschuiven van statische partitionering of rigide tijdsegmentatie naar elastisch geheugenbeheer, lost Prism het conflict op tussen de noodzaak voor onmiddellijke responsiviteit (vereist colocatie) en de noodzaak voor resource-efficiëntie (vereist evacuatie). Het werk toont aan dat een geheugencentrisch perspectief vloeiend kan adapteren aan de "bursty-group" natuur van moderne AI-workloads, waardoor providers duizenden modellen kosteneffectief kunnen hosten terwijl zij strikt aan latency SLO's voldoen. Het open-sourcen van kvcached en de adoptie ervan in grootschalige productieomgevingen valideren de praktische levensvatbaarheid van deze aanpak.