Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

In de wereld van moderne kunstmatige intelligentie fungeren grote taalmodellen als krachtige motoren die tekst, code en ideeën genereren. Het draaien van deze motoren is echter geen eenvoudige taak van een schakelaar omzetten. Wanneer een gebruiker een verzoek stuurt, moet het systeem eerst de invoer verwerken en vervolgens een reactie genereren, woord voor woord. Dit proces is onvoorspelbaar; een korte vraag kan een fractie van een seconde duren, terwijl een complexe analyse minuten kan duren en onderweg enorme hoeveelheden computergeheugen verbruikt. Omdat deze verzoeken in plotselinge uitbarstingen binnenkomen en enorm variëren in lengte, heeft de infrastructuur die hen ondersteunt vaak moeite om het bij te houden. Als het systeem elk verzoek precies hetzelfde behandelt, kan een massieve, trage taak de rij blokkeren, waardoor dringende, eenvoudige vragen veel te lang moeten wachten. Dit is de centrale uitdaging bij het serveren van kunstmatige intelligentie: hoe beheer je een chaotische stroom werk zodat kritieke taken onmiddellijke aandacht krijgen zonder de dure rekenkracht die nodig is om ze uit te voeren te verspillen.

Onderzoekers aan de UC Berkeley hebben dit probleem aangepakt door opnieuw te bedenken hoe deze AI-systemen hun werk prioriteren. Ze bouwden voort op een eerder systeem genaamd Llumnix, dat ontworpen was om taken tussen verschillende computerservers te verplaatsen om de belasting te balanceren en knelpunten te voorkomen. De oorspronkelijke versie van dit systeem was effectief maar beperkt, met slechts twee niveaus van belangrijkheid: hoge prioriteit voor dringende zaken en normale prioriteit voor de rest. Deze binaire keuze was te grofmazig voor echte bedrijven, die vaak vijf of meer serviceniveaus moeten kunnen onderscheiden, zoals platinum, goud, zilver en gratis gebruikers, elk met verschillende snelheidswaarborgen. De onderzoekers stelden een fundamentele vraag: wat is het juiste aantal prioritatieniveaus om een systeem te creëren dat zowel eerlijk is voor alle gebruikers als efficiënt voor de machine?

Om het antwoord te vinden, creëerde het team een geavanceerde simulatie van een grootschalig AI-datacenter. Ze voerden dit niet uit op fysieke hardware, wat prohibitief duur en traag zou zijn om te testen, maar gebruikten in plaats daarvan een hoogwaardig digitaal model dat het gedrag van echte computerchips nabootst. Binnen deze virtuele omgeving breidden ze het prioritatiesysteem uit naar één tot tien verschillende niveaus van belangrijkheid. Ze introduceerden ook een nieuwe manier van geheugenbeheer, waarbij elk prioritieniveau een specifieke hoeveelheid "ademruimte" krijgt om ervoor te zorgen dat het zijn werk kan afmaken zonder te worden weggedrukt. Deze ademruimte wordt niet gelijkmatig verdeeld; in plaats daarvan krimpt deze exponentieel naarmate de prioriteit lager wordt, wat ervoor zorgt dat de meest kritieke taken altijd de ruimte hebben die ze nodig hebben, terwijl minder urgente taken de gaten opvullen.

Het team testte dit nieuwe systeem tegenover verschillende bestaande methoden, waarbij duizenden gesimuleerde verzoeken onder verschillende omstandigheden werden uitgevoerd. Ze varieerden de mix van gebruikers, creëerden scenario's waarin verzoeken met een hoge prioriteit zeldzaam, algemeen of gelijkmatig verdeeld waren, en ze pasten het totale volume van het werk aan om te zien hoe het systeem zich gedroeg wanneer het licht belast was versus wanneer het bijna vol was. De resultaten toonden een duidelijk ideaal punt aan. Hoewel het systeem technisch gezien tot tien prioritieniveaus kon verwerken zonder in te storten, verbeterde het toevoegen van meer dan vier lagen de prestaties niet. Sterker nog, voorbij vier niveaus begon het systeem efficiëntie te verliezen. De extra complexiteit van het beheren van zoveel verschillende categorieën begon meer middelen te verbruiken dan het bespaarde, en de voordelen van het scheiden van de taken begonnen te vervagen.

De optimale configuratie bleek vier prioritietiers te zijn. In hun simulaties stelde deze opstelling het systeem in staat om aanzienlijke snelheidsverbeteringen te bereiken voor de algehele systeemprestaties. De end-to-end P99-latentie van het systeem verbeterde met wel 3,13 keer vergeleken met standaardmethoden, en de algehele kosten-per-latentie daalde met maar liefst 68 procent. Het systeem slaagde erin de belangrijkste gebruikers tevreden te houden door hen een eigen baan te geven, terwijl het minder urgente achtergrondwerk nog steeds efficiënt in de resterende ruimte kon plaatsvinden. Dit voorkwam het "convoy effect", waarbij een enkele trage taak een hele rij snellere taken ophield, door taken dynamisch tussen servers te verplaatsen om iedereen in beweging te houden.

De onderzoekers ontdekten ook dat de voordelen van deze fijnmazige prioritering sterk afhangen van hoe druk het systeem is. Wanneer het datacenter matig belast is, werkt het vermogen om taken in verschillende banen te scheiden prachtig, waardoor verzoeken met een hoge prioriteit erdoorheen kunnen zoeven terwijl lagere verzoeken wachten. Wanneer het systeem echter volledig verzadigd is, met elke server die op maximale capaciteit draait, neemt het voordeel van het hebben van veel prioritieniveaus af. In die extreme omstandigheden is het systeem zo vol dat er geen extra ruimte is om taken rond te verplaatsen, en het onderscheid tussen de niveaus wordt minder effectief. Dit suggere \text{st dat hoewel een vier-tier model het ideale ontwerp is voor de meeste situaties, het het beste werkt wanneer het gekoppeld wordt aan een systeem dat automatisch meer servers kan toevoegen voordat de belasting te zwaar wordt om te beheren.

Uiteindelijk biedt dit werk een praktisch blauwdruk voor de toekomst van AI-infrastructuur. Het demonstreert dat een eenvoudige hiërarchie van vier niveaus voldoende is om het volledige spectrum van gebruikersbehoeften te dekken, van kritieke realtime interacties tot achtergrondbatchverwerking. Door af te stappen van een rigide tweelaags systeem en het de valkuil te vermijden om het ontwerp te compliceren met te veel lagen, kunnen ingenieurs AI-diensten bouwen die zowel sneller als kosteneffectiever zijn. De studie bevestigt dat de sleutel tot het omgaan met de onvoorspelbare aard van kunstmatige intelligentie niet ligt in het complexer maken van het systeem, maar in het vinden van het precieze niveau van organisatie dat het systeem laat ademen.