BrownoutServe: SLO-Aware Inference Serving under Bursty Workloads for MoE-based LLMs

BrownoutServe is een nieuw raamwerk voor het bedienen van MoE-gebaseerde LLM's dat door middel van 'united experts' en een dynamische brownout-mechanisme de doorvoersnelheid verhoogt en SLO-overtredingen onder bursty werklasten aanzienlijk vermindert.

De kern

Stel je voor dat je een enorm, slim restaurant hebt: een Grote Taalmodel (LLM). Dit restaurant kan vragen van klanten beantwoorden, van "Wat is de beste pizza?" tot "Schrijf een gedicht over de maan".

Om dit restaurant super snel en efficiënt te maken, hebben de bouwers een slimme truc bedacht: in plaats van dat alle koks in de keuken tegelijk aan het werk zijn voor elke bestelling, werken ze met een Mixture-of-Experts (MoE) systeem.

Het Probleem: De "Burst" in de Keuken

In dit MoE-systeem zijn er duizenden kleine koks (experts). Voor een simpele vraag ("Wat is de zon?") heeft de chef-kok maar één of twee specifieke koks nodig. Voor een moeilijke vraag ("Hoe werkt quantumfysica?") heeft hij er meer nodig.

Dit werkt prima zolang de klanten rustig binnenstromen. Maar wat gebeurt er als er plotseling een storm van bestellingen binnenkomt? (Dit noemen ze in de paper een "bursty workload").

1. De Keuken raakt vol: Alle koks moeten tegelijk aan het werk.
2. De "Koude" Koks: Sommige koks zijn heel populair (ze krijgen 90% van de bestellingen), terwijl andere koks bijna niets doen. De populaire koks stikken in het werk, terwijl de andere koks maar wat staan te wachten.
3. De Wachtlijst: Klanten moeten lang wachten op hun eten. De belofte die het restaurant deed ("Je krijgt je eten binnen 5 seconden") wordt niet waargemaakt. Dit noemen ze een SLO-overtreding (Service Level Objective).

Bestaande systemen proberen dit op te lossen door simpelweg meer koks aan te nemen (meer hardware), maar dat is duur en traag om te regelen.

De Oplossing: BrownoutServe

De auteurs van dit papier hebben een nieuw systeem bedacht, genaamd BrownoutServe. De naam is een knipoog naar het elektriciteitsnetwerk. Als er te veel stroomvraag is, doen energieleveranciers soms "brownout": ze schakelen tijdelijk minder belangrijke verlichting uit om te voorkomen dat het hele net crasht.

BrownoutServe doet iets soortgelijks in de keuken, maar dan slim:

1. De "Samengevoegde Kok" (United Experts)

Stel je voor dat je drie koks hebt die allemaal heel goed zijn in het maken van soep, maar ze werken apart. Ze lopen heen en weer, wat tijd kost.
BrownoutServe zegt: "Laten we deze drie koks samenvoegen tot één superkok die alle drie de recepten in zijn hoofd heeft."

• Het voordeel: In plaats van drie keer naar drie verschillende koks te moeten rennen, gaat de chef-kok maar één keer naar deze ene superkok. Dit bespaart enorm veel tijd en looptijd.
• De truc: Deze superkok is getraind om te weten wat de drie originele koks zouden hebben gedaan. Hij is bijna net zo goed, maar veel sneller.

2. De "Slimme Schakelaar" (Brownout Mechanisme)

Wanneer de drukte enorm toeneemt, moet er iets worden opgeofferd om de snelheid te houden.

• Normaal: Iedere bestelling gaat naar de perfecte, originele koks.
• Brownout: Als het te druk wordt, zegt het systeem: "Oké, voor de simpele bestellingen (zoals 'hallo') gaan we de perfecte koks overslaan en die naar de superkok sturen."
• Het resultaat: De superkok is iets minder precies dan de originele koks (misschien is de soep net iets minder smaakvol), maar hij is veel sneller. De klant krijgt zijn eten wel op tijd, en dat is vaak belangrijker dan dat het 100% perfect is.

3. De "Dynamische Chef" (SLO-Aware Control)

Het systeem heeft een slimme chef die de hele tijd kijkt naar de klok.

• Als de klanten te lang wachten (te dicht bij de deadline), schakelt de chef direct meer bestellingen naar de snelle superkok (verlaagt de "drempel").
• Als het rustig is, schakelt hij weer terug naar de perfecte, originele koks voor de beste kwaliteit.
• Dit gebeurt automatisch en in milliseconden.

Wat levert dit op?

De tests in het papier tonen aan dat dit systeem wonderen doet:

• Snelheid: Het restaurant kan tot 2 keer zoveel bestellingen per uur afhandelen dan de oude systemen.
• Betrouwbaarheid: Het aantal keren dat klanten moeten wachten (SLO-overtredingen) daalt met 90%. Zelfs als er een plotselinge storm van bestellingen komt, blijft het systeem stabiel.
• Kwaliteit: De kwaliteit van het eten (de antwoorden van de AI) zakt heel weinig (ongeveer 5%), maar dat is een kleine prijs om te betalen voor het feit dat je niet 10 minuten hoeft te wachten.

Samenvattend

BrownoutServe is als een slimme restaurantmanager die weet dat je in tijden van grote drukte beter een snelle, goed genoeg maaltijd kunt serveren dan een perfecte maaltijd die te laat aankomt. Door koks te samenvoegen en slim te schakelen, zorgt het ervoor dat de AI ook tijdens piekmomenten snel en betrouwbaar blijft, zonder dat je duizenden extra dure computers nodig hebt.

Technische samenvatting

Probleemstelling

De paper adresseert de uitdagingen bij het serveren van Large Language Models (LLMs) die gebaseerd zijn op de Mixture-of-Experts (MoE) architectuur, specifiek onder bursty werklasten (plotselinge pieken in vraag). Hoewel MoE-modellen (zoals Mixtral, DeepSeekV3) efficiënter zijn dan dichte modellen door slechts een subset van parameters ("experts") te activeren, ondervinden bestaande systemen (zoals vLLM en DeepSpeed-MoE) twee hoofdproblemen:

1. Ongelijke Expert-belasting en Resource Inefficiëntie: In MoE-modellen worden tokens ongelijk verdeeld over experts. Een paar "hot experts" verwerken de meeste tokens, terwijl "cold experts" onderbenut zijn. Bij grote batchgroottes of piekmomenten kan dit leiden tot quasi-dense verwerking, wat de GPU-parallelisme-voordelen tenietdoet en communicatiekosten verhoogt.
2. SLO-overtredingen bij Pieken: Bestaande systemen gebruiken statische configuraties. Bij plotselinge vraagpieken (bursty workloads) kunnen deze systemen de Service Level Objectives (SLOs) voor latentie niet halen. Traditionele schaalmechanismen (zoals het starten van nieuwe cloud-instances) hebben te veel "cold start" latentie (30-90 seconden) en zijn te traag om korte pieken op te vangen, wat leidt tot significante SLO-overtredingen en slechte gebruikerservaring.

Methodologie: BrownoutServe

BrownoutServe is een nieuw inference-servingsframework dat twee kernmechanismen introduceert om deze problemen op te lossen:

1. United Experts (Gecombineerde Experts)

In plaats van dat elke token een specifiek expert moet raadplegen, introduceert het framework het concept van "united experts".

• Principe: Meerdere originele experts worden samengevoegd tot één "united expert" via kennisdistillatie. Een united expert leert de gezamenlijke kennis van een groep originele experts (bijv. 2 of 4 experts per groep).
• Voordeel: Dit vermindert het aantal keer dat experts moeten worden opgehaald tijdens inferentie. Het verhoogt de gemiddelde batchgrootte per expert, wat de GPU-parallelisme-uitbating optimaliseert en de inferentielatentie verlaagt.

2. Dynamic Brownout Mechanism (Brownout-aanpak)

Geïnspireerd op "brownout"-strategieën in energiesystemen (waar niet-essentiële faciliteiten tijdelijk worden uitgeschakeld om de stroomvoorziening van kritieke infrastructuur te garanderen), past BrownoutServe dit toe op token-verwerking.

• Strategieën:
  • Zero-brownout: Alle tokens worden door originele experts verwerkt (maximale nauwkeurigheid).
  • Full-brownout: Een bepaald percentage tokens wordt genegeerd in de huidige transformer-laag om latentie te minimaliseren (risico op nauwkeurigheidsverlies).
  • Partial-brownout (De kerninnovatie): Tokens die normaal door "cold experts" zouden worden verwerkt, worden in plaats daarvan door de united experts verwerkt. Dit vermindert de overhead van expert-toegang terwijl de nauwkeurigheid behouden blijft.
• SLO-Aware Latency Control (SALC) Algorithm: Een dynamisch algoritme dat de "brownout-configuratie" (de drempelwaarde voor hoeveel tokens naar united experts gaan) aanpast op basis van real-time feedback.
  • Als de latentie boven de SLO dreigt te stijgen, verlaagt het algoritme de drempelwaarde (meer tokens naar united experts) om de snelheid te verhogen.
  • Als de latentie ruim onder de SLO ligt, verhoogt het de drempelwaarde om de nauwkeurigheid te maximaliseren.
  • Het doel is om de latentie net onder de SLO te houden, wat de beste balans biedt tussen snelheid en nauwkeurigheid.

Belangrijkste Bijdragen

1. Nieuw Framework: BrownoutServe is het eerste framework dat specifiek is ontworpen voor MoE-inferentie op middelgrote GPU-clusters met bursty werklasten, gebruikmakend van united experts en dynamische brownout.
2. Concepten: Introductie van "united experts" en de "brownout approach" met drie strategieën (zero, full, partial) om een trade-off tussen nauwkeurigheid en latentie te managen.
3. Dynamische Regeling: Ontwikkeling van het SALC-algoritme dat automatisch de brownout-drempel aanpast om SLO's te waarborgen zonder menselijke tussenkomst.
4. Implementatie: Een efficiënte implementatie (geschreven in Python/Triton) die geïntegreerd is met bestaande optimalisaties zoals PagedAttention en FlashAttention.

Resultaten

De auteurs hebben BrownoutServe geëvalueerd met het Qwen1.5-MoE-A2.7B model op een cluster van 4 NVIDIA A100 GPU's, vergeleken met de baseline vLLM.

• Throughput: BrownoutServe bereikte een 2.07x hogere throughput dan vLLM (non-fused) en een significante verbetering ten opzichte van vLLM (native) onder bursty werklasten.
• SLO-overtredingen: Het systeem reduceerde het percentage SLO-overtredingen met 90.28% vergeleken met vLLM tijdens piekmomenten.
• Nauwkeurigheid: De trade-off was gunstig; bij de optimale configuraties (bijv. 8-way united experts met een drempel van 0.4) was het gemiddelde nauwkeurigheidsverlies slechts ongeveer 5%, wat acceptabel wordt geacht voor tijdelijke pieken om de service beschikbaar te houden.
• Robuustheid: Tijdens simulaties met verdubbeling van het verkeer (burst) bleef BrownoutServe stabiel binnen de SLO-waarschuwingszones, terwijl vLLM aanzienlijke latentiepieken vertoonde.

Betekenis en Impact

BrownoutServe biedt een praktische oplossing voor het probleem van statische resource-toewijzing in de moderne LLM-wereld. Het bewijst dat het dynamisch degraderen van inferentie-kwaliteit (via brownout) en het samenvoegen van experts een effectieve manier is om service-reliabiliteit te garanderen tijdens onverwachte vraagpieken, zonder dat er dure en trage horizontale schaling nodig is. Dit maakt MoE-modellen veel praktischer inzetbaar in omgevingen met beperkte resources en fluctuerende vraag, zoals chatbots en real-time aanbevelingssystemen. De open-source beschikbaarheid van de code bevordert verdere adoptie en onderzoek in dit domein.