Serving Compound Inference Systems on Datacenter GPUs

Dit paper introduceert JigsawServe, het eerste serveerframework dat end-to-end latency, nauwkeurigheid en GPU-kosten optimaliseert door adaptief modelvarianten te kiezen en ruimtelijke GPU-partitionering toe te passen voor compound inference-systemen, wat resulteert in een tot 11,3 keer hogere doorvoer en aanzienlijk lager resourcegebruik dan bestaande oplossingen.

De kern

Stel je voor dat je een groot, modern restaurant runt in een drukke stad (het datacenter). In het verleden kookte dit restaurant slechts één soort gerecht per bestelling: een simpele hamburger (één AI-model). Maar nu willen de klanten complexe maaltijden: eerst een salade, dan een soep, en tot slot een nagerecht, allemaal in één keer besteld. Dit is wat de auteurs een "samengesteld inferentiesysteem" noemen: een keten van verschillende AI-taken die samenwerken om één antwoord te geven.

Het probleem? De keuken (de GPU's) is duur en beperkt. Als je voor elke bestelling een hele nieuwe chef-kok en een hele nieuwe keuken nodig hebt, ben je snel failliet. Je wilt juist zo efficiënt mogelijk koken met zo min mogelijk hulpbronnen, zonder dat de klanten wachten of dat het eten (de nauwkeurigheid) slecht wordt.

Hier komt JIGSAWSERVE om de hoek kijken. Het is een slimme "hoofd-kok" die de hele keuken optimaliseert. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Drie Slimme Trucs van JIGSAWSERVE

JIGSAWSERVE gebruikt drie magische trucs om het restaurant super-efficiënt te maken:

A. De "Maatwerk Keukens" (Ruimtelijke Partitie)
Stel je voor dat je een enorme, dure oven hebt. Normaal gesproken staat er één grote pan in, en de rest van de oven blijft leeg. Dat is zonde!
JIGSAWSERVE gebruikt een techniek (zoals bij NVIDIA's MIG) om die ene grote oven op te delen in veel kleine, afzonderlijke oventjes.

• Voorbeeld: In plaats van één grote pan soep te koken, kun je nu in dezelfde oven tegelijkertijd een klein bakje soep, een bordje salade en een stukje taart bereiden. Elke "taak" krijgt zijn eigen kleine oventje, maar ze delen dezelfde grote oven. Zo wordt de oven nooit leeg staan.

B. De "Slimme Menu-opties" (Accuracy Scaling)
Niet elke klant wil de duurste, ultieme truffelsoep. Soms is een goede, snelle soep genoeg.
JIGSAWSERVE heeft voor elke taak in de keten verschillende "versies" van het recept.

• Voorbeeld: Voor de salade (een simpele taak) kiest het systeem een snelle, goedkope versie van het recept. Voor de taart (een moeilijke taak) kiest het de dure, precieze versie. Door hier slim mee te schakelen, bespaar je tijd en energie, terwijl de klant nog steeds tevreden is.

C. De "Keten-Strateeg" (Task-Graph Informed Budgeting)
Dit is de meest belangrijke truc. Het systeem kijkt naar het gehele plaatje, niet alleen naar één gerecht.

• Voorbeeld: Als de salade (taak 1) snel klaar is, maar de soep (taak 2) lang duurt, dan weet het systeem: "Oké, we kunnen bij de salade iets minder tijd besteden, zodat we meer tijd over hebben voor de soep." Het deelt de tijd en de energie slim uit over de hele keten, zodat het eindresultaat (de maaltijd) op tijd en goed is.

2. Het Grote Resultaat: Meer met Minder

De auteurs hebben dit systeem getest in een enorme testkeuken met veel ovens (GPU's). De resultaten waren verbazingwekkend:

• 11,3 keer meer klanten: Met dezelfde hoeveelheid ovens kon JIGSAWSERVE 11,3 keer meer bestellingen per seconde afhandelen dan de beste systemen die daarvoor bestonden.
• Slechts 43% gebruik: Het systeem had gemiddeld maar 43% van de beschikbare ovens nodig om aan alle eisen te voldoen. De andere systemen gebruikten vaak meer dan het dubbele.
• Bijna geen klachten: De klanten kregen hun eten op tijd (minder dan 0,6% vertraging) en het smaakte precies goed (de nauwkeurigheid bleef hoog).

3. Waarom is dit zo belangrijk?

Vroeger dachten mensen: "Als we meer willen, moeten we meer ovens kopen." JIGSAWSERVE bewijst dat je door slimmer te plannen (de oven op te delen, de recepten aan te passen en de keten te optimaliseren) veel meer kunt doen met wat je al hebt.

Het is alsof je een puzzel oplost:

• De puzzelstukjes zijn de verschillende AI-modellen.
• De puzzelplaat is de GPU.
• JIGSAWSERVE is de persoon die de stukjes precies in de juiste vakjes legt, zodat er geen ruimte overblijft en het plaatje perfect is.

Kortom: JIGSAWSERVE is de eerste "meester-kok" die weet hoe je een complexe, multi-taken AI-systeem draait op datacenter-chips, zodat we straks snellere XR-brillen, slimme auto's en betere chatbots kunnen hebben, zonder dat de energierekening en de hardwarekosten de pan uitrijzen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Serving Compound Inference Systems on Datacenter GPUs" in het Nederlands.

Probleemstelling

Toepassingen in opkomende domeinen zoals Extended Reality (XR) en multi-agent systemen worden steeds vaker gebouwd als samengestelde inferentiesystemen (compound inference systems). In plaats van één monoliet ML-model te gebruiken, bestaan deze systemen uit een gericht acyclisch graaf (DAG) van meerdere ML-modellen die samenwerken om een complexe taak te voltooien.

Het efficiënt serveren van deze systemen op datacenter-GPU's stelt twee unieke uitdagingen:

1. Budgetverdeling: Hoe moeten eind-tot-eind (end-to-end) latentie- en nauwkeurigheidsbudgetten (SLO's) worden verdeeld over de verschillende taken in de graaf? Een fout in één taak kan de totale nauwkeurigheid beïnvloeden, maar niet alle taken vereisen dezelfde nauwkeurigheidsniveaus.
2. Heterogene Resource-toewijzing: Verschillende taken in dezelfde graaf hebben verschillende resource-eisen. Traditionele systemen wijzen vaak hele GPU's toe aan taken, wat leidt tot inefficiënt gebruik (onderbenutting) van de hardware. Moderne GPU's (zoals NVIDIA) bieden mechanismen voor ruimtelijke partitie (bijv. MIG en MPS), maar deze worden zelden optimaal benut in combinatie met modelvarianten voor samengestelde systemen.

Bestaande oplossingen focussen vaak op slechts één aspect (bijv. alleen nauwkeurigheids-schaling of alleen partitie) en missen een gezamenlijke optimalisatie voor latentie, nauwkeurigheid en kosten.

Methodologie: JIGSAWSERVE

De auteurs presenteren JIGSAWSERVE, het eerste serveringsframework dat gezamenlijk optimaliseert voor latentie, nauwkeurigheid en kosten (in GPU-resources) door drie kernmechanismen te combineren:

1. Per-taak Nauwkeurigheids-Schaling (Accuracy Scaling): Het systeem kiest dynamisch tussen verschillende modelvarianten (bijv. ResNet-18 vs. ResNet-101, of gequantizeerde versies) voor elke specifieke taak in de graaf. Dit stelt het systeem in staat om nauwkeurigheidsbudgetten te "verspillen" aan taken waar dat weinig impact heeft op de totale output, ten gunste van performance.
2. Ruimtelijke GPU-Partitie (Spatial Partitioning): Het maakt gebruik van NVIDIA's MIG (Multi-Instance GPU) en MPS (Multi-Process Service). Een fysieke GPU wordt opgesplitst in geïsoleerde "GPU-segmenten" (MIG-instanties), waarin meerdere MPS-processen kunnen draaien. Dit minimaliseert interferentie tussen taken en maximaliseert de GPU-uitlast.
3. Op Taak-Graph Gebaseerde Budgettering: In tegenstelling tot eerdere werken die taken los van elkaar behandelen, gebruikt JIGSAWSERVE de structuur van de DAG. Het houdt rekening met multiplicative factoren (bijv. één objectdetectie kan leiden tot meerdere downstream-inferenties) om de doorvoervereisten per taak nauwkeurig te berekenen en de latentie- en nauwkeurigheidsbudgetten daarop af te stemmen.

Architectuur en Implementatie:

• Controller: Gebruikt een Mixed Integer Linear Programming (MILP) formulering om de optimale configuratie te vinden. De beslissingsvariabelen omvatten het aantal instanties per taak, het gekozen modelvariant, het type GPU-segment en de batchgrootte.
• Profiler: Voert offline profiling uit om latentie en doorvoer te meten voor alle combinaties van modellen, GPU-segmenten en batchgroottes.
• Frontend: Beheert client-verzoeken, routeert deze door de graaf en past dynamisch de configuratie aan op basis van veranderende vraag (demand).

Belangrijkste Bijdragen

1. Novel Framework: JIGSAWSERVE is het eerste systeem dat modelvariant-selectie, ruimtelijke GPU-partitie en taak-graph-informeren budgettering gezamenlijk optimaliseert voor samengestelde inferentiesystemen.
2. Analytische Validatie: De auteurs tonen aan dat ruimtelijke partitie (S) de grootste individuele winst levert (5,25x meer capaciteit vergeleken met een niet-geoptimaliseerd systeem), gevolgd door nauwkeurigheids-schaling (A) en taak-graph-budgettering (T). De volledige integratie (A+S+T) resulteert in een 21,6x toename in maximale bedienbare vraag.
3. Empirische Evaluatie: Het systeem is geëvalueerd op een testbed met 4x NVIDIA H100 GPU's voor drie verschillende toepassingen (Social Media, Verkeersanalyse, AR-assistent).
4. Vergelijking met State-of-the-Art: JIGSAWSERVE wordt vergeleken met de dichtstbijzijnde bestaande werken (zoals Loki, Clover, ParvaGPU) en varianten die slechts twee van de drie features combineren.

Resultaten

De resultaten tonen een aanzienlijke verbetering in efficiëntie en prestaties:

• Capaciteit: JIGSAWSERVE kan 11,3x meer vraag bedienen (in requests per seconde) vergeleken met de dichtstbijzijnde voorganger (Loki, wat overeenkomt met A+T zonder partitie).
• Resourcegebruik: In een breed scala aan scenario's verbruikt JIGSAWSERVE gemiddeld slechts 43,3% van de beschikbare GPU-resources, terwijl het de nauwkeurigheids-SLO's respecteert.
• SLO-Verstoringen: Het systeem vertoont minder dan 0,6% gemiddelde verstoring van de latentie-SLO's.
• Vergelijking met Baselines:
  • Systemen zonder ruimtelijke partitie (zoals A+T) vertonen vaak >10% SLO-verstoringen en gebruiken meer dan 2x zoveel resources.
  • Zelfs systemen die partitie en schaling combineren maar geen taak-graph-informatie gebruiken (A+S), presteren slechter dan JIGSAWSERVE (33% meer resourcegebruik en hogere SLO-verstoringen).
• Configuratie-Intelligentie: Het systeem kiest slimme combinaties; bijvoorbeeld, voor de AR-assistent kiest het voor een minder nauwkeurig GIT-model (tekstgeneratie) maar behoudt het hoge nauwkeurigheidsniveau voor YOLO (objectdetectie) en TTS, omdat de impact op de totale output anders is.

Betekenis en Conclusie

Dit paper onderstreept dat de efficiëntie van samengestelde inferentiesystemen niet kan worden bereikt door het optimaliseren van individuele onderdelen, maar vereist een holistische benadering.

• Voor de ML-gemeenschap: Er is een sterke noodzaak om meerdere modelvarianten per architectuur vrij te geven om flexibiliteit in performance en nauwkeurigheid te bieden.
• Voor Hardware-leveranciers: Ruimtelijke partitie-mechanismen (zoals MIG) moeten worden omarmd en prioriteit krijgen, aangezien ze essentieel zijn voor het maximaliseren van datacenter-efficiëntie.
• Algemene Impact: JIGSAWSERVE bewijst dat door de interactie tussen modelkeuze, hardware-partitie en de structuur van de werklast (task graph) te optimaliseren, datacenters aanzienlijk meer vraag kunnen bedienen met minder hardware, wat leidt tot lagere kosten en een kleinere ecologische voetafdruk.