Strait: Perceiving Priority and Interference in ML Inference Serving

1. Probleemstelling

Machine Learning (ML) inference-serversystemen staan voor aanzienlijke uitdagingen wanneer ze worden ingezet in on-premises scenario's onder hoge GPU-uitbating, specifiek wat betreft taakprioritering en nakoming van deadlines.

• Onvoldoende Prioritering: Bestaande systemen (bijv. TensorFlow Serving, NVIDIA Triton) missen vaak robuuste ondersteuning voor het prioriteren van kritieke taken (bijv. veiligheidsmonitoring, kwaliteitscontrole) boven minder kritieke taken. Hoewel ze CUDA-stream prioriteiten kunnen ondersteunen, zijn deze hardwarehints vaak inefficiënt omdat gelijktijdige kernels nog steeds concurreren om gedeelde middelen, wat kan leiden tot ernstige interferentie voor hoog-prioriteit (HP) taken of het missen van deadlines.
• Onvoorspelbare Interferentie: Huidige planning vertrouwt vaak op temporale deling (sequentiële uitvoering) of statische ruimtelijke deling (gelijktijdige uitvoering).
  • Temporale deling lijdt aan Head-of-Line (HOL) blokkering en onderbenutting.
  • Ruimtelijke deling verbetert de benutting maar introduceert interferentie tijdens gelijktijdige kernel-uitvoering en gegevensoverdrachten. Deze interferentie is niet-lineair en moeilijk te schatten, wat leidt tot onvoorspelbare latentie en schendingen van deadlines.
• Gebrek aan Preemptie: Commodity GPU's ondersteunen over het algemeen geen echte taakniveau-preemptie. Zodra een batch is toegewezen, kan deze niet worden onderbroken. Daarom moeten planningbeslissingen proactief worden genomen om te voorkomen dat deadlines worden geschonden, wat een nauwkeurige latentieschatting onder interferentie vereist.

2. Methodologie: Het Strait Systeem

Strait is een inference-serversysteem dat is ontworpen om de nakoming van deadlines voor verkeer met dubbele prioriteit (High-Priority en Low-Priority) te verbeteren door interferentie expliciet te modelleren en te beheren.

A. Systeemarchitectuur

Strait werkt lokaal op een node met meerdere GPU's. Het bestaat uit:

1. Prioriteitsbewuste Planner: Beheert taakwachtrijen voor verschillende modellen en wijst hen HP- of LP-status toe.
2. Interferentievoorspelling Engine: Een globaal model dat latentievertragingen schat veroorzaakt door interferentie bij gegevensoverdracht en kernel-uitvoering.
3. Adaptieve Leerlus: Werkteert de voorspellingsmodel continu bij op basis van runtime-feedback om workload-drift en hardwarevariaties te verwerken.

B. Interferentiemodeling

Strait decomposeert inference-latentie ($T_{inf}$) in vier componenten:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. Interferentie bij Gegevensoverdracht ($T_{data}$):

   • Gemodelleerd op basis van de observatie dat PCIe-gegevensoverdrachten met pinned memory een FIFO-proces volgen.
   • Vertragingen worden berekend op basis van de voltooiingstijd van de vorige batch op de PCIe-link.
   • Downstream-overdrachtinterferentie is vaak verwaarloosbaar vanwege de kleine outputgroottes.

2. Interferentie bij Kernel-uitvoering ($T_{kernel}$):

   • Voorspellingsmodel: Gebruikt een adaptief exponentieel groeimodel om vertraging te schatten. De intuïtie is dat interferentie langzaam toeneemt bij lage resource-druk, maar super-lineair versnelt naarmate de druk toeneemt (het vermogen van de GPU om latentie te verbergen wordt overschreden).
   • Invoer: Het model gebruikt tijd-gewogen gemiddelden van resource-throughput-metrieken (bijv. L1/L2-cache, DRAM, Tensor Cores, CUDA Cores) van colocaliseerde batches.
   • Prioriteitscoëfficiënt: Bevat een leerbare parameter ($coeff_p$) om weer te geven dat HP-taken mogelijk minder interferentie ervaren dan LP-taken onder identieke druk vanwege CUDA-stream prioritering.
   • Adaptatie: Het model gebruikt Adam-optimatie en Huber-verlies om parameters online bij te werken. Het kalibreert zich opnieuw op basis van het verschil tussen de voorspelde en de werkelijke kernel-uitvoeringslatentie, waardoor robuustheid tegen concept-drift (bijv. veranderende modelarchitecturen of GPU-types) wordt gewaarborgd.

C. Prioriteitsbewust Planningsalgoritme

De planner maakt gebruik van een binair zoekalgoritme om de optimale batchgrootte en GPU-toewijzing te bepalen. Het handhaaft twee hoofdrestricties:

1. Geen Schending van Hogere/Gelijke Prioriteit: Een nieuwe batch wordt alleen gepland als deze niet veroorzaakt dat lopende HP- of gelijk-prioriteitstaken hun deadlines missen.
2. Eigen Deadline Haalbaarheid: De nieuwe batch moet in staat zijn om zijn eigen deadline te halen, conservatief geschat (aannemende dat deze op de helft van de GPU-runtime-throughput draait).
3. LP-Regeling: Om HP-taken te beschermen, kapt het systeem dynamisch de aggregate throughput van LP-taken ($C_{low}$) af met een Additive-Increase Multiplicative-Decrease (AIMD)-beleid. Als een HP-taak een deadline mist, wordt $C_{low}$ gereset naar een conservatieve basislijn.

3. Belangrijkste Bijdragen

1. Interferentiebewuste Planning: Strait is het eerste systeem dat expliciete interferentievoorspelling (zowel bij gegevensoverdracht als kernel-uitvoering) direct integreert in de planningsbeslissing voor ML-verkeer met dubbele prioriteit.
2. Adaptief Voorspellingsmodel: Stelt een nieuw, zelf-adaptief regressiemodel voor dat patronen van resource-concurrentie dynamisch leert, waardoor de beperkingen van statische modellen worden overwonnen die falen wanneer workloads of hardware veranderen.
3. Prioriteitsbeheer zonder Preemptie: Demonstreert hoe effectieve taakprioritering op niet-preemptieve GPU's kan worden bereikt door proactief LP-taken te blokkeren of te regelen om HP-deadlines te beschermen.
4. Uitgebreide Evaluatie: Biedt een rigoureuze evaluatie tegen state-of-the-art baselines, inclusief temporale deling, statische/reactieve ruimtelijke deling en software-gedefinieerde preemptie (XSched).

4. Evaluatieresultaten

Experimenten werden uitgevoerd op NVIDIA L4 GPU's met diverse DNN-modellen (ResNet, ViT, YOLO, RoBERTa) onder stochastische, uniforme en productie-traces.

• Nakoming van Deadlines:
  • Strait vermindert deadline-schendingen voor High-Priority taken met 1,02 tot 11,18 procentpunten in vergelijking met bestaande ruimtelijke deling en preemptie-benaderingen.
  • Het leidt tot een aanvaardbare prestatieafweging voor Low-Priority taken (slechtste-case degradatie van slechts 0,61 procentpunt).
• Vergelijking met Preemptie (XSched):
  • In vergelijking met XSched (een kernel-niveau preemptiesysteem) bereikt Strait vergelijkbare HP-deadline-nakoming, maar biedt eerlijkere prestaties voor LP-taken.
  • XSched lijdt aan HOL-blokkering voor LP-taken wanneer HP-verzoeken domineren, terwijl Strait's proactieve planning dit vermijdt door gelijktijdigheid en batchgroottes te beheren.
• Aanpasbaarheid:
  • Het adaptieve voorspellingsmodel presteert aanzienlijk beter dan statische modellen bij de overgang tussen verschillende modelsets (CNN vs. Transformer) of GPU-architecturen (Ada Lovelace vs. Ampere vs. Hopper), met een reductie van p99-voorspellingsfouten met 7,2 tot 8 procentpunten.
• Overhead:
  • Planningsoverhead is minimaal (tientallen microseconden), waardoor het geschikt is voor real-time serving.

5. Betekenis

Strait adresseert een kritieke kloof in on-premises ML-infrastructuur waar deterministische latentie en taakprioritering van het grootste belang zijn (bijv. industriële automatisering, veiligheidssystemen). Door te bewegen van reactief resourcebeheer naar proactieve interferentieperceptie, stelt Strait het volgende in staat:

• Hogere Betrouwbaarheid: Zorgen dat kritieke taken strikte deadlines halen, zelfs onder zware belasting.
• Betere Resourcebenutting: Toestaan van veilige ruimtelijke deling zonder de onvoorspelbaarheid die systemen meestal dwingt om te vertrouwen op inefficiënte temporale deling.
• Schaalbaarheid: De aanpak is orthogonaal tot cluster-niveau autoscaling en kan worden geïntegreerd in bestaande serving-stacks (zoals Triton) om hun prioriteitsverwerkingsmogelijkheden te verbeteren zonder speciale hardware-preemptiesteun te vereisen.

Kortom, Strait biedt een robuust raamwerk voor het beheren van de complexe afwegingen tussen gelijktijdigheid, interferentie en prioriteit in moderne GPU-versnelde inference-serving.