🤖 machine learning

ML Inference Scheduling with Predictable Latency

Dit artikel identificeert kritieke beperkingen in bestaande benaderingen voor ML-inferentieplanning, specifiek hun grofmazige interferentievoorspelling en de afhankelijkheid van statische modellen, wat leidt tot onnauwkeurige latentievoorspellingen en aangetaste SLO's onder dynamische workloads.

Oorspronkelijke auteurs: Haidong Zhao, Nikolaos Georgantas

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haidong Zhao, Nikolaos Georgantas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De Drukke Keuken van een Hoogwaardig Restaurant

Stel je een hoogwaardige restaurantkeuken voor (de GPU) die ongelooflijk snel is, maar ook erg duur om te laten draaien. Om geld te besparen, wil de eigenaar zoveel mogelijk maaltijden tegelijkertijd bereiden (utilisatie verbeteren).

In deze keuken komen bestellingen binnen voor verschillende gerechten (zoals Machine Learning-modellen). Om efficiënt te zijn, groepeert de chef vergelijkbare bestellingen samen in een enkele "batch" om ze allemaal tegelijk te bereiden. In plaats van bijvoorbeeld één burger te bakken, dan twee frietjes, en dan weer één burger, bakken ze een tray van vijf burgers tegelijkertijd.

Echter, de keuken heeft een probleem: Interferentie.
Als de chef probeert om een enorme tray burgers en een tray delicate soufflés op exact hetzelfde moment op hetzelfde fornuis te bereiden, kunnen ze elkaar in de weg zitten. De hitte kan ongelijkmatig worden, of de chef moet te vaak wisselen van gereedschap. Dit vertraagt alles, waardoor het eten te laat aankomt.

In de wereld van AI betekent "te laat eten" latentie. Als een zelfrijdende auto of een videogesprek een vertraagd antwoord krijgt omdat de keuken te druk was, is dat een falen. Het doel van dit paper is om uit te zoeken hoe je deze kookbatches kunt plannen zodat de keuken druk blijft zonder dat het eten te laat komt.

Het Probleem: Gokken is Gevaarlijk

Het paper stelt dat de huidige methoden om te voorspellen hoeveel "drukte" (interferentie) er zal optreden, op twee belangrijke punten gebrekkig zijn:

1. Het "Statische Snapshot"-probleem (Grofmazig)

De Analogie: Stel je voor dat je een verkeersregelaar bent. Je kijkt op een kaart en ziet een rode vrachtwagen en een blauwe auto die momenteel op de snelweg rijden. Je voorspelt dat ze de hele rit naast elkaar zullen rijden.
De Realiteit: In de keuken kan de rode vrachtwagen (Batch 1) na 10 seconden de snelweg verlaten, en kan er een enorme vrachtwagen (Batch 3) bij komen die er 5 minuten blijft.
De Bewering van het Paper: Huidige AI-schedulers zijn als die verkeersregelaar. Ze kijken naar wie er op dit moment in de keuken is en gaan ervan uit dat dat zo zal blijven. Ze negeren het feit dat batches op verschillende tijdstippen aankomen en vertrekken.

Resultaat: De voorspelling klopt niet. Het systeem denkt dat de keuken rustig zal zijn, maar plotseling arriveert er een nieuwe, zware batch, wat zorgt voor een verkeersopstopping en late leveringen.

2. Het "Oude Kaart"-probleem (Niet-adaptief/Statische Modellen)

De Analogie: Stel je voor dat je een robotchef hebt getraind om kooktijden te voorspellen met behulp van een menu van vorig jaar. Vorig jaar bestelde iedereen burgers. Dit jaar bestelt iedereen complexe zeevruchten.
De Realiteit: De robotchef denkt nog steeds: "Oh, het zijn gewoon burgers," en voorspelt dat de kooktijd snel zal zijn. Maar omdat het menu is veranderd, heeft de robot het mis.
De Bewering van het Paper: Huidige AI-modellen zijn "statisch". Ze worden één keer getraind op oude data en daarna nooit meer bijgewerkt. Als de soorten verzoeken veranderen (bijv. er worden nieuwe AI-modellen toegevoegd, of het aantal bestellingen verandert), wordt het oude model onnauwkeurig.

Resultaat: Het systeem blijft slechte gokken maken omdat het een verouderde kaart gebruikt voor een veranderende wereld.

Wat de Auteurs Deden (Het Experiment)

De auteurs zetten een testkeuken op (met behulp van een NVIDIA GPU) om te zien hoe erg deze twee problemen werkelijk zijn.

Het testen van het "Snapshot"-probleem: Ze draaiden simulaties waarbij batches op verschillende tijdstippen arriveerden en vertrokken. Ze ontdekten dat als je deze veranderingen negeert, je voorspelling over hoe lang een taak zal duren er enorm naast kan zitten (soms met meer dan 60% foutmarge). Het is alsoer dat je voorspelt dat een rit van 10 minuten 16 minuten zal duren omdat je niet wist dat er een verkeerslicht op rood zou springen.
Het testen van het "Oude Kaart"-probleem: Ze trainden een model op een specifieke set gerechten en probeerden vervolgens de tijden te voorspellen voor een totaal andere set gerechten. Het oude model faalde jammerlijk. Echter, toen ze het model "on the fly" lieten leren (Online Learning) — door de voorspellingen aan te passen terwijl het nieuwe data zag — werd het veel beter in het afhandelen van de veranderingen.

De Conclusie

Het paper concludeert dat om een efficiënte AI-keuken te draaien zonder late leveringen, we moeten stoppen met het gebruik van "domme" schedulers die:

Negeren dat de drukte in de keuken elke seconde verandert.
Weigeren te leren van nieuwe soorten bestellingen.

In plaats daarvan hebben we een slimme scheduler nodig die:

De keuken dynamisch in de gaten houdt (het bijhouden van wie er arriveert en vertrekt).
Leert en voorspellingen in realtime bijwerkt naarmate de werklast verandert.

Door dit te doen, kunnen we de GPU (de keuken) druk en efficiënt houden, terwijl we tegelijkert drukt garanderen dat elke bestelling (elke AI-aanvraag) zijn antwoord op tijd krijgt.

Technische Samenvatting: ML-inferentieplanning met Voorspelbare Latentie

Probleemstelling
Systemen voor het serveren van machine learning (ML) inferentie streven ernaar om de GPU-benutting te maximaliseren terwijl ze zich houden aan strikte Service Level Objectives (SLO's) of deadlines. Om de benutting te verbeteren, maken systemen vaak gebruik van dynamische batching (het samenvoegen van verzoeken) en gelijktijdige batch-executie (het gelijktijdig draaien van meerdere batches op een enkele GPU). Echter, gelijktijdige executie introduceert interferentie doordat batches concurreren om beperkte GPU-bronnen (bijv. L2-cache, DRAM, Tensor Cores). Deze interferentie veroorzaakt onvoorspelbare latentie-afwijkingen, wat het moeilijk maakt om SLO's te garanderen.

Bestaande benaderingen voor interferentievoorspelling lijden onder twee primaire beperkingen:

Grofmazige Voorspelling: Ze negeren vaak de runtime co-locatie dynamiek. Een batch kan gedurende zijn uitvoering voor variërende tijdsduur co-loceren met verschillende gelijktijdige batches. Statische modellen die uitgaan van een enkele, constante interferentiebron, slagen er niet in deze temporele verschuivingen te vangen, wat leidt tot onnauwkeurige voorspellingen.
Niet-adaptieve Modellen: Bestaande benaderingen vertrouwen doorgaans op statische modellen die offline zijn getraind. Deze modellen verslechteren in nauwkeurigheid wanneer de workload-kenmerken veranderen (bijv. nieuwe modellen worden uitgerold, of de aankomstfrequentie van verzoeken verschuift), wat kostbare hertraining en heruitrol vereist.

Methodologie
De auteurs evalueren deze beperkingen via een reeks simulaties en experimenten uitgevoerd op een NVIDIA L4 GPU met de TensorRT inferentie-engine.

Experimentele Opzet: De studie maakt gebruik van een diverse set DNN-modellen (CNN's zoals ResNet-50, VGG-19, ConvNeXt-B; en Transformers zoals RoBERTa-B, ViT-B-16, YOLO-v8n). Workloads volgen een Poisson-aankomstproces, variërend van lichte belastingen tot stresstests.
Baseline Benadering: De evaluatie neemt de interferentievoorspellingsmethode van gpulets [7] over, die een lineair regressiemodel ( $\hat{y} = w^T x + b$ ) gebruikt. De input-features ( $x$ ) bestaan uit gemiddelde resource-throughput-metrieken (L2-cache, DRAM en SM-throughput) van de geïnterfereerde batch en de co-gelokaliseerde batch, offline geprofileerd met NVIDIA Nsight Compute.
Evaluatie van Grofmazige Beperkingen: De auteurs simuleren scenario's waarin co-locatie dynamiek verandert (bijv. Batch 2 co-loceert kortstondig met Batch 1, en daarna voor een lange duur met Batch 3). Ze vergelijken:
- Statisch: Het volledig negeren van dynamiek (gebruikmakend van de initiële runtime-toestand).
- Partiële Dynamiek: Het bijhouden van aankomsten/vertrek en het afvlakken van throughput met behulp van een Exponentially Weighted Moving Average (EWMA) met variërende afvlakkingsfactoren ( $\alpha$ ).
Evaluatie van Niet-adaptieve Beperkingen: De auteurs vergelijken drie leerstrategieën over verschillende testsets (variërende belastingen, nieuwe modellen en heterogene workloads):
- Offline Learning: Een statisch model dat eenmaal is getraind op een specifieke dataset.
- Online Learning (SGD): Update modelgewichten tijdens runtime met behulp van Stochastic Gradient Descent.
- Online Learning (RLS): Update modelgewichten met behulp van Recursive Least Squares.

Belangrijkste Resultaten

Impact van Co-Locatie Dynamiek: Het negeren van runtime co-locatie dynamiek leidt tot significante voorspellingsfouten. Zelfs wanneer dynamiek gedeeltelijk wordt meegenomen via EWMA, vertoont het voorspellingsmodel nog steeds merkbare afwijkingen. In de evaluatie viel, hoewel meer dan 50% van de voorspellingen binnen een relatieve fout van 20% viel, een aanzienlijk deel buiten de 60% foutmarge. De auteurs schrijven dit toe aan het gebruik van onnauwkeurige, statische resource-throughputwaarden van de co-gelokaliseerde batch als input-features, die er niet in slagen de werkelijke resource-druk die een batch over tijd ervaart, te reflecteren.
Impact van Workload Veranderingen: Statische modellen lijden onder prestatieverslechtering bij veranderende workloads.
- Wanneer getest op nieuw uitgerolde modellen (Test Set 2) die niet tijdens de training zijn gezien, vertoonde de offline learning methode een enorme toename in Mean Squared Error (MSE) van 0.0355 naar 0.5480.
- Online learning methoden (zowel SGD als RLS) mitigeerden deze verslechtering aanzienlijk, waarbij ze veel lagere MSE's behielden (0.4311 voor SGD en 0.3467 voor RLS).
- RLS presteerde consequent beter dan plain SGD, waarschijnlijk door het vermogen om kromminginformatie te benutten voor snellere convergentie, zij het tegen een hogere computationele kosten.

Belangrijkste Bijdragen

Evaluatie van Voorspellingsbeperkingen: Het artikel levert empirisch bewijs dat grofmazige interferentievoorspellingsmethoden, die runtime co-locatie dynamiek negeren, leiden tot substantiële afwijkingen in de nauwkeurigheid.
Beoordeling van Model Adaptiviteit: De studie demonstreert dat statische voorspellingsmodellen aanzienlijk verslechteren onder veranderende workload-kenmerken (concept drift), terwijl online learning benaderingen de voorspellingsnauwkeurigheid kunnen handhaven.
Baseline voor Toekomstig Werk: Door de gpulets benadering rigoureus te testen, vestigen de auteurs een baseline die de specifieke faalmodi van de huidige state-of-the-art interferentievoorspelling in dynamische ML-serving omgevingen aantoont.

Betekenis en Claims
De auteurs claimen bescheiden dat hun werk kritieke hiaten in huidige interferentievoorspellingsstrategieën blootlegt. Zij stellen dat voor ML-inferentieplanning om een hoge GPU-benutting te bereiken terwijl aan SLO's wordt voldaan, voorspellingsmechanismen moeten worden herontworpen om:

Rekening te houden met runtime co-locatie dynamiek in plaats van te vertrouwen op statische snapshots.
Online learning capaciteiten te integreren om zich aan te passen aan evoluerende workload-kenmerken zonder volledige hertraining te vereisen.

Het artikel positioneert zichzelf als een fundamentele evaluatie ("Work in Progress") die de noodzaak identificeert voor meer geavanceerde, adaptieve voorspellingsmodellen en betere resource-metrieken om werkelijk voorspelbare latentie in ML-inferentiesystemen mogelijk te maken.