🤖 machine learning

ML Inference Scheduling with Predictable Latency

Diese Arbeit identifiziert kritische Einschränkungen bestehender Ansätze zur ML-Inferenz-Planung, insbesondere deren grobkörnige Interferenzprognose und die Abhängigkeit von statischen Modellen, was zu ungenauen Latenzprognosen und gefährdeten SLOs unter dynamischen Workloads führt.

Ursprüngliche Autoren: Haidong Zhao, Nikolaos Georgantas

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haidong Zhao, Nikolaos Georgantas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die geschäftige Restaurantküche

Stellen Sie sich eine High-End-Restaurantküche (die GPU) vor, die unglaublich schnell, aber auch sehr teuer im Betrieb ist. Um Geld zu sparen, möchte der Besitzer so viele Mahlzeiten wie möglich gleichzeitig zubereiten (Verbesserung der Auslastung).

In dieser Küche kommen Bestellungen für verschiedene Gerichte ein (wie zum Beispiel Machine-Learning-Modelle). Um effizient zu sein, gruppiert der Koch ähnliche Bestellungen zu einem einzigen „Batch“ (einer Charge), um sie alle auf einmal zu kochen. Anstatt also erst einen Burger, dann zwei Pommes und dann wieder einen Burger zu kochen, bereitet er ein ganzes Tablett mit fünf Burgern gleichzeitig zu.

Die Küche hat jedoch ein Problem: Interferenz.
Wenn der Koch versucht, zur exakt gleichen Zeit ein riesiges Tablett mit Burgern und ein Tablett mit empfindlichen Soufflés auf demselben Herd zuzubereiten, können sie sich gegenseitig behindern. Die Hitze könnte ungleichmäßig werden, oder der Koch muss zu oft die Werkzeuge wechseln. Das verlangsamt alles und führt dazu, dass das Essen verspätet ankommt.

In der Welt der KI bedeutet „spätes Essen“ Latenz. Wenn ein selbstfahrendes Auto oder ein Videogespräch eine verzögerte Antwort erhält, weil die Küche zu überfüllt war, ist das ein Versagen. Das Ziel dieser Arbeit ist es, herauszufinden, wie man diese Koch-Batches so plant, dass die Küche zwar beschäftigt bleibt, aber das Essen trotzdem nicht zu spät kommt.

Das Problem: Raten ist gefährlich

Die Arbeit argumenttiert, dass die aktuellen Methoden zur Vorhersage, wie viel „Überfüllung“ (Interferenz) auftreten wird, in zwei Hauptpunken fehlerhaft sind:

1. Das „Statische Schnappschuss“-Problem (Grobkörnigkeit)

Die Analogie: Stellen Sie sich vor, Sie sind ein Verkehrsleiter. Sie schauen auf eine Karte und sehen einen roten Lkw und ein blaues Auto, die sich gerade auf der Autobahn befinden. Sie sagen voraus, dass sie die gesamte Strecke nebeneinander fahren werden.
Die Realität: In der Küche könnte der rote Lkw (Batch 1) die Autobahn nach 10 Sekunden verlassen, und ein riesiger Sattelzug (Batch 3) könnte hineinspringen und 5 Minuten lang bleiben.
Die Behauptung der Arbeit: Aktuelle KI-Scheduler sind wie dieser Verkehrsleiter. Sie schauen darauf, wer jetzt gerade in der Küche ist, und nehmen an, dass es so bleiben wird. Sie ignorieren die Tatsache, dass Batches zu unterschiedlichen Zeiten kommen und gehen.

Ergebnis: Die Vorhersage ist falsch. Das System denkt, die Küche sei ruhig, aber plötzlich trifft ein neuer, schwerer Batch ein, was einen Stau verursacht und zu verspäteten Lieferungen führt.

2. Das „Alte Landkarte“-Problem (Nicht-adaptiv/Statisch)

Die Analogie: Stellen Sie sich vor, Sie haben einen Roboter-Koch trainiert, um Kochzeiten mithilfe einer Speisekarte vom letzten Jahr vorherzusagen. Letztes Jahr haben alle Burger bestellt. Dieses Jahr bestellen alle komplexe Meeresfrüchte.
Die Realität: Der Roboter-Koch denkt immer noch: „Oh, das sind nur Burger“, und sagt voraus, dass die Kochzeit schnell sein wird. Aber weil sich das Menü geändert hat, liegt der Roboter daneben.
Die Behauptung der Arbeit: Aktuelle KI-Modelle sind „statisch“. Sie werden einmal auf alten Daten trainert und dann nie wieder aktualisiert. Wenn sich die Arten der Anfragen ändern (z. B. neue KI-Modelle hinzugefügt werden oder sich die Anzahl der Bestellungen ändert), wird das alte Modell ungenau.

Ergebnis: Das System macht immer wieder schlechte Vermutungen, weil es eine veraltete Landkarte für eine sich verändernde Welt benutzt.

Was die Autoren getan haben (Das Experiment)

Die Autoren haben eine Testküche aufgebaut (unter Verwendung einer NVIDIA GPU), um zu sehen, wie gravierend diese beiden Probleme wirklich sind.

Test des „Schnappschuss“-Problems: Sie führten Simulationen durch, bei denen Batches zu unterschiedlichen Zeiten ankamen und gingen. Sie fanden heraus, dass die Vorhersage, wie lange eine Aufgabe dauern wird, um eine enorme Spanne falsch liegen kann (manchmal mit einem Fehler von mehr als 60 %), wenn man diese Änderungen ignoriert. Es ist, als würde man raten, dass eine 10-minütige Fahrt 16 Minuten dauert, weil man nicht wusste, dass gleich eine rote Ampel kommt.
Test des „Alten Landkarte“-Problems: Sie trainierten ein Modell mit einem Satz von Gerichten und versuchten dann, die Zeiten für einen völlig anderen Satz von Gerichten vorherzusagen. Das alte Modell scheiterte kläglich. Als sie das Modell jedoch „on the fly“ lernen ließen (Online Learning) – also seine Vorhersagen aktualisierten, während es neue Daten sah – wurde es viel besser darin, die Veränderungen zu bewältigen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir, um eine effiziente KI-Küche ohne verspätete Lieferungen zu betreiben, aufhören müssen, „dumme“ Scheduler zu verwenden, die:

Ignorieren, dass sich die Menge in der Küche jede Sekunde ändert.
Sich weigern, aus neuen Arten von Bestellungen zu lernen.

Stattdessen brauchen wir einen intelligenten Scheduler, der:

Die Küche dynamisch beobachtet (verfolgt, wer ankommt und geht).
Lernt und seine Vorhersagen in Echtzeit aktualisiert, wenn sich die Arbeitslast ändert.

Dadso können wir die GPU (die Küche) beschäftigt und effizient halten und gleichzeitig garantieren, dass jede Bestellung (jede KI-Anfrage) rechtzeitig ihre Antwort erhält.

Technisches Resümee: ML-Inferenz-Scheduling mit vorhersagbarer Latenz

Problemstellung
Systeme für das Serving von Machine Learning (ML)-Inferenzen zielen darauf ab, die GPU-Auslastung zu maximieren und gleichzeitig strikte Service Level Objectives (SLOs) oder Deadlines einzuhalten. Um die Auslastung zu verbessern, setzen Systeme häufig auf dynamisches Batching (Konsolidierung von Anfragen) und konkurrenten Batch-Vollzug (gleichzeitiges Ausführen mehrerer Batches auf einer einzigen GPU). Die konkurrente Ausführung führt jedoch zu Interferenzen, da Batches um begrenzte GPU-Ressourcen (z. B. L2-Cache, DRAM, Tensor Cores) konkurrieren. Diese Interferenzen verursachen unvorhersehbare Latenzabweichungen, was die Garantie von SLOs erschwert.

Bestehende Ansätze zur Interferenzvorhersage leiden unter zwei primären Einschränkungen:

Grobkörnige Vorhersage: Sie ignorieren oft die Dynamik der Co-Lokalisation zur Laufzeit. Ein Batch kann während seiner Ausführung für unterschiedliche Zeiträume mit verschiedenen konkurrierenden Batches ko-lokalisiert sein. Statische Modelle, die eine einzige, konstante Interferenzquelle annehmen, können diese zeitlichen Verschiebungen nicht erfassen, was zu ungenauen Vorhersagen führt.
Nicht-adaptive Modelle: Bestehende Ansätze verlassen sich typischerweise auf statische Modelle, die offline trainiert wurden. Diese Modelle verlieren an Genauigkeit, wenn sich die Arbeitslastcharakteristika ändern (z. B. durch den Einsatz neuer Modelle oder Änderungen der Ankunftsraten von Anfragen), was kostspieliges Retraining und Redeployment erforderlich macht.

Methodik
Die Autoren evaluieren diese Einschränkungen durch eine Reihe von Simulationen und Experimenten, die auf einer NVIDIA L4 GPU mit der TensorRT-Inference-Engine durchgeführt wurden.

Experimenteller Aufbau: Die Studie nutzt einen vielfältigen Satz von DNN-Modellen (CNNs wie ResNet-50, VGG-19, ConvNeXt-B; und Transformer wie RoBERTa-B, ViT-B-16, YOLO-v8n). Die Workloads folgen einem Poisson-Ankunftsprozess, der von leichten Lasten bis hin zu Stresstests reicht.
Baseline-Ansatz: Die Evaluierung übernimmt die Interferenzvorhersagemethode von gpulets [7], die ein lineares Regressionsmodell ( $\hat{y} = w^T x + b$ ) verwendet. Die Eingangsmerkmale ( $x$ ) bestehen aus durchschnittlichen Ressourcendurchsatzmetriken (L2-Cache, DRAM und SM-Durchsatz) des interferierten Batches und seines ko-lokalisierten Batches, die offline mittels NVIDIA Nsight Compute profiliert wurden.
Evaluierung der grobkörnigen Einschränkungen: Die Autoren simulieren Szenarien, in denen sich die Co-Lokalisationsdynamik ändert (z. B. Batch 2 ist kurzzeitig mit Batch 1 ko-lokalisiert, dann für eine lange Dauer mit Batch 3). Sie vergleichen:
- Statisch: Ignoriert die Dynamik vollständig (verwendet den initialen Laufzeitzustand).
- Partielle Dynamik: Verfolgt Ankünfte/Abgänge und glättet den Durchsatz mittels eines exponentiell gewichteten gleitenden Durchschnitts (EWMA) mit variierenden Glättungsfaktoren ( $\alpha$ ).
Evaluierung der nicht-adaptiven Einschränkungen: Die Autoren vergleichen drei Lernstrategien über verschiedene Testsets hinweg (variierende Lasten, neue Modelle und heterogene Workloads):
- Offline-Lernen: Ein statisches Modell, das einmalig auf einem spezifischen Datensatz trainiert wurde.
- Online-Lernen (SGD): Aktualisiert die Modellgewichte zur Laufzeit mittels Stochastic Gradient Descent.
- Online-Lernen (RLS): Aktualisiert die Modellgewichte mittels Recursive Least Squares.

Wichtigste Ergebnisse

Einfluss der Co-Lokalisationsdynamik: Das Ignorieren der Co-Lokalisationsdynamik zur Laufzeit führt zu signifikanten Vorhersagefehlern. Selbst wenn die Dynamik teilweise über EWMA berücksichtigt wird, weist das Vorhersagemodell immer noch merkliche Abweichungen auf. In der Evaluierung lagen zwar über 50 % der Vorhersagen innerhalb eines relativen Fehlers von 20 %, ein erheblicher Teil jedoch überstieg einen Fehler von 60 %. Die Autoren führen dies auf die Verwendung ungenauer, statischer Ressourcendurchsatzwerte der ko-lokalisierten Batches als Eingangsmerkmale zurück, welche den tatsächlichen Ressourcendruck, dem ein Batch über die Zeit ausgesetzt ist, nicht widerspiegeln.
Einfluss von Arbeitslaständerungen: Statische Modelle leiden unter Leistungsabfall bei wechselnden Arbeitslasten.
- Bei Tests auf neu eingesetzten Modellen (Testset 2), die während des Trainings nicht gesehen wurden, zeigte die Offline-Lernmethode einen massiven Anstieg des mittleren quadratischen Fehlers (MSE) von 0,0355 auf 0,5480.
- Online-Lernmethoden (sowohl SGD als auch RLS) milderten diesen Abbau signifikant ab und hielten deutlich niedrigere MSE-Werte (0,4311 für SGD und 0,3467 für RLS).
- RLS schnitt konsistent besser ab als einfaches SGD, wahrscheinlich aufgrund der Fähigkeit, Krümmungsinformationen für eine schnellere Konvergenz zu nutzen, wenngleich dies mit höheren Rechenkosten verbunden ist.

Zentrale Beiträge

Evaluierung von Vorhersage-Einschränkungen: Die Arbeit liefert empirische Belege dafür, dass grobkörnige Interferenzvorhersagemethoden, die die zeitliche Co-Lokalisationsdynamik ignorieren, zu erheblichen Genauigkeitsabweichungen führen.
Bewertung der Modell-Adaptivität: Die Studie zeigt, dass statische Vorhersagemodelle unter wechselnden Arbeitslastcharakteristika (Concept Drift) erheblich an Leistung verlieren, während Online-Lernansätze die Vorhersagegenauigkeit aufrechterhalten können.
Baseline für zukünftige Arbeiten: Durch die rigorose Prüfung des gpulets-Ansatzes etablieren die Autoren eine Baseline, die die spezifischen Fehlermodi aktueller State-of-the-Art-Interferenzvorhersage in dynamischen ML-Serving-Umgebungen aufzeigt.

Bedeutung und Ansprüche
Die Autoren behaupten bescheiden, dass ihre Arbeit kritische Lücken in aktuellen Strategien zur Interferenzvorhersage aufzeigt. Sie argumentieren, dass Vorhersagemechanismen neu gestaltet werden müssen, damit das ML-Inferenz-Scheduling eine hohe GPU-Auslastung bei gleichzeitiger Einhaltung von SLOs erreichen kann:

Sie müssen die Dynamik der Co-Lokalisierung zur Laufzeit berücksichtigen, anstatt sich auf statische Momentaufnahmen zu verlassen.
Sie müssen Online-Lernfähigkeiten integrieren, um sich an evolvierende Arbeitslastcharakteristika anzupassen, ohne ein vollständiges Retraining zu erfordern.

Das Paper positioniert sich als eine fundamentale Evaluierung („Work in Progress“), die die Notwendigkeit für anspruchsvollere, adaptive Vorhersagemodelle und bessere Ressourcenmetriken aufzeigt, um eine wahrhaft vorhersagbare Latenz in ML-Inferenzsystemen zu ermöglichen.