🤖 machine learning

Strait: Perceiving Priority and Interference in ML Inference Serving

Strait ist ein Machine-Learning-Inferenz-Service-System, das die Einhaltung von Fristen für hochpriorisierte Aufgaben unter hoher GPU-Auslastung verbessert, indem es ein adaptives Vorhersagemodell einsetzt, um Datenübertragungskonflikte und Kernel-Interferenzen zu berücksichtigen, wodurch eine effektive prioritätsbewusste Planung ermöglicht wird.

Ursprüngliche Autoren: Haidong Zhao, Nikolaos Georgantas

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haidong Zhao, Nikolaos Georgantas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine belebte Küche in einem gehobenen Restaurant vor. Die Köche sind die leistungsstarken GPUs (Grafikkarten) in einem Computer, und die eingehenden Bestellungen sind KI-Anfragen (wie etwa die Aufforderung an einen Computer, einen Defekt an einem Autoteil zu identifizieren oder ein Gesicht zu erkennen).

Normalerweise versuchen diese Küchen, effizient zu sein, indem sie viele Bestellungen gleichzeitig (Batching) oder nacheinander zubereiten. Doch es gibt ein Problem: Manchmal wird die Küche so überfüllt, dass die „VIP-Bestellungen" (dringende Aufgaben wie das Stoppen einer gefährlichen Maschine) verzögert werden, weil sie hinter langsameren, weniger wichtigen Bestellungen (wie dem Anpassen der Raumtemperatur) stecken bleiben.

Die Arbeit stellt ein neues System namens Strait vor (denken Sie daran als einen superschlauen Küchenchef), das dieses Chaos beheben soll. Hier ist die Funktionsweise, einfach aufgeschlüsselt:

1. Das Problem: Der „Stau" in der Küche

In einer normalen Küche versucht ein Koch, wenn eine VIP-Bestellung hereinkommt, sie nach vorne zu schieben. Die Arbeit hat jedoch herausgefunden, dass das einfache „VIP zuerst"-Prinzip nicht immer funktioniert, weil es zu Interferenzen kommt.

Die Analogie: Stellen Sie sich zwei Köche vor, die gleichzeitig denselben einzigen Backofen und dasselbe einzelne Schneidebrett nutzen wollen. Selbst wenn der VIP-Koch schneller ist, könnte er feststecken und auf den anderen Koch warten müssen, bis dieser fertig geschnitten hat.
Die Realität: Wenn der Computer versucht, zwei KI-Aufgaben gleichzeitig auf demselben Chip auszuführen, konkurrieren sie um Ressourcen (wie Speicher und Rechenleistung). Dies führt dazu, dass die VIP-Aufgabe unerwartet verlangsamt wird und manchmal ihre Frist (die Zeit, bis zu der sie muss erledigt sein) verpasst.

2. Die Strait-Lösung: Eine „Glaskugel" und ein strikter Zeitplan

Strait löst dieses Problem, indem es zwei Hauptdinge tut:

A. Die Glaskugel (Interferenzvorhersage)

Bevor der Küchenchef (Strait) entscheidet, eine neue Bestellung in den Ofen zu schieben, nutzt er eine „Glaskugel", um genau vorherzusagen, wie stark die neue Bestellung die bereits garenden verlangsamen wird.

Wie es funktioniert: Es wird geprüft, wie viel „Platz" und „Werkzeuge" die neue Bestellung im Vergleich zu dem, was bereits genutzt wird, benötigt.
Der Twist: Diese Glaskugel ist nicht statisch; sie lernt. Wenn die Küche seltsam überfüllt wird oder sich die Art der Bestellungen ändert, aktualisiert die Glaskugel ihre Vorhersagen in Echtzeit, damit sie nicht getäuscht wird.

B. Der strikte Zeitplan (Prioritätsbewusste Planung)

Sobald der Küchenchef weiß, wie viel Verkehr die neue Bestellung verursachen wird, trifft er eine intelligente Entscheidung:

Wenn die VIP-Bestellung pünktlich erledigt werden kann, ohne die aktuellen VIP-Bestellungen zu ruinieren: Sie wird hereingelassen.
Wenn die VIP-Bestellung dazu führen würde, dass eine bereits garenden VIP-Bestellung ihre Frist verpasst: Die neue Bestellung wird zurückgehalten oder ganz verworfen.
Für die „Niedrigprioritäts"-Bestellungen: Sie werden als „Beste Bemühung" behandelt. Wenn die Küche zu überfüllt ist, können diese Bestellungen verzögert oder übersprungen werden, um die VIPs zu schützen. Strait versucht jedoch, fair zu sein, sodass diese niedrigpriorisierten Bestellungen immer noch eine Chance haben, zubereitet zu werden, wenn sich die Lage beruhigt.

3. Was passierte bei den Tests?

Die Forscher testeten Strait in einer simulierten Hochdruckumgebung (wie einer sehr belebten Fabrikhalle).

Das Ergebnis: Strait rettete erfolgreich die VIP-Bestellungen. Es reduzierte die Anzahl der verpassten Fristen für hochpriorisierte Aufgaben um einen signifikanten Betrag (zwischen 1 % und 11 % mehr als andere Systeme).
Der Kompromiss: Die niedrigpriorisierten Bestellungen wurden etwas langsamer oder verpassten ihre Fristen etwas häufiger, aber die Arbeit argumentiert, dass dies ein akzeptabler Preis ist, um sicherzustellen, dass kritische Aufgaben (wie Sicherheitsprüfungen) immer pünktlich erledigt werden.
Vergleich: Im Vergleich zu anderen Systemen, die versuchen, Aufgaben zu „unterbrechen" (gewaltsam zu stoppen), um Platz zu schaffen, war Strait fairer und stabiler, da es den Stau bevor er entstand vorhersagte, anstatt zu versuchen, ihn zu beheben, nachdem das Chaos begonnen hatte.

Zusammenfassung

Strait ist ein intelligenter Manager für KI-Computer. Anstatt nur „VIPs zuerst!" zu rufen und auf das Beste zu hoffen, berechnet es genau, wie viel Verkehr eine neue Aufgabe verursachen wird. Anschließend entscheidet es, ob die Aufgabe hereingelassen, verzögert oder verworfen wird, und stellt sicher, dass die kritischsten Jobs immer pünktlich abgeschlossen werden, selbst wenn der Computer mit 100 % Kapazität arbeitet.

1. Problemstellung

Machine-Learning-(ML-)Inferenz-Systeme stehen bei der Bereitstellung in On-Premises-Szenarien unter hoher GPU-Auslastung vor erheblichen Herausforderungen, insbesondere im Hinblick auf Aufgabenpriorisierung und Einhaltung von Fristen.

Unzureichende Priorisierung: Bestehende Systeme (z. B. TensorFlow Serving, NVIDIA Triton) bieten oft keine robuste Unterstützung für die Priorisierung kritischer Aufgaben (z. B. Sicherheitsüberwachung, Qualitätskontrolle) gegenüber weniger kritischen Aufgaben. Zwar unterstützen sie CUDA-Stream-Prioritäten, doch sind diese Hardware-Hinweise oft unwirksam, da parallele Kernel weiterhin um gemeinsame Ressourcen konkurrieren, was dazu führen kann, dass hochpriorisierte (HP) Aufgaben starke Störungen erleiden oder Fristen verpassen.
Unvorhersehbare Störungen: Die aktuelle Planung stützt sich häufig auf zeitliches Teilen (sequenzielle Ausführung) oder statisches räumliches Teilen (parallele Ausführung).
- Zeitliches Teilen leidet unter Head-of-Line-(HOL-)Blockaden und Unterauslastung.
- Räumliches Teilen verbessert die Auslastung, führt jedoch bei paralleler Kernel-Ausführung und Datenübertragung zu Störungen. Diese Störungen sind nichtlinear und schwer zu schätzen, was zu unvorhersehbaren Latenzen und Fristverletzungen führt.
Fehlende Unterbrechbarkeit: Kommerzielle GPUs unterstützen im Allgemeinen keine echte Unterbrechung auf Aufgabenebene. Sobald ein Batch zugewiesen wurde, kann er nicht unterbrochen werden. Daher müssen Planungsentscheidungen proaktiv getroffen werden, um Fristverletzungen zu vermeiden, was eine genaue Latenzschätzung unter Störbedingungen erfordert.

2. Methodik: Das Strait-System

Strait ist ein Inferenz-System, das entwickelt wurde, um die Einhaltung von Fristen für Dual-Priority-Datenverkehr (High-Priority und Low-Priority) zu verbessern, indem es Störungen explizit modelliert und verwaltet.

A. Systemarchitektur

Strait arbeitet lokal auf einem Knoten mit mehreren GPUs. Es besteht aus:

Prioritätsbewusster Scheduler: Verwaltet Aufgabenwarteschlangen für verschiedene Modelle und weist ihnen HP- oder LP-Status zu.
Störungs-Vorhersage-Engine: Ein globales Modell, das Latenzverzögerungen schätzt, die durch Störungen bei Datenübertragung und Kernel-Ausführung verursacht werden.
Adaptiver Lernschleife: Aktualisiert das Vorhersagemodell kontinuierlich basierend auf Laufzeitfeedback, um Workload-Drifts und Hardwarevariationen zu bewältigen.

B. Störungsmodellierung

Strait zerlegt die Inferenzlatenz ( $T_{inf}$ ) in vier Komponenten:
$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$

Datenübertragungs-Störung ( $T_{data}$ ):
- Basierend auf der Beobachtung modelliert, dass PCIe-Datenübertragungen mit gepinnten Speichern einem FIFO-Prozess folgen.
- Verzögerungen werden basierend auf der Abschlusszeit des vorherigen Batches auf der PCIe-Verbindung berechnet.
- Downstream-Übertragungsstörungen sind aufgrund kleiner Ausgabegrößen oft vernachlässigbar.
Kernel-Ausführungs-Störung ( $T_{kernel}$ ):
- Vorhersagemodell: Verwendet ein adaptives exponentielles Wachstumsmodell, um Verlangsamungen zu schätzen. Die Intuition ist, dass Störungen bei geringem Ressourcenstress langsam zunehmen, sich aber superlinear beschleunigen, wenn der Druck steigt (die Fähigkeit der GPU, Latenz zu verbergen, wird überschritten).
- Eingaben: Das Modell verwendet zeitgewichtete Durchschnitte von Ressourcen-Durchsatzmetriken (z. B. L1/L2-Cache, DRAM, Tensor Cores, CUDA Cores) von kolozierten Batches.
- Prioritätskoeffizient: Enthält einen lernbaren Parameter ( $coeff_p$ ), der berücksichtigt, dass HP-Aufgaben unter identischem Druck aufgrund von CUDA-Stream-Priorisierung möglicherweise weniger Störungen erfahren als LP-Aufgaben.
- Adaptation: Das Modell verwendet Adam-Optimierung und Huber-Verlust, um Parameter online zu aktualisieren. Es kalibriert sich basierend auf der Diskrepanz zwischen vorhergesagter und tatsächlicher Kernel-Ausführungslatenz neu und gewährleistet so Robustheit gegenüber Konzeptdrifts (z. B. wechselnde Modellarchitekturen oder GPU-Typen).

C. Prioritätsbewusster Planungsalgorithmus

Der Scheduler verwendet eine binäre Suche, um die optimale Batch-Größe und GPU-Zuweisung zu bestimmen. Er setzt zwei Hauptbedingungen durch:

Keine Verletzung höherer/gleicher Priorität: Ein neuer Batch wird nur geplant, wenn er laufende HP- oder gleichpriorisierte Aufgaben nicht dazu bringt, ihre Fristen zu verpassen.
Selbst-Fristmachbarkeit: Der neue Batch muss in der Lage sein, seine eigene Frist einzuhalten, konservativ geschätzt (unter der Annahme, dass er mit der Hälfte des GPU-Laufzeitdurchsatzes läuft).
LP-Drosselung: Um HP-Aufgaben zu schützen, begrenzt das System dynamisch den aggregierten Durchsatz von LP-Aufgaben ( $C_{low}$ ) mittels einer Additive-Increase Multiplicative-Decrease (AIMD)-Richtlinie. Wenn eine HP-Aufgabe eine Frist verpasst, wird $C_{low}$ auf eine konservative Basislinie zurückgesetzt.

3. Hauptbeiträge

Störungsbewusste Planung: Strait ist das erste System, das eine explizite Störungsprognose (sowohl Datenübertragung als auch Kernel-Ausführung) direkt in die Planungsentscheidung für Dual-Priority-ML-Datenverkehr integriert.
Adaptives Vorhersagemodell: Es wird ein neuartiges, selbstadaptierendes Regressionsmodell vorgeschlagen, das Ressourcenkonfliktmuster dynamisch lernt und die Grenzen statischer Modelle überwindet, die bei Änderungen der Workloads oder Hardware versagen.
Prioritätsmanagement ohne Unterbrechbarkeit: Es wird demonstriert, wie eine effektive Aufgabenpriorisierung auf nicht unterbrechbaren GPUs erreicht werden kann, indem LP-Aufgaben proaktiv blockiert oder gedrosselt werden, um HP-Fristen zu schützen.
Umfassende Evaluierung: Es wird eine rigorose Evaluierung gegen State-of-the-Art-Baselines durchgeführt, einschließlich zeitlichen Teilens, statischem/reagivem räumlichen Teilen und softwaredefinierter Unterbrechbarkeit (XSched).

4. Evaluierungsergebnisse

Experimente wurden auf NVIDIA L4-GPUs mit diversen DNN-Modellen (ResNet, ViT, YOLO, RoBERTa) unter stochastischen, uniformen und Produktions-Trace-Daten durchgeführt.

Einhaltung von Fristen:
- Strait reduziert Fristverletzungen für High-Priority-Aufgaben um 1,02 bis 11,18 Prozentpunkte im Vergleich zu bestehenden räumlichen Teilungs- und Unterbrechungsansätzen.
- Es entsteht ein akzeptabler Leistungskompromiss für Low-Priority-Aufgaben (schlimmster Fall eine Verschlechterung von nur 0,61 Prozentpunkten).
Vergleich mit Unterbrechbarkeit (XSched):
- Im Vergleich zu XSched (einem Kernel-Ebene-Unterbrechungssystem) erreicht Strait eine vergleichbare HP-Fristeinhaltung, bietet jedoch gerechtere Leistung für LP-Aufgaben.
- XSched leidet bei Dominanz von HP-Anfragen unter HOL-Blockaden für LP-Aufgaben, während Straits proaktive Planung dies durch das Management von Parallelität und Batch-Größen vermeidet.
Anpassungsfähigkeit:
- Das adaptive Vorhersagemodell schneidet bei Übergängen zwischen verschiedenen Modellsätzen (CNN vs. Transformer) oder GPU-Architekturen (Ada Lovelace vs. Ampere vs. Hopper) signifikant besser ab als statische Modelle und reduziert p99-Vorhersagefehler um 7,2 bis 8 Prozentpunkte.
Overhead:
- Der Planungs-Overhead ist minimal (Zehntausende von Mikrosekunden), was es für den Echtzeit-Einsatz geeignet macht.

5. Bedeutung

Strait adressiert eine kritische Lücke in der On-Premises-ML-Infrastruktur, wo deterministische Latenz und Aufgabenpriorisierung von höchster Bedeutung sind (z. B. industrielle Automatisierung, Sicherheitssysteme). Durch den Wechsel von einer reaktiven Ressourcenverwaltung zur proaktiven Störungsperzeption ermöglicht Strait:

Höhere Zuverlässigkeit: Sicherstellung, dass kritische Aufgaben auch unter hoher Last strikte Fristen einhalten.
Bessere Ressourcennutzung: Ermöglichung sicheren räumlichen Teilens ohne die Unvorhersehbarkeit, die Systeme normalerweise zu ineffizientem zeitlichen Teilen zwingt.
Skalierbarkeit: Der Ansatz ist orthogonal zur Cluster-Level-Autoskalierung und kann in bestehende Serving-Stacks (wie Triton) integriert werden, um deren Prioritätsbehandlungsfähigkeiten zu verbessern, ohne spezielle Hardware-Unterbrechungsunterstützung zu erfordern.

Zusammenfassend bietet Strait ein robustes Framework für das Management der komplexen Zielkonflikte zwischen Parallelität, Störungen und Priorität im modernen GPU-beschleunigten Inferenz-Serving.