Technische Zusammenfassung: Auf dem Weg zu Multi-Model-LLM-Schedulern: Empirische Erkenntnisse zu Offloading und Preemption

Problemstellung

Moderne Large-Language-Model-(LLM-)Bereitstellungen erfordern zunehmend die Bedienung mehrerer heterogener Modelle (unterschiedlich in Architektur, Größe und Spezialisierung) auf gemeinsamer, ressourcenbeschränkter Hardware. Während bestehende Systeme wie vLLM den Durchsatz für Single-Model-Workloads durch kontinuierliches Batching und effizientes Key-Value-(KV-)Cache-Management optimieren, fehlen ihnen Mechanismen zur Handhabung von Multi-Model-Scheduling unter strengen GPU-Speichereinschränkungen.

In solchen eingeschränkten Umgebungen werden zwei kritische Mechanismen notwendig, die jedoch im Multi-Model-Kontext schlecht verstanden sind:

1. Partielles CPU-GPU-Offloading: Verschieben von Teilmengen der Modellebenen in den CPU-Speicher, um Modelle in begrenzten GPU-VRAM zu integrieren.
2. Preemption: Anhalten eines laufenden Inferenzjobs, um dessen Modell und Zustand auszulagern, damit ein Job mit höherer Priorität ausgeführt werden kann, und anschließendes Wiederaufnehmen des ursprünglichen Jobs.

Die aktuelle Literatur geht oft von einer linearen Leistungsverschlechterung beim Offloading aus oder behandelt Preemption-Kosten als monolithische, nicht quantifizierte Overheads. Es fehlt an empirischen Daten, die charakterisieren, wie diese Faktoren über verschiedene Modellskalen, Architekturen und Hardwareplattformen hinweg interagieren.

Methodik

Die Autoren führten eine systematische empirische Studie auf zwei unterschiedlichen Hardwareplattformen durch, die ein gemeinsames CPU-Subsystem (AMD Threadripper PRO 5995WX) teilen, sich jedoch in der GPU-Architektur unterscheiden:

• Plattform A: NVIDIA RTX 5000 Ada Generation (32 GB VRAM).
• Plattform B: NVIDIA RTX A6000 (48 GB VRAM).

Die Studie nutzte eine vielfältige Auswahl an Modellen (Llama 3 8B, Qwen3 32B, Llama 2 70B für Offloading; Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B für Preemption) und führte zwei primäre experimentelle Durchläufe durch:

1. Layer-Weises Offloading-Sweep:

   • Ausgeführt auf Ollama (Q4-quantisiert) und HuggingFace Transformers (FP16).
   • Variation des Anteils der Transformer-Layer auf der GPU von 0 % (nur CPU) bis 100 % (nur GPU) in 10 %-Schritten, mit feinerer Granularität nahe 100 %.
   • Messung des Decode-Durchsatzes (Tokens/Sekunde) über verschiedene Ausgabelängen (50 bis 5.000 Tokens).

2. Preemption- und Migrations-Benchmark:

   • Simulation eines „Worst-Case"-Preemption-Szenarios, bei dem ein langlaufender Job A (Generierung von 7.000 Tokens) an neun Checkpoints (100 bis 5.000 Tokens) unterbrochen wird.
   • Job A wird vollständig ausgeladen (Gewichte und KV-Cache in den Host-Speicher verschoben), Job B wird ausgeführt, und Job A wird neu geladen und fortgesetzt.
   • Zerlegung des gesamten Preemption-Overheads in Bestandteile: KV-Cache-Transfer (GPU→CPU), Modell-Ausladen, Modell-Einladen und KV-Cache-Wiederherstellung (CPU→GPU).
   • Testen verschiedener Modellkombinationen, um den Einfluss der Größe des unterbrochenen Modells versus der Größe des unterbrechenden Modells zu isolieren.

Hauptbeiträge

Die Arbeit liefert drei primäre Beiträge:

1. Systematische Empirische Evaluation: Eine umfassende Charakterisierung modernster LLMs über heterogene Hardware hinweg, die zeigt, dass Leistungstrends bezüglich Offloading und Skalierung über Modelle und Systeme hinweg konsistent sind.
2. Quantifizierung von Overheads: Detaillierte Analyse der Leistungsimplikationen von partiellem Offloading und Preemption, wobei die dominanten Quellen für Latenz und Datenbewegungskosten identifiziert werden.
3. Distillation von Scheduler-Features: Eine Reihe von Schlüsselfeatures, die aus empirischen Daten abgeleitet wurden und von zukünftigen Multi-Model-Schedulern integriert werden müssen, um hybride CPU-GPU-Ausführung und Preemption effektiv zu unterstützen.

Hauptergebnisse

1. Nicht-lineare Offloading-Verschlechterung

• Modellsensitivität: Der Decode-Durchsatz skaliert nicht linear mit dem Prozentsatz der Layer auf der GPU. Kleinere Modelle (z. B. Llama 3 8B) zeigen eine scharfe, nicht-lineare Sensitivität gegenüber reduzierter GPU-Residenz und erleiden signifikante Durchsatzstrafen bereits bei moderatem Offloading. Größere Modelle (z. B. Llama 2 70B) zeigen eine graduellere, annähernd lineare Verschlechterung.
• Hardware-Interaktion: Die relative Leistungslücke zwischen CPU und GPU beeinflusst die Offloading-Effizienz erheblich. Auf der RTX 5000 (geringere Spitzenleistung) ist die relative Strafe beim Offloading kleiner im Vergleich zur RTX A6000 (höhere Rechenleistung), wo Offloading eine größere relative Verschlechterung verursacht.
• Sequenzlänge: Längere Prompts verstärken die negativen Auswirkungen des Offloadings aufgrund erhöhten KV-Cache-Speicherdrucks und höherer Zugriffskosten.

2. Zusammensetzung des Preemption-Overheads

• Dominanz des Modell-Reloads: Die Kosten der Preemption werden überwiegend vom Neuladen der Modellgewichte von der Festplatte in den GPU-Speicher dominiert. Dieser Anteil macht >98,5 % des gesamten Preemption-Overheads auf beiden Hardwareplattformen aus.
• KV-Cache-Vernachlässigbarkeit: Der KV-Cache-Transfer (sowohl GPU→CPU als auch CPU→GPU) trägt weniger als 1,5 % zum gesamten Overhead bei, selbst bei großen Caches (bis zu ~950 MB).
• Konstante Kosten: Der Preemption-Overhead ist effektiv konstant, unabhängig vom Fortschritt des Jobs (Anzahl der generierten Tokens). Die Kosten hängen fast ausschließlich vom Gewichtsumfang des unterbrochenen Modells ab, nicht von der Größe des KV-Caches oder der Identität des unterbrechenden Modells.
  • Beispiel: Auf der RTX 5000 liegt der Preemption-Overhead zwischen ~3 s (3B-Modell) und ~7,3 s (14B-Modell).
• Hardware-Varianz: Die RTX A6000 zeigte niedrigere absolute Preemption-Kosten (schnellerer Festplatte-zu-GPU-Transfer) im Vergleich zur RTX 5000, trotz größeren VRAMs.

3. Effizienz der Datenbewegung

• Die Transferzeiten für KV-Caches skalieren linear mit der Sequenzlänge, bleiben jedoch im Bereich von wenigen Millisekunden (z. B. <90 ms für ~950 MB Transfer auf RTX 5000).
• Die effektive PCIe-Bandbreite wird durch Tensor-Kopier-Overheads pro Layer in der PyTorch-Laufzeit begrenzt und erreicht nur 9–16 GB/s gegenüber einem theoretischen Spitzenwert von 31,5 GB/s.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass diese empirischen Erkenntnisse die Designanforderungen für LLM-Scheduler der nächsten Generation grundlegend verändern:

• Ablehnung linearer Annahmen: Scheduler können sich nicht auf proportionale oder einheitliche Platzierungsstrategien verlassen. Sie müssen modellspezifische, nicht-lineare Offloading-Sensitivität berücksichtigen, insbesondere bei kleineren Modellen, bei denen partielles Offloading hochgradig schädlich ist.
• Feste Preemption-Strafe: Im Gegensatz zur Annahme, dass Preemption-Kosten mit dem Jobfortschritt variieren, stellt die Studie fest, dass Preemption als feste Strafe modelliert werden kann, die nur vom Gewichtsumfang des Modells und dem Hardware-Paar abhängt. Dies vereinfacht die Scheduling-Logik und ermöglicht eine vorhersagbare Kostenmodellierung.
• Hardware-Bewusstsein: Scheduling-Entscheidungen müssen explizit hardwarebewusst sein und nicht nur die GPU-Kapazität, sondern auch die spezifische Rechenlücke zwischen CPU und GPU sowie die Festplatte-zu-GPU-Transfergeschwindigkeiten berücksichtigen.
• KV-Cache vs. Gewichte: Die Studie klärt, dass die Optimierung der KV-Cache-Migration zweitrangig gegenüber der Optimierung des Modellgewichts-Loadings/Unloadings für Preemption-Effizienz ist, da Ersteres in der aktuellen Gesamtkostenstruktur vernachlässigbar ist.

Die Autoren schließen, dass zukünftige Scheduler diese Features integrieren müssen – nicht-lineare Offloading-Kurven, Modellarchitektur-Profile, Sequenzlängendynamiken und feste Preemption-Kosten –, um heterogene Multi-Model-Workloads in dynamischen, ressourcenbeschränkten Umgebungen effizient zu verwalten.