Efficient, VRAM-Constrained xLM Inference on Clients

1. Problemstellung

Das Papier adressiert die kritische Herausforderung, hochpräzise, großskalige KI-Modelle (zusammenfassend als xLMs bezeichnet, einschließlich Dichter LLMs, Mixture-of-Experts (MoE) LLMs und Vision-Language Models (VLMs)) auf clientseitigen Systemen (Desktops und Laptops) mit begrenztem Videospeicher (VRAM) auszuführen.

• Die Einschränkung: Client-GPUs verfügen oft über deutlich weniger VRAM als für den gesamten Speicherbedarf moderner hochpräziser Modelle erforderlich ist (z. B. ein 77-GB-Modell auf einer 16-GB-GPU).
• Die Begrenzung bestehender Lösungen:
  • Quantisierung/Pruning: Diese Techniken reduzieren die Modellgröße, opfern jedoch die Genauigkeit, was für hochfidelitätsanwendungen inakzeptabel ist.
  • Statisches Offloading: Bestehende hybride Scheduling-Verfahren (z. B. in llama.cpp) verlassen sich häufig auf manuelle Konfiguration (z. B. Angabe der Anzahl der GPU-Schichten) und versagen bei der dynamischen Anpassung an wechselnde Systembedingungen (CPU-Threads, PCIe-Bandbreite) oder Inferenzphasen (Prefill vs. Decode).
  • Fehlende Universalität: Kein einzelnes bestehendes Produkt bewältigt gleichzeitig interaktive Modi, Batch-Verarbeitung, hochauflösende VLMs sowie dichte und MoE-Architekturen effizient unter strengen VRAM-Budgets.

2. Methodik

Die Autoren schlagen eine neuartige, benchmarkprofilgesteuerte hybride Scheduling-Technik namens Pipelined Sharding vor, kombiniert mit einer Reihe vision-spezifischer Optimierungen namens VLMOpt.

A. Pipelined Sharding (Kerninnovation)

Dies ist eine vollständig automatische Scheduling-Technik, die den Inferenzgraphen auf Subschichtebene (z. B. Aufteilung von Attention- und FFN-Blöcken) und nicht nur auf Schichtebene aufbricht. Sie arbeitet in drei Phasen:

1. Installationsphase (Profiling):

   • Eine Benchmark-Suite läuft auf der spezifischen Client-Hardware, um die Kernel-Leistung (FLOPS) für verschiedene Tensorgrößen, Quantisierungsniveaus und CPU-Thread-Anzahlen zu profilieren.
   • Entscheidend ist die Profilierung unter konkurrierender Last (Simulation von PCIe-Datenverkehr und Speichercontroller-Konkurrenz), um genaue Zeitabschätzungen für die hybride CPU-GPU-Ausführung zu generieren.
   • Dies erstellt eine kleine Profil-Datenbank (~170 KB), die zur Kostenabschätzung verwendet wird.

2. Planungsphase (Erstellung des Schedules):

   • Das System definiert eine Reihe von „Token-Tiers" (z. B. 1, 4, 16, 64 Tokens pro Iteration), die verschiedene Inferenzlasten repräsentieren.
   • Für jedes Tier werden drei verschiedene Scheduling-Pläne basierend auf dem aktuellen VRAM-Budget und den Systembedingungen generiert:
     • GPU-Only: Alle nicht gepinnten Subschichten laufen auf der GPU; Gewichte werden über PCIe gestreamt. Optimal für hohe Rechenlasten (große Batches/Kontexte), bei denen die PCIe-Latenz durch die Rechenleistung versteckt wird.
     • Static: Hochpriorisierte Subschichten (Attention, KV Cache) werden im VRAM gepinnt; niedrigpriorisierte (FFN) laufen auf der CPU. Minimiert den PCIe-Datenverkehr, verlässt sich jedoch auf die CPU-Rechenleistung.
     • Dynamic: Ein hybrider Ansatz, bei dem Gewichte für GPU-Subschichten aus dem SysRAM gestreamt werden, während die CPU vorherige Subschichten ausführt. Dies überlappt PCIe-Transfers mit der Berechnung.
   • Ein Roofline-basierter Zeitabschätzer nutzt die Profil-Datenbank, um die Latenz jedes Plans vorherzusagen und den optimalen für das spezifische Token-Tier auszuwählen.

3. Inferenzphase (Ausführung):

   • Während der Inferenz bestimmt das System die Anzahl der „neuen Tokens" für den aktuellen Batch.
   • Es sucht den vorab berechneten optimalen Schedule für dieses Token-Tier ab und führt ihn aus.
   • Dies ermöglicht dem System, nahtlos zwischen interaktivem Modus (Batch-Größe = 1, wenige Tokens) und gebündeltem Modus (Batch-Größe > 1, viele Tokens) zu wechseln.

B. VLMOpt (Vision-Language-Optimierung)

Um hochauflösende VLMs (speziell das Cosmos-Reason1-Modell) zu unterstützen, implementierten die Autoren drei Optimierungen innerhalb von llama.cpp:

1. Vision-Tensor-CPU-Offloading: Vision-Modell-Gewichte werden im CPU-Speicher gepinnt und nur bei Bedarf an die GPU gestreamt, was den VRAM-Fußabdruck reduziert.
2. Flash Attention für Vision: Implementierung von Flash Attention im Vision-Encoder zur Reduzierung der $O(N^2)$-Speicherkomplexität von Attention-Scores für hochauflösende Bilder.
3. Vermeidung von VRAM-Überlappung: Umstrukturierung der Ausführung, um sicherzustellen, dass die Vision-Codierung abgeschlossen ist und VRAM freigibt, bevor die Sprach-Decodierung beginnt, wodurch die maximale VRAM-Nutzung das Maximum der beiden Teile und nicht deren Summe ist.

3. Hauptbeiträge

1. Pipelined Sharding-Algorithmus: Ein neuartiger, automatischer hybrider Scheduler, der sich an Systembedingungen (CPU-Threads, PCIe-Bandbreite) und Inferenzzustände (Kontext vs. Decode) ohne manuelle Feinabstimmung anpasst.
2. VLMOpt-Implementierung: Eine Suite von Optimierungen, die die Inferenz hochauflösender VLMs auf Client-Hardware mit drastisch reduziertem VRAM-Bedarf ermöglicht.
3. Open-Source-C++-Implementierung: Die Lösung ist in llama.cpp (ein C++-First-Framework) implementiert, was sie für Spieleentwickler und Ingenieure im Bereich Physical AI zugänglich macht.
4. Umfassende Evaluierung: Strenges Testen über Dichte LLMs, MoE LLMs und VLMs hinweg auf diversen Client-Hardware (von Laptops bis High-End-Desktops).

4. Ergebnisse

Die Evaluierung zeigt signifikante Leistungsverbesserungen gegenüber aggressiven Baselines (manuell abgestimmtes llama.cpp und vLLM):

• Interaktiver Modus (Batch-Größe = 1):
  • TTFT (Time-to-First-Token): Verbesserung um bis zu 6,7×.
  • TPS (Tokens Per Second): Verbesserung um bis zu 30× (z. B. für das 77-GB Qwen235B-Modell).
  • Lebensfähigkeit: Ermöglicht das interaktive Ausführen massiver Modelle (z. B. 77 GB) auf GPUs mit nur 2 GB VRAM (Erreichen von >5 TPS, der Schwelle für menschliche Lesegeschwindigkeit).
• Gebündelter Modus (Batch-Größe > 1):
  • Durchsatzverbesserungen von bis zu 8,2× im Vergleich zu Baselines.
  • Der Scheduler verlagert die Arbeit effektiv auf die GPU, wenn die Batch-Größe zunimmt, und vermeidet CPU-Engpässe.
• VLM-Leistung (Cosmos-Reason1):
  • VRAM-Reduzierung: Reduzierung des VRAM-Bedarfs um 10× (von ~20 GB auf ~2 GB), was hochauflösende Inferenz (1440p) auf Client-Systemen ermöglicht, wo dies zuvor unmöglich war.
  • Latenz: Erzielte bis zu 1,78× Beschleunigung der End-to-End-Latenz (E2EL) im Vergleich zu Baselines bei äquivalenten VRAM-Budgets.
• Ko-Ausführung: In Szenarien, in denen ein Spiel (Cyberpunk 2077) und ein LLM gleichzeitig ausgeführt werden, ermöglicht die Lösung dem Spiel, mehr Assets im VRAM zu behalten, und verbessert sowohl die FPS des Spiels als auch die TPS des LLM durch Vermeidung von Ressourcenkonkurrenz.

5. Bedeutung

Diese Arbeit schließt die Lücke zwischen den hohen Genauigkeitsanforderungen moderner KI und den Hardwarebeschränkungen von Consumer-Client-Geräten.

• Verlustfreie Inferenz: Sie beweist, dass hochpräzise Modelle auf Client-Hardware ausgeführt werden können, ohne die Modelltreue durch Quantisierung oder Pruning zu opfern.
• Demokratisierung: Durch die Ermöglichung hochauflösender VLMs und großer MoE-Modelle auf Standard-Laptops und Desktops befähigt sie Entwickler, fortschrittliche „Physical AI" und in-game KI-Assistenten zu entwickeln, ohne auf teure Cloud-Infrastruktur angewiesen zu sein.
• Anpassungsfähigkeit: Der token-tier- und profilgesteuerte Ansatz bietet ein robustes Framework für die zukünftige Hardware-Entwicklung und stellt sicher, dass die Inferenzleistung mit den verfügbaren Ressourcen (CPU-Threads, PCIe-Bandbreite) skaliert, anstatt statisch an eine feste Konfiguration gebunden zu sein.

Zusammenfassend präsentiert das Papier eine produktionsreife, automatisierte Lösung, die die nächste Generation clientseitiger KI machbar, effizient und verlustfrei macht.