DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

Problemstellung

Große Sprachmodelle (LLMs) mit Milliarden von Parametern stellen enorme Anforderungen an den Speicherbedarf bei der Bereitstellung und Inferenz. Um dies zu adressieren, wurden verschiedene Komprimierungstechniken wie Quantisierung, Pruning und Modell-Dekomposition (z. B. mittels Low-Rank Decomposition wie SVD) entwickelt. Während dekomponierte Modelle den Speicherbedarf effektiv senken, ignorieren bestehende Arbeiten ein kritisches Problem: Die parallele Inferenzleistung verschlechtert sich drastisch, wenn die Kompressionsrate erhöht oder die Parallelität (Anzahl der GPUs) skaliert wird.

Die Autoren identifizieren drei Hauptengpässe, die in dekomponierten LLMs auftreten:

1. Erhöhte Kommunikationskosten: Durch die Aufteilung von Gewichtsmatrizen in kleinere Faktoren (z. B. $A$ und $B$) entstehen zusätzliche Reduktionsoperationen (Reduce-Sum) in der parallelen Inferenz. Diese sind kommunikationsintensiv und verursachen hohe Latenz.
2. Duplizierung von Self-Attention-Berechnungen: In herkömmlichen Tensor-Parallelismus-Ansätzen führen dekomponierte Modelle dazu, dass jeder Prozess identische Daten erhält und die teure Self-Attention-Berechnung redundat für alle Prozesse durchführt, anstatt sie zu parallelisieren.
3. Inkompatibilität mit CUDA Graphs: Moderne Inferenzsysteme nutzen statische Berechnungsgraphen (CUDA Graphs) für hohe Effizienz. Bei dekomponierten Modellen ändert sich jedoch die Form der rekonstruierten KV-Caches dynamisch während des Decodierens, was die Nutzung statischer Graphen verhindert und zu Kernel-Launch-Overhead führt.

Methodik: DeInfer

DeInfer ist ein Hochleistungs-Inferenzsystem, das speziell für die parallele Inferenz dekomponierter LLMs entwickelt wurde. Es adressiert die oben genannten Engpässe durch folgende Kernoptimierungen:

1. Hocheffiziente Low-Rank-Kommunikation:

   • Statt Reduktionsoperationen im normalen latenten Raum durchzuführen, wird die Berechnungspipeline neu angeordnet.
   • Die Kommunikation (z. B. All-Gather) findet im niedrigdimensionalen Low-Rank-Raum statt.
   • Dies reduziert die zu übertragende Datenmenge erheblich. Anschließend werden die Low-Rank-Daten lokal mit den jeweiligen Projektionsmatrizen multipliziert, bevor die Self-Attention oder Aktivierungsfunktionen berechnet werden.
   • Ergebnis: Dies eliminiert die redundante Berechnung von Self-Attention und reduziert die Bandbreitennutzung um bis zu 78 %.

2. Integration von Paged Cache und CUDA Graph:

   • DeInfer führt einen zweistufigen Prozess für die KV-Cache-Rekonstruktion ein:
     • Vorbereitungsphase: Identifikation physikalisch zusammenhängender Blöcke und Erstellung einer „Remapping Index List".
     • Graph-Replay-Phase: Kopieren der KV-Caches in einen kompakten Puffer, gefolgt von der Rekonstruktion durch Matrixmultiplikation.
   • Da die Ergebnisse nun eine feste Speicheradresse haben (obwohl die Form dynamisch ist), können sie mit einem großen GEMM-Kernel verarbeitet werden, der kompatibel mit CUDA Graphs ist. Dies eliminiert den Overhead durch wiederholtes Starten von Kernels.

3. Allgemeingültigkeit (Generalization):

   • Das System unterstützt verschiedene Tensor-Parallelismus-Konfigurationen, unterschiedliche Kompressionsraten pro Schicht und verschiedene Modellarchitekturen (z. B. MHA, GQA, MLA, GLU-basierte MLPs).
   • Es ist kompatibel mit State-of-the-Art-Systemen wie vLLM.

Wichtige Beiträge

• Erste Arbeit zur parallelen Inferenz dekomponierter LLMs: DeInfer ist das erste System, das sich gezielt auf die Leistungssteigerung dekomponierter Modelle in parallelen Umgebungen konzentriert.
• Neuartige Kommunikationsstrategie: Die Verlagerung der Kommunikation in den Low-Rank-Raum ist ein fundamentaler Ansatz zur Reduktion von Bandbreitenkosten.
• Lösung für CUDA Graph-Kompatibilität: Die Entwicklung eines Mechanismus zur dynamischen KV-Cache-Rekonstruktion innerhalb eines statischen Graphen ermöglicht die Nutzung moderner Inferenz-Optimierungen auch bei dekomponierten Modellen.
• Open Source: Der Code ist auf GitHub verfügbar.

Ergebnisse

Die Autoren führten umfangreiche Experimente mit Modellen wie LLaMA-3-70B, LLaMA-65B und OPT-30B auf Clustern mit 8×A800 (mit NVLink) und 8×A6000 (ohne NVLink) durch.

• Durchsatz (Throughput):
  • DeInfer übertrifft naive Implementierungen (Base) signifikant.
  • Bei 8 GPUs und 40 % Kompression zeigt DeInfer eine Skalierbarkeit, die bei 1,49x bis 6,59x höherem Durchsatz liegt als die Basisversion, je nach Modell und Hardware.
  • Ohne NVLink sind die Verbesserungen besonders stark, da DeInfer die Kommunikationsengpässe effektiv umgeht.
• Latenz:
  • Time-to-First-Token (TTFT): Reduktion um 76–83 % im Vergleich zur Basisversion.
  • Inter-Token-Latenz (ITL): Reduktion um 68–79 %.
• Skalierbarkeit:
  • DeInfer skaliert hervorragend mit steigender Parallelität und Kompressionsrate. Bei 60 % Kompression und 8 GPUs wurde eine Beschleunigung von bis zu 8,81x (ohne NVLink) erreicht.
• System-Profiling:
  • Die Kommunikationskosten wurden um 80–90 % reduziert.
  • Die Rechenzeit sank um 10–30 % durch die Beseitigung redundanter Self-Attention-Berechnungen.
  • Die Nutzung von CUDA Graphs brachte in NVLink-Umgebungen zusätzliche Geschwindigkeitsgewinne von bis zu 66 %, da der Kernel-Launch-Overhead entfällt.

Bedeutung

DeInfer schließt eine kritische Lücke in der Forschung zu Large Language Models. Während Modell-Dekomposition oft als reine Speicheroptimierung betrachtet wurde, zeigt DeInfer, dass diese Techniken auch für die parallele Inferenz in Produktionsumgebungen praktikabel und hocheffizient gemacht werden können. Durch die drastische Verbesserung von Durchsatz und Latenz ermöglicht DeInfer den Einsatz von stark komprimierten, kostengünstigen LLMs in Echtzeitanwendungen, ohne auf die Vorteile moderner Inferenz-Stacks (wie vLLM, PagedAttention, CUDA Graphs) verzichten zu müssen. Dies ist ein wichtiger Schritt zur Demokratisierung und Skalierung von KI-Modellen.