Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling

Die Arbeit stellt Sem-MoE vor, ein auf SGLANG basierendes Framework, das durch ein neuartiges semantisches Parallelismus-Paradigma und eine gemeinsame Terminierung von Modellplatzierung und Datenscheduling die All-to-All-Kommunikation bei MoE-Inferenz minimiert und damit den Durchsatz im Vergleich zu bestehenden Lösungen signifikant steigert.

Das Wesentliche

Stell dir vor, du betreibst eine riesige Bibliothek mit einem besonderen System: Die "Mixture-of-Experts" (MoE).

In dieser Bibliothek gibt es nicht nur einen einzigen Bibliothekar, der alles weiß. Stattdessen gibt es Tausende von spezialisierten Experten: einen für Mathematik, einen für Kochrezepte, einen für Geschichte, einen für Programmieren und so weiter. Wenn ein Besucher (ein Token, also ein Wort oder eine Idee) kommt, muss ein Router entscheiden: "Welcher Experte ist für diese Frage am besten?"

Das Problem bei herkömmlichen Systemen ist wie folgt:
Die Bibliothek ist auf viele verschiedene Gebäude (Server/GPUs) verteilt. Wenn ein Besucher eine Frage zur Mathematik stellt, aber der Mathematik-Experte im Gebäude A wohnt und der Besucher im Gebäude B steht, muss die Frage per Kurier (Datenübertragung) über die Stadt geschickt werden. Das kostet Zeit und Energie.

In großen KI-Modellen passiert das millionenfach pro Sekunde. Die Kurierdienste (die Kommunikation zwischen den Servern) werden zum Flaschenhals. Die Bibliothek steht still, während die Kuriere rennen.

Die Lösung: "Semantische Parallelität" (Semantic Parallelism)

Die Autoren dieses Papiers haben eine geniale Idee entwickelt, die sie Sem-MoE nennen. Sie nennen es "Semantische Parallelität".

Stell dir vor, sie ändern die Regeln der Bibliothek komplett:

1. Vorhersage statt Reaktion:
   Statt zu warten, bis ein Besucher kommt und dann zu schauen, wohin er muss, lernen die Bibliothekare vorher, welche Art von Besucher welche Experten braucht.

   • Analogie: Wenn jemand nach "Rezepten für Pizza" fragt, wissen die Bibliothekare schon vorher: "Aha, Pizza-Fans brauchen immer den italienischen Koch." Sie schicken den Besucher also nicht erst ins Gebäude B und dann zurück, sondern bringen den italienischen Koch direkt zu dem Besucher, der in Gebäude A steht.

2. Die drei Geheimwaffen:
   Das System nutzt drei Tricks, um die Kurierdienste zu minimieren:

   • Der Offline-Plan (Die Umzugskarte):
     Bevor die Bibliothek überhaupt öffnet, analysieren sie Tausende von Besucherfragen. Sie stellen fest: "Diese Experten werden oft zusammen gebraucht." Also packen sie diese Experten in dasselbe Gebäude.

     • Metapher: Es ist wie ein Umzug, bei dem man die Küche und das Esszimmer nicht trennt, weil man weiß, dass sie immer zusammen genutzt werden.

   • Der Online-Trick für Gruppen (Die Warteschlange):
     Wenn viele Besucher gleichzeitig kommen (ein "Batch"), sortiert das System die Warteschlange neu. Es bringt alle "Mathe-Fans" zusammen an einen Schalter und alle "Geschichts-Fans" an einen anderen.

     • Metapher: Stell dir eine Supermarktkasse vor. Der Kassenmitarbeiter fragt nicht jeden einzeln: "Was willst du?" Er sagt: "Alle, die Milch kaufen, kommen in Reihe A. Alle, die Brot kaufen, in Reihe B." So müssen die Waren nicht hin und her geschleppt werden.

   • Der Online-Trick für Einzelne (Der Tanz):
     Manchmal muss ein einzelner Besucher während des Besuchs seine Meinung ändern oder weiterfragen. Das System schickt den Besucher dann während der Kommunikation schon mal in die richtige Richtung, bevor er überhaupt merkt, dass er woanders hin muss.

     • Metapher: Ein Tanzpartner, der dich schon vor dem nächsten Schritt führt, damit du nicht stolperst und umdrehen musst.

Warum ist das so wichtig?

In der aktuellen Welt der KI (wie bei DeepSeek oder GPT) verbringen die Computer bis zu 60% ihrer Zeit nur damit, Daten zwischen den Servern hin und her zu schicken (die "Kurierdienste").

Mit Sem-MoE passiert Folgendes:

• Die Experten und die Besucher, die sie brauchen, sitzen viel öfter im selben Raum.
• Die Kurierdienste müssen viel weniger rennen.
• Die Bibliothek wird schneller und effizienter.

Das Ergebnis im echten Leben

Die Autoren haben ihr System in eine der besten KI-Bibliotheken der Welt (SGLang) eingebaut und getestet:

• Bei manchen Aufgaben wurde die Bibliothek fast dreimal so schnell (2,78x).
• Bei anderen Aufgaben wurde sie 25% schneller.
• Und das Beste: Es kostet nichts extra an Hardware, es ist nur eine klügere Art, die vorhandenen Maschinen zu organisieren.

Zusammengefasst:
Statt zu hoffen, dass die Kuriere schnell genug sind, hat das Team Sem-MoE die Bibliothek so umgebaut, dass die Experten und die Besucher, die sie brauchen, einfach zusammenbleiben. Weniger Rennen, mehr Lesen. Das ist die Zukunft des effizienten KI-Einsatzes.

Technische Zusammenfassung

1. Problemstellung

Die Inferenz großer Sprachmodelle (LLMs) mit Mixture-of-Experts (MoE)-Architekturen (z. B. DeepSeek-V3, Qwen3) stößt bei der Skalierung auf massive Engpässe durch die Expert-Parallelism (EP)-Strategie.

• Kommunikations-Overhead: Bei EP werden Experten (Expert-Subnetze) auf verschiedene Geräte (GPUs/NPUs) verteilt. Da ein Token nur von wenigen Experten verarbeitet wird, müssen Token zwischen den Geräten hin- und hergeschickt werden. Dies erfordert teure All-to-All-Kollektivoperationen (z. B. via NCCL/HCCL).
• Ineffiziente Trennung: Aktuelle State-of-the-Art-Systeme behandeln die Platzierung der Experten (Modell-Scheduling) und die Zuordnung der eingehenden Anfragen/Token (Daten-Scheduling) als getrennte Probleme. Dies führt zu einer hohen Anzahl an „Remote-Aktivierungen", bei denen Token zu entfernten Geräten geschickt werden müssen, was bis zu 59,2 % der Latenz in MoE-Schichten ausmachen kann (gemessen an DeepSeek-V2-Lite).
• Ziel: Die Reduzierung dieses Kommunikationsaufwands, um den Durchsatz zu erhöhen und die Latenz zu senken, ohne die Architektur des Modells zu ändern.

2. Methodik: Semantic Parallelism & Sem-MoE

Das Paper schlägt ein neues Paradigma namens Semantic Parallelism vor, das durch modell-daten-kollaboratives Scheduling die Kommunikation minimiert. Die Implementierung erfolgt in einem Framework namens Sem-MoE, das auf dem führenden Inferenz-Engine SGLang aufsetzt.

Der Ansatz basiert auf der Beobachtung, dass Token und Experten eine starke, kontextunabhängige Affinität aufweisen: Bestimmte Token (oder Token-Gruppen) aktivieren konsistent dieselben Experten, unabhängig vom Kontext.

Das System besteht aus drei Hauptkomponenten:

A. Offline-Modellierung und Vorhersage

• Token-Expert-Affinität: Durch Offline-Profiling (z. B. auf ShareGPT-Daten) wird eine Wahrscheinlichkeitstabelle erstellt, die vorhersagt, welche Experten mit welcher Wahrscheinlichkeit für ein bestimmtes Token aktiviert werden.
• Inter-Layer-Abhängigkeit: Es wird ein n-Gram-Modell (Markov-Kette) verwendet, um die Abhängigkeit der Experten-Auswahl zwischen aufeinanderfolgenden Schichten zu modellieren.

B. Kollaboratives Scheduling (Model-Data Co-Scheduling)

Sem-MoE formuliert das Problem als 0-1-Integer-Programming (ILP)-Problem (gelöst durch einen alternierenden Optimierungsalgorithmus), um Experten und Token so zu clustern, dass die Kommunikation minimiert und die Lastbalancierung gewährleistet wird.

1. Offline Model Scheduling (Experten-Platzierung):

   • Experten, die häufig gemeinsam aktiviert werden, werden auf demselben Gerät gruppiert.
   • Die Platzierung der Experten wird basierend auf den vorhergesagten Affinitäten neu konfiguriert, bevor das Modell deployed wird.

2. Online Data Scheduling (Anfragen- und Token-Zuordnung):

   • Für Attention-DP (Data Parallelism): Anfragen werden dynamisch so auf die DP-Ranks verteilt, dass die Affinität zwischen den Token der Anfrage und den auf diesem Gerät befindlichen Experten maximiert wird (Inter-Request Scheduling).
   • Für Attention-TP (Tensor Parallelism): Da Token innerhalb einer Anfrage bereits aufgeteilt sind, führt Sem-MoE ein Intra-Request Scheduling durch. Es integriert ein Token-Shuffling direkt in die Kommunikationsprimitive nach der Attention-Schicht.
   • Neue Primitive: Es werden zwei fusionierte Kernel implementiert:
     • Shuffled-Reduce-Scatter: Token werden vor der Reduktion auf die Geräte verschoben, die ihre Ziel-Experten hosten.
     • Shuffled-Allgather: Nach der Experten-Berechnung werden die Ergebnisse gesammelt und in die ursprüngliche Reihenfolge zurückgebracht.
   • Dies eliminiert die Notwendigkeit separater All-to-All-Operationen für das Routing.

3. Schlüsselbeiträge

1. Entdeckung der Kontextunabhängigkeit: Das Paper liefert empirische Beweise, dass Token-Experten-Affinitäten in großen MoE-Modellen stabil und vorhersagbar sind, was eine proaktive Planung ermöglicht.
2. Neues Scheduling-Paradigma: Einführung von „Semantic Parallelism", das Modell-Platzierung und Daten-Scheduling gemeinsam optimiert, anstatt sie isoliert zu betrachten.
3. System-Implementierung (Sem-MoE): Integration in SGLang mit ca. 5.000 Zeilen Python-Code und benutzerdefinierten Triton-Kernen für hochperformante Kommunikation.
4. Algorithmische Innovation: Entwicklung eines alternierenden Optimierungsalgorithmus zur Lösung des Co-Clustering-Problems und Implementierung von spekulativen Shuffling-Operationen (Shuffled-Reduce-Scatter), die den Overhead minimieren.

4. Ergebnisse

Die Evaluation erfolgte auf einem 8-GPU-Server mit DeepSeek-V2-Lite und Qwen3-30B-A3B unter verschiedenen Workloads (MMLU, ShareGPT, LMSYS-Chat-1M).

• Durchsatzsteigerung (Attention-DP Szenario):
  • Gegenüber SGLang (Baseline): Bis zu 2,78-fache Steigerung des Durchsatzes unter bestimmten SLOs (Service Level Objectives).
  • Gegenüber MoETuner (SOTA Scheduling): Bis zu 278 % Steigerung in spezifischen Szenarien.
  • Im Durchschnitt: 31–98 % Steigerung je nach Modell und SLO.
• Latenzreduktion (Attention-TP Szenario):
  • Reduktion der Time-to-First-Token (TTFT) um bis zu 24,9 %.
  • Reduktion der End-to-End-Latenz um bis zu 24,9 % (bei Qwen3-30B-A3B).
• Kommunikationsreduktion:
  • Die Local Activation Rate (LAR) (Anteil der Token, die lokal verarbeitet werden) stieg um 37–43 % im Vergleich zur Standard-Platzierung.
  • Dies führte zu einer Reduktion der All2All-Kommunikationslatenz pro Schicht um ca. 42–47 %.
• Robustheit: Das System zeigt starke Zero-Shot-Transfer-Fähigkeiten; Modelle, die auf einem Datensatz trainiert wurden, funktionieren auch auf völlig anderen Domänen (z. B. von ShareGPT auf MMLU) deutlich besser als die Baseline.

5. Bedeutung und Fazit

Das Paper adressiert einen kritischen Engpass in der Skalierung von MoE-Modellen: die Kommunikationskosten durch Expert-Parallelism.

• Paradigmenwechsel: Statt nur die Hardware oder die Kernel zu optimieren, nutzt Sem-MoE die semantischen Eigenschaften der Daten, um die Infrastruktur intelligenter zu steuern.
• Praktische Relevanz: Da die Lösung keine Änderungen an der Modellarchitektur erfordert und in bestehende Engines (SGLang) integrierbar ist, bietet sie einen sofort einsetzbaren Weg, um die Effizienz von MoE-Inferenz massiv zu steigern.
• Zukunftsaussicht: Die Methode zeigt, dass durch das Verständnis der „Semantik" der Token-Experten-Interaktion signifikante Effizienzgewinne erzielt werden können, was für den wirtschaftlichen Betrieb großer KI-Modelle essenziell ist.

Zusammenfassend beweist Sem-MoE, dass eine enge Kopplung von Modell-Platzierung und Daten-Scheduling („Co-Scheduling") die Kommunikationsbarrieren in MoE-Systemen effektiv durchbricht und zu einer drastischen Verbesserung von Durchsatz und Latenz führt.