🤖 machine learning

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs

Dieses Paper schlägt Replicate-and-Quantize (R&Q) vor, ein trainingsfreies Inference-Time-Framework, das die Last in Sparse Mixture-of-Experts-Modellen dynamisch ausbalanciert, indem es häufig ausgewählte Experten repliziert und andere quantisiert, wodurch den Routing-Skew signifikant reduziert wird, während die Modellgenauigkeit innerhalb eines festen Speicherbudgets beibehalten wird.

Ursprüngliche Autoren: Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der künstlichen Intelligenz als eine geschäftige, hochtechnologische Küche vor, in der riesige Roboter versuchen, die perfekte Mahlzeit für Millionen hungriger Menschen gleichzeitig zuzubereiten. Um diesen massiven Bedarf zu bewältigen, besitzen diese Roboter nicht nur ein einziges riesiges Gehirn, sondern ein Team spezialisierter Köche, von denen jeder ein Experte für eine bestimmte Zutat oder ein bestimmtes Rezept ist. Dieses Setup wird als „Sparse Mixture-of-Experts“ (SMoE) bezeichnet. Anstatt dass jeder Koch jedes einzelne Gericht kocht, schaut ein intelligenter Manager (ein „Router“) auf jede Bestellung und schickt sie an die wenigen Köche, die für diese spezifische Aufgabe am besten geeignet sind. Dies ist unglaublich effizient und ermöglicht es den Robotern, riesig und intelligent zu sein, ohne dass sie eine Küche in der Größe einer Stadt benötigen.

Doch es gibt einen Haken: Genau wie in einer echten Küche kann der Manager manchmal voreingenommen sein. Wenn ein Kunde ein beliebtes Gericht bestellt, könnte der Manager dazu neigen, fast alle Bestellungen an denselben „Star-Koch“ zu senden, während die anderen talentierten Köche mit leeren Händen dastehen und auf Arbeit warten. Dies wird als „Lastungleichgewicht“ (Load Imbalance) bezeichnet. Diese Arbeit widmet sich einem ganz spezifischen Problem: Wie man dieses Chaos behebt, während die Küche bereits in Betrieb ist, ohne jemanden zu entlassen, neues Personal einzustellen oder das Regelbuch des Managers umzuschreiben.

Das Problem: Der überarbeitete Star-Koch

Die Forscher stellten fest, dass diese KI-Küchen, obwohl sie darauf ausgelegt sind, fair zu sein, oft in einem Trott stecken bleiben. Wenn eine große Gruppe von Bestellungen gleichzeitig eingeht (ein „Batch“), neigt der Manager dazu, fast alles an eine winzige Gruppe von „Heavy-Hitter“-Experten zu kanalisieren. Diese Experten werden zum Flaschenhals, der das gesamte System verlangsamt, während der Rest des Teams untätig herumsteht.

Das Team prüfte zunächst, ob es das Problem lösen würde, wenn man den Manager einfach darauf trainieren würde, fairer zu sein. Sie probierten verschiedene Trainings-Tricks aus, wie etwa Strafen für Unfairness, fanden aber einen frustrierenden Kompromiss: Den Manager fairer zu machen, verschlechterte oft die Genauigkeit der Antworten des Roboters. Es war, als würde man versuchen, einen Koch zu zwingen, auf seine Spezialität zu verzichten, damit alle anderen kochen können; das Essen schmeckte dann einfach nicht mehr so gut. Sie entdeckten auch, dass das Problem schlimmer wird, wenn man versucht, mehr Menschen gleichzeitig zu bedienen. Mit wachsender Batch-Größe explodierte das Ungleichgewicht, was das System ineffizient und langsam machte.

Die Entdeckung: Popularität ist nicht alles

Bevor sie eine Lösung entwickelten, machten die Forscher eine überraschende Entdeckung. Sie untersuchten genau, welche Experten die meiste Arbeit bekamen, und verglichen dies damit, welche Experten tatsächlich am wichtigsten für das richtige Ergebnis waren. Sie fanden heraus, dass Popularität nicht gleichbedeutend mit Wichtigkeit ist.

Einige Experten erhielten eine massive Menge an Arbeit (hohe Last), aber wenn man sie entfernte, sank die Leistung des Roboters kaum. Umgekehrt gab es Experten, die selten aufgerufen wurden, aber absolut entscheidend waren, wenn sie tatsächlich eingesetzt wurden. Der Manager verwechselte „häufige Anfragen“ mit „hohem Wert“. Das bedeutete, dass das Team nicht alle Experten gleich behandeln musste; man konnte die überarbeiteten und die unterforderten Experten unterschiedlich behandeln.

Die Lösung: Die „Replicate-and-Quantize“-Strategie

Um den Flaschenhals zu beheben, ohne das gesamte System neu trainieren zu müssen, schlugen die Autoren eine clevere Plug-and-Play-Strategie namens Replicate-and-Quantize (R&Q) vor. Betrachten Sie dies als eine dynamische Küchenumgestaltung, die sofort stattfindet, wenn die Bestellungen eintreffen.

Replikation der Heavy-Hitter: Wenn das System einen Experten erkennt, der in Arbeit ertrinkt (den „Heavy-Hitter“), entlässt es ihn nicht. Stattdessen erstellt es einen „Klon“ dieses Experten. Aber hier ist der Trick: Der Klon ist eine „leichtgewichtige“ Version. Es ist derselbe Koch, aber er arbeitet mit einem etwas kleineren, effizienteren Werkzeugsatz (unter Verwendung von Mathematik mit geringerer Präzision, oder „Quantisierung“). Dies ermöglicht es dem System, den riesigen Stapel an Bestellungen zwischen dem Original-Koch und dem Klon aufzuteilen, was die Geschwindigkeit verdoppelt, ohne eine größere Küche zu benötigen.
Quantisierung der Unterforderten: Um Platz für diese neuen Klone zu schaffen, ohne dass der Speicherplatz ausgeht, sucht das System nach den Experten, die kaum etwas tun. Diesen „weniger wichtigen“ Experten wird ebenfalls der leichtgewichtige Werkzeugsatz zugewiesen. Da sie nur wenige Bestellungen bearbeiten, schadet die Verkleinerung ihres Werkzeugsatzes der Qualität der Speisen nicht.

Indem sie beides gleichzeitig tun – die Last der beschäftigten Köche aufteilen und die Werkzeuge der untätigen verkleinern – bleibt das System innerhalb seines ursprünglichen Speicherbudgets, läuft aber viel schneller und fairer.

Die Ergebnisse: Eine ausgewogene Küche

Das Team testete diese Strategie auf mehreren verschiedenen KI-Modellen und einer Vielzahl von Aufgaben, von der Lösung mathematischer Probleme bis hin zur Beantwortung kniffliger Fragen über die Welt. Sie maßen das Ungleichgewicht mit einem neuen, von ihnen erfundenen Score namens Load Imbalance Score (LIS), wobei ein Wert von 1 eine perfekte Balance bedeutet und höhere Zahlen mehr Chaos anzeigen.

Die Ergebnisse waren beeindruckend. Die R&Q-Strategie gelang es, das Lastungleichgewicht um bis zu das 1,4-fache im Vergleich zu den ursprünglichen, unveränderten Modellen zu reduzieren. Zum Beispiel sank der Ungleichgewicht-Score für einen schwierigen Mathematik-Datensatz namens GSM8K von 1,9709 auf 1,3937. Bei einem anderen Datensatz, PIQA, sank er von 4,3504 auf 3,2925.

Entscheidend ist, dass diese massive Verbesserung der Effizienz mit fast keinen Kosten für die Qualität der Antworten einherging. Die Genauigkeit der Modelle blieb innerhalb von ±0,6 % des Originals. In einigen Fällen, wie beim MMLU-Datensatz, verbesserte sich die Genauigkeit sogar leicht (von 23,0 % auf 25,2 % für ein Modell). Die Forscher testeten dies auch in einem „Streaming“-Szenario, in dem Bestellungen nacheinander wie ein kontinuierlicher Fluss eingehen, und fanden heraus, dass das System über die Zeit stabil und ausgewogen blieb, was beweist, dass es auch bei unvorhersehbarer Arbeitslast funktioniert.

Was das bedeutet

Diese Arbeit legt nahe, dass wir unsere KI-Modelle nicht komplett neu bauen müssen, um sie effizient zu machen. Indem wir einfach erkennen, dass einige Teile des Gehirns überarbeitet sind, während andere unterfordert sind, und indem wir die beschäftigten Teile dynamisch klonen und die untätigen verkleinern, können wir ein viel reibungsloseres, schnelleres und faireres System schaffen. Es ist eine praktische „Plug-and-Play“-Lösung, die diese riesigen KI-Gehirne wie eine gut geölte Maschine laufen lässt, bereit für die reale Welt, ohne dass ein massiver Umbau nötig ist.

Technisches Resümee: Eine Replikations- und Quantisierungsstrategie für das Plug-and-Play-Load-Balancing von Sparse Mixture-of-Experts LLMs

Problemstellung

Sparse Mixture-of-Experts (SMoE)-Architekturen sind zu einem dominierenden Paradigma für die effiziente Skalierung großer Sprachmodelle (LLMs) geworden, da sie es ermöglichen, die Kapazität der Modelle zu erhöhen, ohne die Berechnung pro Token linear zu steigen. SMoE-Modelle leiden jedoch unter einer schweren Lastimbalance (Load Imbalance) während der Inferenz. Eine Minderheit von „Heavy-Hitter“-Experten erhält den Großteil der Tokens, während andere unterausgelastet bleiben. Diese Imbalance führt zu:

Latenz-Engpässen: Überlastete Experten fungieren als Stragglers (Nachzügler), welche die Abschlusszeit eines Batches bestimmen.
Ressourcenineffizienz: Unterausgelastete Experten lassen Rechenressourcen im Leerlauf, was die effektive Parallelität reduziert.
Systemoverhead: Erhöhte Kosten für Synchronisation und Buffer-Management.

Bestehende Lösungen konzentrieren sich primär auf die Mitigation während der Trainingszeit durch Hilfsverluste (Auxiliary Losses), Entropie-Regularisierung oder Reinforcement Learning. Diese Methoden versagen oft bei Inferenz-Szenarien, insbesondere wenn sie mit nicht-stationären Inputs, Streaming-Daten oder variierenden Batch-Größen konfrontiert werden. Darüber hinaus zeigt die empirische Analyse, dass die Selektionshäufigkeit nicht zuverlässig die Wichtigkeit eines Experten anzeigt; häufig genutzte Experten sind nicht zwangsläufig die kritischsten für die Aufgabenleistung, und selten genutzte Experten können äußerst wertvoll sein. Aktuelle Methoden zum Lastausgleich zur Inferenzzeit erfordern oft kundenspezifische Runtimes, architektonische Änderungen oder ein Retraining, was ihre Anwendbarkeit auf vortrainierte Modelle einschränkt.

Methodik: Replicate-and-Quantize (R&Q)

Die Autoren schlagen Replicate-and-Quantize (R&Q) vor, ein trainingsfreies Plug-and-Play-Framework, das darauf ausgelegt ist, die Experten-Workloads während der Inferenz dynamisch auszubalancieren, ohne den Router oder das Modell zu modifizieren. Der Ansatz stützt sich auf zwei komplementäre Mechanismen:

1. Load Imbalance Score (LIS)

Um das Ausmaß der Imbalance zu quantifizieren, führt das Paper den Load Imbalance Score (LIS) ein. Für einen gegebenen MoE-Block $i$ mit $m$ Experten und $n$ Gesamttokens, wobei $k$ Experten pro Token aktiviert werden:
$l_i = \frac{m \cdot \max_{j \in [m]} n_{i,j}}{nk}$
wobei $n_{i,j}$ die Anzahl der zu Experte $j$ gerouteten Tokens ist. Ein Score von 1 steht für perfekte Balance; höhere Werte deuten auf zunehmende Imbalance hin.

2. Die R&Q-Strategie

Das Framework operiert in zwei Phasen basierend auf einem kleinen Kalibrierungsdatensatz:

Identifikation von Heavy-Hitters: Die Methode analysiert Routing-Traces, um den Experten in jeder Schicht zu identifizieren, der die maximale Anzahl an Tokens erhält (den Heavy-Hitter).
Identifikation weniger wichtiger Experten: Unter Verwendung einer gradientenfreien, pruning-basierten Metrik, die von Wanda inspiriert ist, schätzt die Methode die Expertenwichtigkeit durch die Berechnung des Produkts aus Gewichtsmagnituden und Input-Aktivierungsnormen ( $|W| \times \|X\|_2$ ). Experten mit niedrigen Scores werden als weniger wichtig eingestuft.
Replikation: Die identifizierten Heavy-Hitter-Experten werden innerhalb derselben Schicht repliziert. Diese Repliken bieten zusätzliche parallele Kapazität, um die Token-Last zu bewältigen, und verteilen so effektiv den rechnerischen Engpass.
Quantisierung: Um das ursprüngliche Speicher- und Rechenbudget einzuhalten, werden die Repliken mit einer geringeren Präzision (z. B. 8-Bit oder 16-Bit) eingesetzt. Gleichzeitig werden die identifizierten weniger wichtigen Experten aggressiv quantisiert. Diese duale Maßnahme stellt sicher, dass die zusätzliche Kapazität der Repliken das Ressourcenbudget nicht überschreitet, während die Repräsentationstreue des Modells gewahrt bleibt.

Der gesamte Prozess erfolgt post-hoc und erfordert keine Änderung des Routing-Mechanismus oder der Modellgewichte (außer der Quantisierung), was ihn für jedes vortrainierte SMoE-Modell anwendbar macht.

Wichtigste Beiträge

Empirische Analyse der Inferenzdynamik: Das Paper liefert eine systematische Analyse, die zeigt, dass die Lastimbalance während der Inferenz persistiert und sich intensiviert (insbesondere bei größeren Batch-Größen) und dass die Selektionshäufigkeit ein schlechter Stellvertreter für die Nützlichkeit eines Experten ist.
Load Imbalance Score (LIS): Einführung einer fundierten Metrik zur rigorosen Evaluierung und zum Vergleich von Routing-Strategien und Lastausgleich-Ansätzen.
Replicate-and-Quantize (R&Q): Eine leichtgewichtige, trainingsfreie Methode, die die Workloads durch die Replikation überlasteter Experten und die Quantisierung unterausgelasteter Experten dynamisch ausbalanciert und eine nahezu verlustfreie Performance erzielt.
Umfassende Evaluierung: Validierung über fünf Modellarchitekturen (Switch Transformer, LLaMA-MoE, DeepSeek-MoE, DeepSeek-V2 Lite) und sechs diverse Benchmarks (MMLU, GSM8K, TruthfulQA, etc.), die sowohl statische als auch Streaming-Inferenz-Szenarien abdecken.

Experimentelle Ergebnisse

Umfangreiche Experimente demonstrieren die Wirksamkeit von R&Q:

Lastausgleich: R&Q erreicht eine bis zu 1,4-fache Reduktion der Lastimbalance (LIS) über verschiedene Modelle und Aufgaben hinweg. Beispielsweise sank der LIS beim Switch Transformer (8 Experten) mit GSM8K von 1,97 auf 1,39.
Genauigkeitserhalt: Die Methode hält die Modellgenauigkeit innerhalb von $\pm$ 0,6 % des Baselines. In mehreren Fällen (z. B. MMLU auf Switch Transformer 16-Expert) verbesserte sich die Genauigkeit sogar leicht (von 23,0 % auf 25,0 %).
Streaming-Stabilität: Unter Streaming-Inferenzbedingungen mit adversariellen Inputs hält R&Q konsistent einen niedrigeren LIS im Vergleich zu den Rohmodellen, was die Robustheit über die Zeit demonstriert.
Ablationsstudien: Die Ergebnisse bestätigen, dass die Kombination aus Replikation und selektiver Quantisierung überlegene Trade-offs liefert im Vergleich zur alleinigen Verwendung einer der Techniken oder der Quantisierung aller Experten.

Bedeutung und Ansprüche

Das Paper beansprucht, eine kritische Lücke zwischen der Optimierung zur Trainingszeit und der praktischen Inferenz-Bereitstellung zu schließen. Durch die Verlagerung des Fokus von Retraining-basierten Lösungen auf einen post-hoc, Inferenzzeit-Mechanismus bietet R&Q einen praktischen Weg für eine vorhersehbare und effiziente SMoE-Inferenz. Die Autoren betonen, dass ihr Ansatz:

Keine Retraining- oder architektonischen Änderungen erfordert.
Mit bestehenden vortrainierten Modellen und Standard-Deployment-Pipelines kompatibel ist.
Die spezifische Herausforderung dynamischer, realer Workloads adressiert, bei denen statische Routing-Policies oft versagen.
Eine skalierbare Lösung für heterogene Workloads bietet, indem er Effizienz (durch Replikation) und Ressourcenbeschränkungen (durch Quantisierung) ausbalanciert.

Die Arbeit kommt zu dem Schluss, dass R&Q eine ausgewogenere Berechnung und zuverlässigere Inferenz ermöglicht, ohne die Genauigkeit zu opfern, was es zu einer lebensfähigen Strategie für den Einsatz großer SMoE-Systeme in latenzsensitiven und ressourcenbeschränkten Umgebungen macht.