🤖 machine learning

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs

Dit artikel stelt Replicate-and-Quantize (R&Q) voor, een training-vrij framework tijdens de inferentie-fase dat de belasting in Sparse Mixture-of-Experts-modellen dynamisch herbalanceert door veelgekozen experts te repliceren en anderen te kwantiseren, waardoor de routing-scheefheid aanzienlijk wordt verminderd terwijl de modelnauwkeurigheid binnen een vast geheugenbudget behouden blijft.

Oorspronkelijke auteurs: Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een bruisende, high-tech keuken waar gigantische robots proberen de perfecte maaltijd te bereiden voor miljoenen hongerige mensen tegelijkertijd. Om aan deze enorme vraag te voldoen, hebben deze robots niet één gigantisch brein; ze hebben een team van gespecialiseerde chefs, die elk een expert zijn in een specifieke ingrediënt of recept. Deze opzet wordt een "Sparse Mixture-of-Experts" (SMoE) genoemd. In plaats van dat elke chef elk gerecht kookt, kijkt een slimme manager (de "router") naar elke bestelling en stuurt deze naar de paar chefs die het beste zijn in die specifieke taak. Dit is ongelooflijk efficiënt, waardoor de robots enorm groot en slim kunnen zijn zonder een keuken nodig te hebben ter grootte van een stad.

Maar er is een addertje onder het gras. Net als in een echte keuken kan de manager soms bevooroordeeld raken. Als een klant een populaire gerechten bestelt, kan de manager ervoor zorgen dat bijna alle bestellingen naar dezelfde "sterchef" worden gestuurd, terwijl de andere getalenteerde chefs met lege handen staan te wachten. Dit wordt "load imbalance" (belastingsonbalans) genoemd. De sterchef raakt overwerkt en vertraagt de hele lopende band, terwijl de anderen energie verspillen door niets te doen. Dit paper pakt een heel specifiek probleem aan: hoe je deze chaos oplost terwijl de keuken al open is voor zaken, zonder mensen te ontslaan, nieuw personeel aan te nemen of het regelboek van de manager te herschrijven.

Het Probleem: De Overwerkte Sterchef

De onderzoekers merkten op dat hoewel deze AI-keukens ontworpen zijn om eerlijk te zijn, ze vaak in een sleur terechtkomen. Wanneer er tegelijkertijd een grote groep bestellingen binnenkomt (een "batch"), heeft de manager de neiging om bijna alles naar een kleine groep "heavy-hitter" experts te sluizen. Deze experts worden een bottleneck, waardoor het hele systeem vertraagt, terwijl de rest van het team werkloos rondhangt.

Het team controleerde eerst of het simpelweg hertrainen van de manager om eerlijker te zijn het probleem zou oplossen. Ze probeerden verschillende trainingstrucs, zoals het toevoegen van straffen voor oneerlijkheid, maar ontdekten een frustrerende afruil: het eerlijker maken van de manager maakte de antwoorden van de robot vaak minder accuraat. Het was alsof je een chef probeert te dwingen om te stoppen met het koken van zijn handtekeninggerecht zodat anderen ook kunnen koken; het eten smaakte dan simpelweg niet zo goed. Ze ontdekten ook dat het probleem erger wordt wanneer je probeert meer mensen tegelijkertijd te bedienen. Naarmate de batchgrootte groeide, explodeerde de onbalans, waardoor het systeem inefficiënt en traag werd.

De Ontdekking: Populariteit is Niet Alles

Voordat ze een oplossing bouwden, deed het team een verrassende ontdekking. Ze keken nauwkeurig naar welke experts de meeste arbeid verrichtten en vergeleken dat met welke experts daadwerkelijk het meest belangrijk waren voor het juiste antwoord. Ze ontdekten dat populair zijn niet hetzelfde is als belangrijk zijn.

Sommige experts kregen een enorme hoeveelheid werk (hoge belasting), maar als je hen zou verwijderen, zou de prestaties van de robot nauwelijks dalen. Omgekeerd waren sommige experts zelden opgeroepen, maar waren ze absoluut cruciaal wanneer ze wél werden gebruikt. De manager verwarde "frequente verzoeken" met "hoge waarde". Dit betekende dat het team niet alle experts hetzelfde moest behandelen; ze konden de overwerkte experts en de onderbenutte experts verschillend behandelen.

De Oplossing: De "Replicate-and-Quantize" Strategie

Om de bottleneck op te lossen zonder het hele systeem te hertrainen, stelden de auteurs een slimme, plug-and-play strategie voor genaamd Replicate-and-Quantize (R&Q). Denk aan een dynamische keukenherrangschikking die direct plaatsvindt wanneer de bestellingen binnenstromen.

Repliceren van de Heavy-Hitters: Wanneer het systeem een expert spot die verdrinkt in het werk (de "heavy-hitter"), ontslaan ze deze niet. In plaats daarvan maken ze een "kloon" van die expert. Maar hier is de truc: de kloon is een "lichtgewicht" versie. Het is dezelfde chef, maar ze werken met een iets kleinere, efficiëntere toolkit (door gebruik te maken van rekenkunde met een lagere precisie, of "quantization"). Hierdoor kan het systeem de enorme stapel bestellingen verdelen tussen de originele chef en de kloon, wat de snelheid verdubbelt zonder een grotere keuken nodig te hebben.
Quantizen van de Onderbenutten: Om ruimte te maken voor deze nieuwe klonen zonder dat het geheugen opraakt, kijkt het systeem naar de experts die bijna niets doen. Deze "minder belangrijke" experts krijgen ook de lichtgewicht toolkit. Omdat zij weinig bestellingen afhandelen, schaadt het verkleinen van hun toolkit de kwaliteit van het eten niet.

Door beide tegelijkertijd te doen — het splitsen van de last van de drukke chefs en het verkleinen van de tools van de inactieve chefs — blijft het systeem binnen het oorspronkelijke geheugenbudget maar werkt het veel sneller en eerlijker.

De Resultaten: Een Gebalanceerde Keuken

Het team testte deze strategie op verschillende AI-modellen en een breed scala aan taken, van het oplossen van wiskundeproblemen tot het beantwoorden van lastige vragen over de wereld. Ze maten de onbalans met een nieuwe score die ze zelf hebben uitgevonden, de Load Imbalance Score (LIS), waarbij een score van 1 perfecte balans betekent en hogere getallen meer chaos betekenen.

De resultaten waren indrukwekkend. De R&Q-strategie slaagde erin om de belastingsonbalans met wel 1,4 keer te verminderen ten opzichte van de originele, ongewijzigde modellen. Bijvoorbeeld, op een moeilijke wiskundige dataset genaamd GSM8K, daalde de onbalansscore voor één model van 1,9709 naar 1,3937. Op een andere dataset, PIQA, daalde deze van 4,3504 naar 3,2925.

Cruciaal was dat deze enorme verbetering in efficiëntie bijna geen kosten met zich meebracht voor de kwaliteit van de antwoorden. De nauwkeurigheid van de modellen bleef binnen ±0,6% van het origineel. In sommige gevallen, zoals op de MMLU-dataset, verbeterde de nauwkeurigheid zelfs licht (van 23,0% naar 25,2% voor één model). De onderzoekers testten dit ook in een "streaming" scenario, waarbij bestellingen een voor een binnenkomen als een continue rivier, en vonden dat het systeem stabiel en gebalanceerd bleef over de tijd, wat bewees dat het werkt wanneer de werklast onvoorspelbaar is.

Wat Dit Betekent

Dit paper suggereert dat we onze AI-modellen niet volledig hoeven te herbouwen om ze efficiënt te maken. Door simpelweg te erkennen dat sommige delen van het brein overwerkt zijn terwijl andere onderbenut zijn, en vervolgens de drukke delen dynamisch te klonen terwijl de inactieve delen verkleinen, kunnen we een veel soepeler, sneller en eerlijker systeem creëren. Het is een praktische, "plug-and-play" oplossing die deze gigantische AI-hersenen laat draaien als een goed geoliede machine, klaar voor de echte wereld zonder dat er een enorme herstructurering nodig is.

Technische Samenvatting: Een Replicate-and-Quantize Strategie voor Plug-and-Play Load Balancing van Sparse Mixture-of-Experts LLM's

Probleemstelling

Sparse Mixture-of-Experts (SMoE) architecturen zijn een dominant paradigma geworden voor het efficiënt schalen van Large Language Models (LLMs), waardoor modellen hun capaciteit kunnen vergroten zonder de berekening per token lineair te verhogen. Echter, SMoE-modellen lijden onder ernstige load imbalance (belastingonbalans) tijdens inferentie. Een minderheid van de "heavy-hitter" experts ontvangt de meerderheid van de tokens, terwijl andere onderbenut blijven. Deze onbalans leidt tot:

Latency Bottlenecks: Overbelaste experts fungeren als stragglers (achterblijvers), die de voltooiingstijd van de batch bepalen.
Resource Inefficiency: Onderbenutte experts laten rekenbronnen onbenut, wat de effectieve parallelliteit vermindert.
Systeem Overhead: Verhoogde kosten voor synchronisatie en bufferbeheer.

Bestaande oplossingen richten zich primair op mitigatie tijdens de trainingstijd via hulp-losses, entropie-regularisatie of reinforcement learning. Deze methoden falen vaak bij inferentie-scenario's, met name wanneer men te maken heeft met niet-stationaire inputs, stromende data of variërende batchgroottes. Bovendien blijkt uit empirische analyse dat selectiefrequentie niet betrouwbaar de expert-belangrijkheid aangeeft; zwaar gebruikte experts zijn niet noodzakelijkerwijs de meest kritieke voor taakprestaties, en zelden gebruikte experts kunnen zeer waardevol zijn. Huidige methoden voor load balancing tijdens de inferentie vereisen vaak aangepaste runtimes, architecturale wijzigingen of hertraining, wat de toepasbaarheid op vooraf getrainde modellen beperkt.

Methodologie: Replicate-and-Quantize (R&Q)

De auteurs stellen Replicate-and-Quantize (R&Q) voor, een training-vrij, plug-and-play framework dat ontworpen is om de workload van experts dynamisch te herverdelen tijdens inferentie, zonder de router of het model aan te passen. De aanpak steunt op twee complementaire mechanismen:

1. Load Imbalance Score (LIS)

Om de ernst van de onbalans te kwantificeren, introduceert het artikel de Load Imbalance Score (LIS). Voor een gegeven MoE-blok $i$ met $m$ experts en $n$ totale tokens, waarbij $k$ experts per token geactiveerd worden:
$l_i = \frac{m \cdot \max_{j \in [m]} n_{i,j}}{nk}$
waarbij $n_{i,j}$ het aantal naar expert $j$ gerouteerde tokens is. Een score van 1 duidt op perfecte balans; hogere waarden duiden op toenemende onbalans.

2. De R&Q Strategie

Het framework werkt in twee fasen op basis van een kleine kalibratieset:

Identificatie van Heavy-Hitters: De methode analyseert routing-traces om de expert in elke laag te identificeren die het maximale aantal tokens ontvangt (de heavy-hitter).
Identificatie van Minder Belangrijke Experts: Met behulp van een gradiënt-vrije, pruning-gebaseerde metriek geïnspireerd door Wanda, schat de methode de expert-belangrijkheid door het product van gewichtsmagnitudes en input-activatiestormen te berekenen ( $|W| \times \|X\|_2$ ). Experts met lage scores worden als minder belangrijk beschouwd.
Replicatie: De geïdentificeerde heavy-hitter experts worden gerepliceerd binnen dezelfde laag. Deze replica's bieden extra parallelle capaciteit om de token-load te verwerken, waardoor de computationele bottleneck effectief wordt verdeeld.
Quantizatie: Om het oorspronkelijke geheugen- en rekenbudget te behouden, worden de replica's uitgerold met een lagere precisie (bijv. 8-bit of 16-bit). Tegelijkertijd worden de geïdentificeerde minder belangrijke experts agressief gekwantiseerd. Deze dubbele actie zorgt ervoor dat de toegevoegde capaciteit van de replica's de middelen niet overschrijdt, terwijl de representatieve getrouwheid van het model behouden blijft.

Het gehele proces is post-hoc, vereist geen wijziging aan de routing-mechanisme of modelgewichten (anders dan quantizatie), waardoor het toepasbaar is op elk vooraf getraind SMoE-model.

Belangrijkste Bijdragen

Empirische Analyse van Inferentie-dynamiek: Het artikel biedt een systematische analyse die aantoont dat load imbalance persisteert en intensiveert tijdens de inferentie (vooral bij grotere batchgroottes) en dat selectiefrequentie een slechte proxy is voor expert-utiliteit.
Load Imbalance Score (LIS): Introductie van een geprincipeerde metriek om routingstrategieën en load balancing-benaderingen rigoureus te evalueren en te vergelijken.
Replicate-and-Quantize (R&Q): Een lichtgewicht, training-vrije methode die de workload dynamisch balanceert door overbelaste experts te repliceren en onderbenutte experts te kwantiseren, waarbij een bijna verliesloze prestatie wordt behaald.
Uitgebreide Evaluatie: Validatie over vijf modelarchitecturen (Switch Transformer, LLaMA-MoE, DeepSeek-MoE, DeepSeek-V2 Lite) en zes diverse benchmarks (MMLU, GSM8K, TruthfulQA, etc.), die zowel statische als stromende inferentie-scenario's dekken.

Experimentele Resultaten

Uit uitgebreide experimenten blijkt de effectiviteit van R&Q:

Load Balancing: R&Q bereikt een reductie in load imbalance (LIS) van tot wel 1.4 $\times$ over verschillende modellen en taken. Bijvoorbeeld, op de Switch Transformer (8 experts) met GSM8K, daalde de LIS van 1.97 naar 1.39.
Nauwkeurigheidbehoud: De methode houdt de modelnauwkeurigheid binnen $\pm$ 0.6% van de baseline. In verschillende gevallen (bijv. MMLU op Switch Transformer 16-expert) verbeterde de nauwkeurigheid zelfs licht (van 23.0% naar 25.0%).
Streaming Stabiliteit: Onder streaming inferentie-omstandigheden met adversariële inputs, handhaaft R&Q consistent een lagere LIS vergeleken met de ruwe modellen, wat robuustheid over tijd demonstreert.
Ablatie-studies: De resultaten bevestigen dat het combineren van replicatie en selectieve quantizatie superieure trade-offs oplevert vergeleken met het gebruik van slechts één van beide technieken of het kwantiseren van alle experts.

Betekenis en Claims

Het artikel beweert een kritieke kloof te overbruggen tussen training-tijd optimalisatie en praktische inferentie-implementatie. Door de focus te verschuiven van retraining-gebaseerde oplossingen naar een post-hoc, inferentie-tijd mechanisme, biedt R&Q een praktisch pad naar voorspelbare en efficiënte SMoE-inferentie. De auteurs benadrukken dat hun aanpak:

Geen hertraining of architecturale wijzigingen vereist.
Compatibel is met bestaande vooraf getrainde modellen en standaard deployment-pipelines.
Specifieke uitdagingen aanpakt van dynamische, real-world workloads waar statische routing-policies vaak falen.
Een schaalbare oplossing biedt voor heterogene workloads door efficiëntie (via replicatie) en middelenbeperkingen (via quantizatie) te balanceren.

Het werk concludeert dat R&Q een meer gebalanceerde berekening en betrouwbare inferentie mogelijk maakt zonder de nauwkeurigheid op te offeren, wat het een levensvatbare strategie maakt voor het implementeren van grootschalige MoE-systemen in latency-gevoelige en resource-beperkte omgevingen.