💬 NLP

The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism

Deze technische survey synthetiseert de evolutie van Mixture-of-Experts-architecturen in Large Language Models door ze te organiseren in een afhankelijkheidsgrafiek en ze te analyseren via vier controlevlakken (Expert Topologie, Routing, Balans en Expert Parallelisme) om de verschuiving in het veld te illustreren van het simpelweg activeren van ijle parameters naar het ontkoppelen van semantische routing, computationele budgetten en fysieke uitvoering.

Oorspronkelijke auteurs: Jiguo Li

Gepubliceerd 2026-08-11

📖 10 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiguo Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het brein van een superintelligente computer voor als een enorme, bruisende bibliotheek. In de oude dagen, om één enkele vraag te beantwoorden, stuurde de computer een bibliothecaris om elk boek op de planken één voor één te lezen, gewoon voor de zekerheid. Dit was traag en verspilde veel energie. Toen vonden ingenieurs een slimmere manier uit: een "Mixture of Experts". In plaats van één bibliothecaris die alles leest, huurden ze duizenden specialisten in. Wanneer er een vraag over koken binnenkomt, opent alleen de "Chef"-bibliothecaris hun boek; wanneer er een vraag over de ruimte binnenkomt, wordt alleen de "Astronoom" wakker. Dit is de kern van Mixture-of-Experts (MoE) in Large Language Models (LLMs): het laat AI-modellen ongelooflijk groot en slim worden zonder dat elke enkele berekening voor elk woord dat ze verwerken, uitgevoerd hoeft te worden.

Maar hier komt het lastige deel bij: als je een miljoen specialisten hebt, hoe beslis je dan wie het werk krijgt? Als je alle "Ruimte"-vragen naar de Astronoom stuurt, raken zij overbelast en vertragen ze alles, terwijl de "Chef" niets doet. Dit is het "routing"-probleem. Het is als het proberen te beheren van een gigantisch concert waarbij je direct moet beslissen welke muzikant welke noot speelt, om ervoor te zorgen dat niemand overbelast is, niemand zich verveelt en de muziek perfect doorstroomt. Als je de routing verpest, komt het hele systeem tot stilstand.

Dit artikel, geschreven door Jiguo Li in augustus 2026, is een diepe duik in hoe deze "expert"-systemen door de tijd heen zijn geëvolueerd. Het betoogt dat de geschiedenis van MoE niet alleen een lijst is van nieuwere, grotere modellen die jaar na jaar zijn uitgebracht. In plaats daarvan is het een verhaal over het oplossen van één specifieke verkeersopstopping na de andere. De auteur suggereert dat het vakgebied door acht belangrijke "mijlpalen" is bewogen, waarbij de verschuiving plaatsvond van eenvoudige statistische trucjes naar complexe, dynamische systemen waarbij de computer niet alleen kan beslissen wie helpt, maar ook hoeveel hulp er nodig is, en zelfs waar die hulp fysiek in de hardware van de computer leeft. Het artikel stelt vast dat de toekomst niet alleen gaat over het toevoegen van meer experts, maar over het ontwarren van de logica van "wat de AI denkt" van de fysieke realiteit van "hoe de computer draait", wat zorgt voor slimmere, snellere en efficiëntere AI die niet vastloopt in het verkeer.

Het Verhaal van de Acht Mijlpalen

Beschouw de evolutie van MoE als de geschiedenis van een openbaar vervoersysteem in een stad. Het begon met een enkele bus die overal stopte, ging over naar een systeem waar je een taxi kon bellen, en werd uiteindelijk een hyperefficiënt, zelforganiserend netwerk van drones en metro's. Het artikel verdeelt deze reis in acht afzonderlijke fasen, of "mijlpalen", waarbij elke stap een grote flessenhals oploste maar een nieuwe uitdaging creëerde.

1. De Statistische Taakverdeling (De Oude Bus)
In de begindagen was het idee simpel: heb een "poort" die beslist welke "expert" (een klein deel van het brein) een taak moet afhandelen. Maar in het begin hielp iedereen nog een beetje mee. Het was als een bus waarbij elke passagier moest opstaan en zwaaien naar de chauffeur, zelfs als ze niet uitstapten. Het was een statistische taakverdeling, maar het bespaarde geen energie. De computer deed nog steeds al het werk; het deed het alleen op een iets slimmere manier.

2. De "Top-K" Switch (De Taxidienst)
Toen kwam de grote doorbraak: Sparse Conditional Computation. Stel je een schakelaar voor die zegt: "Alleen de top 2 experts mogen werken; de andere 98 kunnen naar huis." Dit is de Top-K routing. Plotseling kon de computer een enorme bibliotheek aan kennis hebben (miljoenen parameters) maar slechts een minuscuul deel daarvan gebruiken voor elk woord. Dit was de "capaciteitshendel": je kon het model slimmer maken zonder het langzamer te maken. Maar het introduceerde een nieuw probleem: wat als de "Chef" 1.000 bestellingen krijgt en de "Astronoom" er nul? Het systeem begon uit balans te raken.

3. De Cluster Opschaling (Het Metronetwerk)
Naarmate modellen groeiden om op duizenden computerchips (GPU's) te passen, werd het probleem het verplaatsen van de data. Als de "Chef" op Chip A leeft en de "Astronom" op Chip B, hoe krijg je de ingrediënten daar dan? Dit tijdperk introduceerde Expert Parallelism en All-to-All communicatie. Het is als het bouwen van een enorm metronetwerk waar tokens (de woorden) de passagiers zijn, en ze moeten in treinen springen om bij de juiste expert te komen. De uitdaging verschoof van "wie doet de wiskunde" naar "hoe snel kunnen we de data verplaatsen zonder dat de trein vastloopt".

4. Het Open-Weight Tijdperk (De Openbaar Vervoer App)
Toen lieten modellen zoals Mixtral zien dat dit complexe systeem ook echt kon werken voor gewone mensen, niet alleen voor gigantische labs. Ze bewezen dat je een enorme, grofmazige MoE (grote experts) kon hebben die voor iedereen beschikbaar was. Maar de "experts" waren nog te groot en lomp. Ze hadden de neiging om steeds dezelfde basisdingen opnieuw te leren (zoals "hallo" zeggen), wat een verspilling van ruimte was.

5. Fijnmazige & Gedeelde Experts (De Gespecialiseerde Kiosken)
Om de onhandigheid op te lossen, begonnen ingenieurs de grote experts op te splitsen in vele kleine, fijnmazige experts. Het is als het vervangen van één grote "Algemene Winkel" door honderden kleine kiosken: één voor "pittig eten", één voor "desserts", één voor "veganistische opties". Dit maakte veel preciezere routing mogelijk. Ze voegden ook Shared Experts toe—een permanent pad voor zaken die iedereen nodig heeft (zoals basisgrammatica)—zodat het routingsysteem geen tijd hoefde te verspillen aan het beslissen over de basiszaken. Dit maakte het systeem sneller en slimmer, maar creëerde een nieuwe verkeersopstopping: te veel kleine kiosken betekende te veel kleine ritjes voor de metro, wat de boel vertraagde.

6. Ultra-Sparse Scaling (De Miljoen-Expert Bibliotheek)
Vervolgens vroegen onderzoekers zich af: "Wat als we veel meer experts hebben, maar zelfs kleinere?" Modellen zoals Kimi K2 en PEER begonnen honderden kleine experts te gebruiken (soms wel meer dan een miljoen!). Het idee is om een kandidatenpool zo groot te hebben dat de AI de perfecte specialist voor elk afzonderlijk woord kan vinden. Maar het artikel merkt een addertje onder het gras op: als je te veel experts hebt, besteedt de computer meer tijd aan het opzoeken wie hij moet bellen (retrieval) en het verplaatsen van data dan aan het daadwerkelijke werk doen. De "weight I/O" (het laden van het brein van de expert) werd de nieuwe flessenhals.

7. Dynamische Computatie (Het Flexibele Budget)
Tot nu toe kreeg elk woord evenveel hulp (bijv. "Top-2" experts). Maar sommige woorden zijn moeilijk (zoals "kwantumfysica") en sommige zijn makkelijk (zoals "de"). Dynamic Compute verandert de regels: de AI kan besluiten om 1 expert te gebruiken voor makkelijke woorden en 4 voor moeilijke woorden. Sommige modellen gebruiken zelfs "zero-compute" slots, waarbij de AI gewoon zegt: "Ik weet dit, geen reden om iemand te bellen." Dit bespaart energie, maar creëert een nieuw risico: als er tegelijkertijd een reeks moeilijke woorden verschijnt, kan het systeem overbelast raken, wat vertragingen veroorzaakt (tail latency).

8. Ontkoppeling van Logica en Fysica (Het Teleportatienetwerk)
De laatste grens is Semantic Routing Decoupled from Physical Execution. Momenteel, als de AI besluit de "Astronoom" aan te roepen, moet de data onmiddellijk fysiek naar de chip van de Astronoom reizen. De nieuwe ideeën (zoals ScMoE of Heterogeneous Experts) suggereren dat we de beslissing kunnen scheiden van de beweging. Misschien besluit de AI de Astronoom te gebruiken, maar wacht de data in een buffer, of is de Astronoom een andere grootte afhankelijk van de taak. Het is als een teleportatienetwerk waarbij de bestemming logisch wordt bepaald, maar het fysieke transport apart wordt geoptimaliseerd om verkeersopstoppingen te vermijden.

De Vier Control Planes

Het artikel organiseert al deze veranderingen in vier "control planes", die als de verschillende managementlagen in een groot bedrijf fungeren:

De Objectlaag (Topologie): Dit is de "Organogram". Het definieert wie de experts zijn, hoe groot ze zijn en of ze een bureau delen. Het vraagt: "Hebben we 8 grote experts of 128 kleine?"
De Beslissingslaag (Routing): Dit is de "Dispatcher". Voor elk afzonderlijk woord beslist het: "Wie bel ik?" Het gebruikt een "Top-K" regel om de beste specialisten te kiezen.
De Control Laag (Balans): Dit is de "HR-Manager". Het houdt in de gaten of geen enkele expert 24/7 werkt terwijl anderen slapen. Als de "Chef" overbelast is, kan het systeem voorzichtig worden bijgestuurd om orders naar de "Bakker" te sturen, met behulp van speciale wiskundige trucs (zoals Auxiliary-Loss-Free balancing) om dit te doen zonder de leercurve van de AI te verstoren.
De Executielaag (Expert Parallelism): Dit is het "Logistieke Team". Het bepaalt hoe de data fysiek over de chips moet worden verplaatst, hoe het verkeer moet worden afgehandeld en hoe de wiskunde snel kan worden uitgevoerd.

Wat het Papier Uitsluit en Wat het Voorstelt

De auteur is heel duidelijk over wat niet werkt als een wondermiddel. Er wordt tegen gestemd dat er een enkele "perfecte" structuur is voor alle MoE-modellen. De auteur suggereert dat het simpelweg toevoegen van meer experts niet het antwoord is als het systeem de data niet snel genoeg kan verplaatsen. Er wordt ook op gewezen dat Soft MoE (waarbij experts continu in elkaar overvloeien in plaats van één te kiezen) nog niet bewezen heeft goed te werken op de enorme, real-world systemen die we vandaag de dag gebruiken, ook al klinkt het in theorie mooi.

Het artikel suggereert dat de toekomst ligt in ontkoppeling. We moeten stoppen met het koppelen van de "slimme beslissing" (welke expert te gebruiken) aan de "fysieke realiteit" (op welke chip deze leeft). De auteur stelt voor dat de beste systemen dynamische budgetten zullen gebruiken (veranderende hoeveelheid werk gebaseerd op moeilijkheidsgraad) en runtime placement (het verplaatsen van experts terwijl de computer draait om verkeersopstoppingen te vermijden).

Echter, het artikel claimt niet dat dit "opgeloste" problemen zijn. Hoewel Heterogeneous Experts (experts van verschillende groottes) geweldig klinken, merkt het artikel op dat ze nog in de "onderzoeksfase" zitten en nog niet volledig zijn getest op de enorme schaal van biljoenen parameters. Op dezelfde manier is Cross-layer sharing (waarbij een expert van laag 1 helpt bij laag 100) een interessant idee, maar de auteur zegt dat we meer bewijs nodig hebben om te zien of het daadwerkelijk werkt zonder verwarring te veroorzaken.

De Kernboodschap

In eenvoudige bewoordingen vertelt dit artikel ons dat de reis om AI slimmer te maken niet alleen gaat over het bouwen van een groter brein. Het gaat over het bouwen van een beter verkeersysteem. We zijn bewogen van een enkele bus naar een complex netwerk van taxi's, metro's en drones. De volgende stap is niet alleen het toevoegen van meer voertuigen; het is het slimmer maken van de verkeerslichten, de wegen flexibeler maken en de dispatchers in staat stellen om de spits te overleven zonder crashen. De auteur concludeert dat de "volgende generatie" AI niet een enkel nieuw model zal zijn, maar een combinatie van deze slimme routing-trucs, dynamische budgetten en fysieke optimalisaties die samenwerken. Het is een herinnering dat in de wereld van superintelligente computers, soms het moeilijkste deel niet het denken is — maar het aankomen op de bestemming.

Technisch Overzicht: De Evolutie van Mixture-of-Experts Architecturen in Large Language Models

Probleemdefinitie en Analysebereik

Het artikel behandelt de uitdaging om de architecturale evolutie van Mixture-of-Experts (MoE) in Large Language Models (LLMs) te begrijpen. Terwijl bestaande surveys MoE-onderzoek vaak organiseren op basis van chronologische modelreleases of full-stack taxonomieën, betoogt dit rapport dat dergelijke benaderingen falen in het verklaren van waarom architecturale veranderingen plaatsvinden. Het kernprobleem is het identificeren van de specifieke bottlenecks die elke architecturale iteratie wegneemt en waar de bottleneck vervolgens naar verschuift.

De scope is strikt beperkt tot sparse MoE in decoder-only LLM pre-training, met een focus op Feed-Forward Network (FFN) MoE. Het sluit multimodal MoE, MoE-LoRA, externe ensembles en pure post-training fusie expliciet uit. Het rapport stelt dat MoE geen single-objective optimalisatie is, maar een simultane strijd om de totale parametercapaciteit ( $P_{total}$ ) te maximaliseren terwijl de actieve parameters per token ( $P_{active}$ ) worden gecontroleerd, semantische specialisatie wordt behouden en systeemefficiëntie wordt gewaarborgd (het vermijden van stragglers en communicatie-bottlenecks).

Methodologie: Een Vier-Control-Planes Framework

In plaats van een lineaire tijdlijn stelt de auteur een structureel framework voor dat is georganiseerd rond vier gekoppelde control planes die de interne operatie van elk MoE-systeem definiëren:

Expert Topologie (Object Laag): Definieert de logische expertset ( $\mathcal{E}$ ), inclusief granulariteit, deelname-relaties en heterogeniteit. Dit is een traag veranderende variabele die wordt bepaald tijdens het architectuurontwerp.
Routing (Beslissings Laag): Bepaalt de subset van experts ( $\mathcal{K}_t$ ) die voor elke token wordt geselecteerd op basis van affiniteitsscores. Dit opereert op tokenniveau en is een snelle variabele.
Balans (Control Laag): Aggregeert belastingstatistieken ( $n_i$ ) over sequenties of batches en past feedback toe (via auxiliary losses, biases of capaciteitsrestricties) om instorting te voorkomen en een fysieke belastingverdeling te waarborgen.
Expert Parallelisme (Executie Laag): Mapt logische expertselecties naar fysieke apparaten, waarbij dispatch, All-to-All communicatie en kernel-executie worden afgehandeld.

De auteur formaliseert deze planes als een closed-loop systeem waarbij fysieke restricties (bijv. device topologie) retrospectief de semantische routing kunnen beperken, en runtime plaatsing de belasting kan verlichten zonder de output van de router te veranderen.

Belangrijkste Bijdragen: Acht Evolutie-mijlpalen

Het artikel identificeert acht mijlpalen, niet als opeenvolgende generaties, maar als een dependency graph waarbij de knopen de migratie van de dominante systeem-bottleneck vertegenwoordigen.

Mainline Ontwikkelingen (Nodes 1–6)

Node 1: Dense/Soft MoE (Statistische Arbeidsverdeling): Vestigde het gating-mechanisme en de gewogen combinatie, maar koppelde capaciteit aan FLOPs (alle experts rekenen mee).
Node 2: Sparse Conditional Computation (Top-k): Geïntroduceerd door Shazeer et al., ontkoppelde de totale capaciteit van de per-token FLOPs door slechts $k \ll N$ experts te activeren. Dit introduceerde de noodzaak voor discrete routing, load balancing en token dropping.
Node 3: Transformer MoE & Expert Parallelism: Systematiseerde de executieketen (Router $\to$ Dispatch $\to$ All-to-All $\to$ Expert $\to$ Combine) en introduceerde stabiliteitsmechanismen (bijv. z-loss, capacity factors) om training op duizenden apparaten mogelijk te maken.
Node 4: Open-Weight Coarse-Grained MoE: Gedemonstreerd door Mixtral, bewees dat standaard coarse-grained MoE de volledige levenscyclus van open-weight decoder modellen kan ondersteunen, waarbij de bottleneck verschoof naar kennisredundantie en grove compositie.
Node 5: Shared + Fine-Grained Experts: Geïntroduceerd door DeepSeekMoE/V2, splitst grote experts in kleinere eenheden om de compositie-resolutie te verhogen en voegt "shared experts" toe om algemene kennis te isoleren, wat redundantie tussen gerouteerde experts vermindert.
Node 6: Ultra-Sparse Scaling: Onderzocht door PEER en Kimi K2, onderzoekt of het verder verhogen van het totaal aantal experts ( $N$ ) de loss verbetert wanneer de actieve parameters constant blijven, waarbij de bottleneck verschuift naar weight I/O en retrieval overhead.

Orthogonale Takken (Nodes 7–8)

Deze nodes versoepelen fundamentele aannames van de mainline in plaats van simpelweg meer experts toe te voegen.

Node 7: Dynamic Compute: Beweegt van een vaste Top-k naar token-afhankelijke budgetten (bijv. zero-compute experts, adaptive- $k$ ), waardoor semantische selectie wordt ontkoppeld van het computationele budget.
Node 8: Semantic-Physical Decoupling: Ontkoppelt de semantische keuze van een expert van zijn directe fysieke executiepad. Dit omvat:
- ScMoE: Het herordenen van executie-afhankelijkheden om communicatie te overlappen met dense paden.
- Heterogene Experts: Het selecteren van experts van verschillende groottes op basis van de moeilijkheidsgraad van de token.
- Cross-layer Sharing: Het hergebruiken van experts over lagen heen om redundantie te verminderen.
- Gestructureerde Communicatie: Het reduceren van dynamische All-to-All verkeer naar deterministische patronen (bijv. Head Parallel).

Resultaten en Experimenteel Ontwerp

Het artikel presenteert geen nieuwe empirische trainingsresultaten, maar synthetiseert bevindingen uit eerdere rapporten (DeepSeek-V3, Qwen3, Kimi K2, etc.) om het framework te valideren. Het benadrukt dat:

Balans Evolutie: Het veld beweegt van sequence-wise auxiliary losses naar Auxiliary-Loss-Free (ALF) strategieën (gebruikmakend van non-gradient biases) en runtime plaatsing om fysieke load balancing te scheiden van gradient updates.
Communicatie Optimalisatie: De focus is verschoven van het minimaliseren van het totale All-to-All volume naar het minimaliseren van de blootgestelde communicatietijd via overlap (ScMoE, DualPipe) en topologie-gelimiteerde routing.
Expert Granulariteit: De trend beweegt van isomorfe grote experts naar fijnmazige, heterogene en ultra-sparse configuraties.

De auteur stelt een rigoureus Experimenteel Ontwerp voor Foundation-Model Pretraining voor om cross-model benchmark vergelijkingen te vervangen. Zij pleiten voor "equal-budget" ablatie-studies waarbij getrainde tokens, actieve parameters en optimizer settings constant blijven terwijl er wordt gevarieerd met:

Expert granulariteit en de aanwezigheid van een shared path.
Balance scope (sequence vs. global batch vs. ALF).
Executie topologie (serial EP vs. ScMoE).
Dynamic compute mechanismen.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het verschuiven van het perspectief van de MoE-evolutie van een "chronologische lijst van modelreleases" naar een structurele analyse van bottleneck-migratie.

Complementaire Visies: De acht mijlpalen beschrijven de historische bottleneck-migratie, terwijl de vier control planes een structureel beeld geven van een enkel systeem. Deze worden gepresenteerd als complementair, niet als concurrerende taxonomieën.
Ontkoppeling: De belangrijkste trend die wordt geïdentificeerd is de ontkoppeling van semantische routing, computationele budgetten en fysieke executie. Toekomstige architecturen worden niet gedefinieerd door één enkele "volgende generatie" structuur, maar door de combinatie van vrijere routing, expliciete budgetcontrole, topologie-bewustzijn en runtime plaatsing.
Evaluatie Verschuiving: Het artikel betoogt dat de evaluatie van MoE moet uitbreiden voorbij validatie loss naar een gezamenlijke analyse van specialisatie, actieve budget variantie, blootgestelde communicatie en tail latency (P99).

Het rapport concludeert dat er geen enkele optimale structuur is; in plaats daarvan is de "volgende generatie" een flexibele combinatie van de geïdentificeerde architecturale assen, afgestemd op specifieke hardwarebeperkingen en trainingsdoelstellingen.