💬 NLP

EMO: Pretraining Mixture of Experts for Emergent Modularity

EMO introduceert een nieuwe Mixture-of-Experts-architectuur die documentgrenzen tijdens het voortrainen benut om emergente, semantisch gespecialiseerde expertmodulariteit mogelijk te maken, waardoor selectieve expertimplementatie wordt toegelaten met minimale prestatieverlies vergeleken met standaard monolithische of conventionele MoE-modellen.

Oorspronkelijke auteurs: Ryan Wang, Akshita Bhagia, Sewon Min

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ryan Wang, Akshita Bhagia, Sewon Min

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Alles-of-Niets" Reus

Stel je een enorme, alwetende bibliotheek voor (een Large Language Model) die elke ooit geschreven boek bevat, van geavanceerde kwantumfysica tot kookboeken en programmeerhandleidingen.

Op dit moment, als je de bibliotheek een simpele vraag wilt stellen over hoe je een taart bakt, moet je het hele gebouw openen, alle lichten aan doen en elke enkele bibliothecaris inhuren om klaar te staan, zelfs al heb je alleen die ene bibliothecaris nodig die over bakken weet. Dit is ongelooflijk duur en traag.

Sommige mensen probeerden dit op te lossen met Mixture of Experts (MoE) modellen. Denk hierbij aan een bibliotheek met honderden gespecialiseerde bibliothecarissen. Wanneer je een vraag stelt, kiest het systeem slechts een paar bibliothecarissen om je te helpen.

De Haken en Ogen: Bij standaard MoE-modellen is het systeem chaotisch. Als je een vraag stelt over bakken, kan het systeem per ongeluk de bibliothecaris wakker maken die over grammatica weet, degene die over geschiedenis weet, en degene die over programmeren weet. Omdat de "verkeerde" bibliothecarissen nog steeds actief zijn, kun je de programmeer-bibliothecaris niet gewoon ontslaan om geld te besparen; het systeem breekt als je probeert alleen de bak-experts te gebruiken. Je moet toch het hele team op de loonlijst houden.

De Oplossing: EMO (De Georganiseerde Bibliotheek)

De auteurs introduceren EMO, een nieuwe manier om deze modellen te trainen zodat ze zich van nature organiseren in nette, onafhankelijke teams.

Het Geheime Ingrediënt: De "Document" Regel
Het kernidee is simpel: Alles in één document hoort meestal bij hetzelfde onderwerp.

Als je een document leest over programmeren, gaat elke zin in dat document over programmeren.
Als je een document leest over geneeskunde, gaat elke zin over geneeskunde.

EMO gebruikt dit feit als een regel tijdens het trainen. Het vertelt het systeem: "Voor dit specifieke document, kies een kleine groep experts (een 'pool') en forceer elk enkel woord in dat document om alleen experts uit die groep te gebruiken."

Het is alsof je een groep studenten vertelt: "Voor dit specifieke essay mag je alleen de bronnen uit de Wetenschapssectie gebruiken. Ga niet naar de Geschiedenissectie."

Omdat het model deze regel volgt voor miljoenen documenten, leert het zijn experts van nature te groeperen. De "programmeer"-experts leren bij elkaar te blijven, de "wiskunde"-experts blijven bij elkaar, en de "medische" experts blijven bij elkaar. Ze stoppen met mengen met niet-gerelateerde onderwerpen.

De Resultaten: Het Team Verminderen Zonder het Systeem te Breken

De auteurs bouwden een enorm model (14 miljard parameters in totaal, maar slechts 1 miljard actief tegelijk) en testten het.

Volledig Team Prestatie: Wanneer ze het hele team van experts gebruiken, werkt EMO net zo goed als standaardmodellen. Het is slim en accuraat.
De "Knip" Test: Hier blinkt EMO uit. Ze probeerden het model te draaien met slechts 25% van de experts (bijvoorbeeld alleen de wiskunde-experts).
- Standaard Model: Als je probeert om slechts 25% van een standaardmodel te gebruiken, crasht het. De prestaties dalen met 10–15% omdat de resterende experts een willekeurige, verwarde mix zijn.
- EMO: Als je slechts 25% van EMO gebruikt, dalen de prestaties met slechts 1%. Het model blijft slim omdat die 25% een perfect georganiseerd, gespecialiseerd team is.

De Analogie:

Standaard MoE: Zoals een willekeurige verzameling gereedschappen in een gereedschapskist. Als je de helft van de gereedschappen weghaalt, kun je de hamer en de schroevendraaier kwijtraken, waardoor je alleen nog een moersleutel en een zaag overhoudt. Je kunt geen huis bouwen.
EMO: Zoals een gereedschapskist waar de gereedschappen in gelabelde laden zijn gesorteerd. Als je alleen een lek wilt repareren, open je de "Loodgieters" la. Je hebt elk gereedschap dat je nodig hebt voor die klus, en je hoeft de "Tuin" of "Elektra" laden niet mee te nemen.

Wat de Experts Eigenlijk Leerden

De onderzoekers keken in het model om te zien wat de experts aan het doen waren.

Oude Modellen: De experts leerden laag-niveau trucs, zoals "Ik verwerk het woord 'de'" of "Ik verwerk komma's". Dit is als een bibliothecaris die alleen weet hoe boeken in de schappen moeten worden gezet op basis van de kleur van hun rug.
EMO: De experts leerden hoog-niveau onderwerpen. Een groep werd het "Wiskunde Team", een ander werd het "Programmeer Team", en een ander werd het "Medisch Team". Dit is als het hebben van een bibliothecaris die het onderwerp zelf echt kent.

Waarom Dit Belangrijk Is

Dit paper laat zien dat we enorme, krachtige AI-modellen kunnen bouwen die modulair zijn. In plaats van overal een enorme, zware rugzak (het volledige model) mee te nemen, kun je een kleine, gespecialiseerde kit meenemen voor de specifieke taak die je op dat moment doet.

Geheugenefficiëntie: Je hoeft niet het hele model in het geheugen te laden als je alleen wiskunde moet doen.
Flexibiliteit: Je kunt deze expertgroepen met elkaar combineren.
Geen Menselijke Labels: Het model ontdekte dit helemaal zelf. De onderzoekers hoefden niet te zeggen: "Jij bent de wiskunde-expert." Het model ontdekte de wiskunde-experts vanzelf door gewoon de "Document Regel" te volgen.

Kortom, EMO verandert een monolithische, dure reus in een set Lego-blokken die kunnen worden samengevoegd of uit elkaar kunnen worden gehaald, afhankelijk van wat je wilt bouwen, zonder het vermogen om een kasteel te bouwen te verliezen.

Technische Samenvatting: EMO - Pretraining Mixture of Experts voor Emergente Modulariteit

Probleemstelling

Grote Taalmodellen (LLMs) worden doorgaans ingezet als monolithische systemen, waarbij het volledige model moet worden geladen, zelfs wanneer een applicatie slechts een smal deel van de capaciteiten vereist (bijvoorbeeld codegeneratie of wiskundig redeneren). Dit paradigma leidt tot onnodige rekenkosten en geheugengebruik. Hoewel Mixture-of-Experts (MoE)-architecturen een mogelijke oplossing bieden door per invoer slechts een subset van experts te activeren, slagen standaard MoE's er niet in om modulaire implementatie te ondersteunen. In bestaande MoE's activeren tokens binnen een enkele invoer diverse experts, vaak gedreven door laag-niveau lexische patronen (bijvoorbeeld voorzetsels, leestekens) in plaats van hoog-niveau semantische domeinen. Bijgevolg leidt het beperken van inferentie tot een specifieke subset van experts voor een bepaald domein tot ernstige prestatiedegradatie, waardoor MoE's onpraktisch worden voor geheugenbeperkte omgevingen waar slechts een fractie van het model kan worden geladen.

Methodologie: EMO

De auteurs introduceren EMO, een MoE-architectuur die is ontworpen om modulariteit als een primaire doelstelling tijdens pretraining te induceren. Het kerndoel is het trainen van een model waarbij expert-subsets onafhankelijk kunnen worden gebruikt voor specifieke domeinen en kunnen worden samengesteld tot een sterk algemeen doelmodel, zonder afhankelijkheid van door mensen gedefinieerde domeinlabels.

Kernmechanisme: Documentniveau Gedeelde Pools

De centrale intuïtie is dat tokens binnen hetzelfde document doorgaans een semantisch domein delen. EMO maakt gebruik van documentgrenzen als een zwak supervisie-signaal om deze structuur af te dwingen:

Gedeelde Expertpool: Voor elk document selecteert de router een gedeelde pool van experts ( $D$ ) uit de totale set van gerouteerde experts.
Beperkte Routing: Alle tokens binnen dat document zijn beperkt tot het selecteren van hun actieve experts uitsluitend uit deze gedeelde pool.
Dynamische Granulariteit: Om flexibiliteit te waarborgen voor verschillende geheugentarieven, wordt de grootte van de expertpool ( $d$ ) behandeld als een stochastische variabele die tijdens pretraining wordt bemonsterd uit een uniforme verdeling $U\{k, n_r\}$ , waarbij $k$ het aantal actieve experts per token is en $n_r$ het totale aantal gerouteerde experts.

Trainingsdoel en Technische Overwegingen

Doel: Het model wordt getraind met behulp van standaard autoregressieve taalmodelleringverlies ( $L_{CE}$ ) gecombineerd met auxiliaire verliezen.
Load Balancing: Een kritieke technische bijdrage is de adoptie van globale load balancing. Standaard load balancing op micro-batch-niveau staat haaks op de routingbeperking op documentniveau (die tokens in een micro-batch dwingt om zich over experts te verspreiden). EMO aggregeert routingstatistieken over data-parallele groepen om de load balancing-verliesfunctie te berekenen, waardoor een uniforme expertbenutting over de hele dataset wordt gewaarborgd terwijl consistentie binnen documenten wordt behouden.
Architectuur: De auteurs hebben een model getraind met 1B actieve en 14B totale parameters, bestaande uit 128 totale experts (127 gerouteerd, 1 gedeeld), op 1 biljoen tokens. De architectuur omvat verbeteringen ten opzichte van eerdere baselines, waaronder pre-norm, het verwijderen van QK-norm, en de opname van een gedeelde expert.

Belangrijkste Bijdragen

Emergente Modulariteit: EMO toont aan dat een modulaire structuur direct uit data kan ontstaan met documentgrenzen als enig signaal, waardoor de behoefte aan vooraf gedefinieerde domeinlabels of menselijke priors wordt geëlimineerd.
Selectief Expertgebruik: Het model maakt de implementatie van kleine expert-subsets mogelijk (bijvoorbeeld 12,5% tot 25% van de experts) die prestaties behouden die dicht bij het volledige model liggen voor domeinspecifieke taken, een vermogen dat standaard MoE's missen.
Semantische Specialisatie: In tegenstelling tot standaard MoE's die specialiseren in laag-niveau syntactische patronen, organiseren EMO-experts zich in coherente groepen die specialiseren in hoog-niveau semantische domeinen (bijvoorbeeld wiskunde, code, biomedisch, politiek).
Verbetering van de Pareto-grens: EMO expert-subsets presteren beter dan geheugengematchte modellen die vanaf nul zijn getraind (zowel dicht als standaard MoE), waardoor een nieuwe Pareto-grens wordt vastgesteld voor de afweging tussen geheugen en nauwkeurigheid.

Resultaten

Prestaties van het Volledige Model: Als compleet model komt EMO overeen met de prestaties van een standaard MoE getraind op dezelfde data (1T tokens), en bereikt het concurrerende resultaten op benchmarks zoals MMLU, MMLU-Pro en GSM8K.
Prestaties van Subsets:
- Bij behoud van 25% van de experts, vertoont EMO slechts een 1% absolute daling in MMLU-nauwkeurigheid, terwijl standaard MoE's meer dan 10% degraderen.
- Bij behoud van 12,5% van de experts, vertoont EMO een daling van 3%, terwijl standaard MoE's met 15% dalen.
- EMO-subsets presteren consequent beter dan dichte modellen en standaard MoE's die vanaf nul zijn getraind met hetzelfde aantal parameters.
Robuustheid: De prestaties van EMO zijn robuust over verschillende methoden voor expertselectie (router-gebaseerd versus Easy-EP-pruning) en blijven effectief zelfs met uiterst kleine validatiestellen voor expertselectie.
Analyse: Clustering-analyse toont aan dat EMO-tokens uit hetzelfde document worden gegroepeerd in dezelfde semantische clusters (bijvoorbeeld "gezondheid, medisch en welzijn"), terwijl standaard MoE-tokens verspreid zijn over clusters op basis van oppervlakkige kenmerken.

Betekenis en Beweringen

Het artikel beweert dat EMO een weg biedt naar modulaire, geheugenefficiënte implementatie van grote, spaarzame modellen. Door het onafhankelijk gebruik en de compositie van expert-subsets mogelijk te maken, adresseert EMO de geheugenknelpunten die geassocieerd zijn met het schalen van MoE's. De auteurs benadrukken verschillende implicaties:

Toegankelijke Implementatie: Gebruikers kunnen alleen de experts bedienen die relevant zijn voor een specifieke taak of domein, wat de geheugenvereisten aanzienlijk verlaagt.
Gefineerde Controle: Modulariteit maakt het selectief in- of uitschakelen van capaciteiten mogelijk (bijvoorbeeld het uitsluiten van experts geassocieerd met spam of volwassen inhoud) tijdens inferentie.
Modulaire Ontwikkeling: De structuur suggereert een potentieel paradigma voor modulaire pretraining, waarbij taakspecifieke expert-subsets onafhankelijk kunnen worden getraind en later opnieuw kunnen worden geïntegreerd.
Monitorbaarheid: De onderscheidende routingpatronen bieden gestructureerde signalen voor het auditen en debuggen van modelgedrag.

De auteurs concluderen dat modulariteit in de pretraining zelf kan worden ingebouwd, waardoor wordt afgeweken van monolithische systemen ten gunste van composable architecturen die gemakkelijker te implementeren, aan te passen en te inspecteren zijn.