💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

Het artikel stelt $\infty$ -MoE voor, een nieuwe architectuur die Mixture of Experts generaliseert naar een oneindige ruimte door per token continue delen van grote feed-forward netwerkparameters te selecteren, waardoor effectieve training mogelijk wordt met een enorm aantal experts terwijl een prestatie wordt bereikt die vergelijkbaar is met veel grotere dense modellen en een flexibele nauwkeurigheid-snelheid-afweging wordt geboden.

Oorspronkelijke auteurs: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, hoogtechnologische bibliotheek runt waar elk boek een stukje kennis vertegenwoordigt. In een traditionele bibliotheek (een standaard AI-model) heb je een paar zeer grote, algemene bibliothecarissen. Wanneer je een vraag stelt, probeert elke bibliothecaris deze te beantwoorden en worden hun antwoorden samengesmolten. Dit is accuraat maar traag en duur, omdat je al hen betaalt om aan elke vraag te werken.

Om dit op te lossen, hebben onderzoekers de Mixture of Experts (MoE) uitgevonden. In plaats van dat iedereen werkt, heb je een "Hoofdbibliothecaris" (een router) die naar je vraag kijkt en slechts twee specifieke bibliothecarissen uitkiest om het te beantwoorden. Dit is veel sneller en goedkoper. Er is echter een addertje onder het gras: in deze traditionele opstelling moet je precies beslissen hoeveel bibliothecarissen je inhuurt (bijvoorbeeld 16 of 100). Als je er te veel inhuurt, raakt de Hoofdbibliothecaris in de war over wie hij moet kiezen, en wordt het trainen van het hele systeem een nachtmerrie. Het is alsof je probeert een team van 1.000 mensen te managen wanneer je tegelijkertijd maar met twee tegelijk kunt praten; het is moeilijk om iedereen in sync te houden.

Het Nieuwe Idee: ∞-MoE (Infinite Mixture of Experts)

De auteurs van dit paper, van de Universiteit van Tokio, stelden een gedurfde vraag: Wat als we helemaal geen vast aantal bibliothecarissen hadden? Wat als we een oneindig aantal bibliothecarissen hadden?

Ze noemen hun nieuwe systeem ∞-MoE. Hier is hoe het werkt, met behulp van een eenvoudige analogie:

1. De Continue "Expertruimte"

In plaats van dat Bibliothecaris #1, Bibliothecaris #2 en Bibliothecaris #3 in een rij zitten, stel je je voor dat de bibliothecarissen verspreid zijn over een oneindige, continue kaart.

In het oude systeem moest je specifieke punten op een kaart kiezen (zoals "Bibliothecaris op coördinaat 5").
In het nieuwe systeem tekent de Hoofdbibliothecaris een wolk op de kaart voor elke vraag die je stelt. Deze wolk vertegenwoordigt een reeks experts die mogelijk nuttig kunnen zijn.

2. Sampling in plaats van Kiezen

Wanneer je een vraag stelt, kiest de Hoofdbibliothecaris niet zomaar twee specifieke personen. In plaats daarvan neemt hij een "snapshot" (een sample) uit die wolk.

Hij kan een punt op coördinaat 5.2 kiezen.
Hij kan een punt op coördinaat 5.3 kiezen.
Omdat de kaart continu is, krijgt hij elke keer dat hij een snapshot maakt een unieke expert die nog nooit eerder heeft bestaan.

3. Het "Masker" (Het aan- en uitzetten van neuronen)

Hoe heb je oneindige experts zonder oneindige computers te bouwen? Het geheim zit in het masker.
Beschouw het brein van de AI als een gigantisch raster van gloeilampjes (neuronen).

In een standaard AI staan alle gloeilampjes aan.
In de oude MoE zet de router een specifiek blok gloeilampjes aan voor Expert #1 en een ander blok voor Expert #2.
In ∞-MoE fungeert de "sample" (de coördinaat op de kaart) als een stencil (sjabloon). Het systeem neemt het gigantische raster van gloeilampjes en gebruikt het stencil om alleen de bovenste 25% van de felste lampjes aan te zetten voor die specifieke vraag.
Omdat het stencil gebaseerd is op een continu getal, krijgt elke vraag een iets ander patroon van gloeilampjes dat aanstaat. Het is alsof je voor elke zin die je typt een uniek, op maat gemaakt instrument hebt, maar je bouwt dat instrument met onderdelen die je al hebt.

Waarom is dit een grote zaak?

De auteurs hebben dit model getest op twee modellen (GPT-2 Small en Medium) en vonden enkele indrukwekkende resultaten:

Betere Prestaties met minder "Actief" Brein:
Het ∞-MoE-model met 129 miljoen actieve parameters (de delen die daadwerkelijk werken) presteerde net zo goed als een standaard, dicht (dense) model met 350 miljoen parameters. Het is alsond dat je de intelligentie van een gigantisch brein krijgt terwijl je alleen de energie van een klein brein verbruikt.
Flexibiliteit:
In de oude MoE moest je het hele model opnieuw trainen als je sneller wilde gaan. In ∞-MoE kun je gewoon het aantal "samples" (snapshots) aanpassen op het moment dat je een vraag stelt.
- Heb je snelheid nodig? Neem minder samples (minder experts).
- Heb je maximale nauwkeurigheid nodig? Neem meer samples.
- Het paper laat zien dat je een nauwkeurigheidsverbetering van 2,5% kunt behalen ten opzichte van de standaard MoE door simpelweg deze instelling aan te passen, zonder het model zelf te veranderen.
Stabiliteit:
Een van de grootste problemen bij het toevoegen van meer experts aan oude systemen is dat ze instabiel worden en moeilijk te trainen zijn. Omdat ∞-MoE experts behandelt als een gladde, continue ruimte in plaats van een springende lijst van afzonderlijke mensen, blijft de training stabiel, zelfs naarm matter de "hoeveelheid" experts groeit richting oneindig.

Het Nadeel (Beperkingen)

De auteurs zijn eerlijk over wat ze nog niet hebben opgelost:

Opschalen: Ze hebben dit getest op middelgrote modellen. Ze weten niet zeker hoe het zich zal gedragen bij de enorme modellen die vandaag de dag door bedrijven worden gebruikt (zoals op GPT-4 schaal), hoewel ze verwachten dat het zal werken.
Hardware Snelheid: Hoewel de wiskunde zegt dat het snel zou moeten zijn, is de eigenlijke computercode lastig. Omdat de "gloeilampjes" die aanstaan voor elk woord veranderen, is het moeilijk voor standaard computerchips om ze allemaal tegelijkertijd efficiënt te verwerken. Ze moesten speciale code schrijven om het snel te laten draaien, en er is nog steeds ruimte voor verbetering.

Samenvatting

∞-MoE is als het upgraden van een vast team van specialisten naar een vormveranderend, oneindig team. In plaats van 100 specifieke mensen in te huren, heb je een magische machine die onmiddellijk een unieke, perfecte specialist kan creëren voor elke vraag die je stelt, met gebruik van slechts een fractie van de computerkracht. Het stelt AI in staat om slimmer en flexibeler te zijn zonder te worden vertraagd door de kosten van een enorm, statisch brein.

Technische Samenvatting: ∞-MoE: Generalisering van Mixture of Experts naar Oneindige Experts

1. Probleemstelling

Large Language Models (LLM's) hebben significante prestatiewinsten behaald door het schalen van parameters, data en rekenkracht. Het simpelweg vergroten van de modelgrootte brengt echter aanzienlijke computationele en geheugenkosten met zich mee. Mixture of Experts (MoE) architecturen pakken dit aan door elk token te routeren naar een ijle (sparse) subset van gespecialiseerde experts, waardoor de parametercapaciteit wordt uitgebreid zonder een lineaire toename in de per-token rekenkosten.

Ondanks deze voordelen kampen conventionele MoE's met beperkingen bij het schalen van het aantal experts:

Discrete Beperkingen: Experts worden behandeld als volledig onafhankelijke entiteiten in een discrete ruimte.
Trainingsinstabiliteit: Naarmate het aantal experts toeneemt, wordt het effectief moeilijker om elke expert te trainen.
Router Overhead: Het agressief vergroten van de expertpool (bijv. naar miljoenen) kan leiden tot groeiende router-overhead of overgecomprimeerde experts die de nauwkeurigheid verslechteren.

De centrale vraag is of de prestaties verder verbeterd kunnen worden door verder te gaan dan een eindige set experts naar een effectief oneindig aantal experts, terwijl de computationele efficiëntie behouden blijft.

2. Methodologie: ∞-MoE

De auteurs stellen ∞-MoE voor, een framework dat MoE generaliseert van een discrete set experts naar een continue, potentieel onaftelbaar oneindige expertruimte.

2.1 Continue Expertruimte

In tegen tegenstelling tot standaard MoE, waarbij een router een discrete index $i$ selecteert uit een verzameling $Z = \{1, \dots, n\}$ , definieert ∞-MoE de expertruimte als een continu domein $Z \subseteq \mathbb{R}^{d_z}$ .

Router: De router geeft een waarschijnlijkheidsdichtheid $p(z|x)$ over de continue ruimte af, gemodelleerd als een Gaussische distributie $\mathcal{N}(z | \mu(x), \Sigma(x))$ .
Sampling: Tijdens training en inferentie samplet het model $K$ continue expertindices $z^{(k)} \sim p(z|x)$ .
Integratie: De output wordt benaderd via Monte Carlo-sampling: $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ .

2.2 Expertontwerp via Dynamische Maskering

Om een oneindig aantal experts te realiseren binnen een vast budget voor parameters, moduleren de auteurs een enkele Feed-Forward Network (FFN) met behulp van de gesamplede continue index $z$ .

Mechanisme: De gesamplede $z$ wordt gebruikt om een masker te genereren dat dynamisch een subset van neuronen in de tussenliggende laag van de FFN selecteert.
Implementatie:
1. Bereken tussenliggende waarden $\hat{m} = W_z z$ .
2. Pas een top- $N\%$ operator toe om alleen de grootste $N\%$ nodes te behouden, waarbij de rest op nul wordt gezet.
3. De uiteindelijke expert output is $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ .
Effect: Elke afzonderlijke gesamplede $z$ activeert een unieke subset van de parameters van de FFN, wat effectief een afzonderlijke "expert" creëert vanuit een continuüm, terwijl de ijle (sparse) karakteristiek van traditionele MoE behouden blijft.

3. Belangrijkste Bijdragen

Theoretische Generalisering: Het paper introduceert een formulering die MoE uitbreidt van een discrete expertpool naar een continu domein, wat theoretisch een onbegrensd aantal experts mogelijk maakt.
Efficiënte Implementatie: Door continue sampling te combineren met dynamische neuron-maskering, bereikt de methode de capaciteit van oneindige experts terwijl de computationele efficiëntie van ijle (sparse) routing behouden blijft (slechts een klein deel van de parameters is actief per token).
Flexibele Inferentie: De aanpak maakt een flexibele afweging tussen nauwkeurigheid en snelheid mogelijk tijdens inferentie door het aantal samples $K$ aan te passen.
Custom Kernel Optimalisatie: De auteurs hebben een gefuseerde CUDA-kernel ontwikkeld om de maskering en reductie-operaties efficiënt af te handelen, wat een versnelling van 1,25-voud over standaard PyTorch-implementaties oplevert.

4. Experimentele Resultaten

De auteurs evalueerden ∞-MoE op GPT-2 Small en GPT-2 Medium architecturen over diverse zero-shot NLP-benchmarks (BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE).

Prestaties vs. Dense Modellen: Een op GPT-2 Small gebaseerde ∞-MoE (129M actieve, 186M totale parameters) behaalde een gemiddelde score van 39,8, waarmee de dense GPT-2 Medium (350M parameters) die een score van 39.8 behaalde, overtrof (gelijk in gemiddelde, maar ∞-MoE gebruikte minder actieve parameters). Specifiek presteerde ∞-MoE beter dan de dense GPT-2 Small (38,5) en standaard MoE varianten.
Prestaties vs. Standaard MoE: ∞-MoE presteerde consequent beter dan Switch Transformer (Top-1) en standaard MoE (Top-2) over alle benchmarks. Voor GPT-2 Small verbeterde het de gemiddelde score van 38,8 (MoE) naar 39,8.
Schaling met $K$ : Het verhogen van het aantal samples $K$ tijdens inferentie leverde extra winst in nauwkeurigheid op. Zelfs met minimale sampling ( $K=1$ ) behield het model een verbetering van 2,5% in nauwkeurigheid ten opzichte van standaard MoE.
Stabiliteit: Metingen van de routing-entropie gaven aan dat het model snel stabiliseerde tijdens de training, met een hoge genormaliseerde routing-entropie ( $\approx 0,9$ ), wat wijst op een uniforme benutting van de expertruimte.
Ablatie-studies:
- Dataset Grootte: Prestaties op HellaSwag schaalden positief met de omvang van de trainingsdata tot 100 miljard tokens.
- Index Dimensie: Het verhogen van de dimensie van de continue index $z$ verbeterde de prestaties tot $d_z=128$ , waarna geen verdere winst meer werd waargenomen bij hogere dimensies.

5. Betekenis en Claims

Het paper claimt dat ∞-MoE er succesvol in is geslaagd de kloof te overbruggen tussen de hoge capaciteit van dense modellen en de efficiëntie van sparse MoE. Door experts te behandelen als een continue ruimte, staat de methode "oneindige" specialisatie toe zonder de trainingsinstabiliteit die gepaard gaat met massieve discrete expertpools.

De auteurs benadrukken dat het framework een flexibele snelheid-nauwkeurigheid-afweging biedt: gebruikers kunnen het aantal gesamplede experts ( $K$ ) tijdens inferentie aanpassen om te voldoen aan specifieke latentie- of hardwarebeperkingen zonder opnieuw te hoeven trainen.

6. Beperkingen en Toekomstig Werk

De auteurs merken expliciet enkele beperkingen en openstaande uitdagingen op:

Schalen naar Grotere Modellen: Het gedrag van ∞-MoE op modellen groter dan GPT-2 Medium (bijv. GPT-3 schaal) is nog niet volledig begrepen, met name wat betreft de afwegingen tussen totale parameters en actieve parameters.
Router Distributies: De huidige implementatie gebruikt een unimodale Gaussische router. Complexere distributies (bijv. mengsels van Gaussische verdelingen) zouden een betere dekking kunnen bieden, maar introduceren variantie in de training en complexiteit in de sampling.
Domein Generalisatie: De toepasbaarheid op niet-NLP domeinen (bijv. Vision Transformers of Multimodale modellen) is nog niet onderzocht.
Hardware Efficiëntie: Ho'ewel de theoretische FLOP's laag zijn, kan de praktische doorvoer worden gehinderd door de dynamische aard van de actieve neuron-sets, wat batching en het gebruik van fixed-shape GEMM's bemoeilijkt. De auteurs merken op dat hun huidige implementatie prioriteit geeft aan doorvoer via gemaskeerde dense matrixvermenigvuldigingen, maar het dichten van de kloof tussen theoretische rekenbesparing en praktische snelheid vereist verdere systeem-niveau optimalisaties.