🤖 machine learning

Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts

Het artikel introduceert Adaptive Inverted-Index Routing for MoE (AIR-MoE), een tweestaps, plug-and-play routeringsmechanisme gebaseerd op vectorquantisatie dat efficiënt fijnkorrelige Mixture-of-Experts-modellen verwerkt door de routeringskosten te verlagen terwijl de hoge prestaties worden behouden, zonder dat er structurele wijzigingen aan het model nodig zijn.

Oorspronkelijke auteurs: Klaus-Rudolf Kladny, Maximilian Mordig, Bernhard Schölkopf, Michael Muehlebach

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Klaus-Rudolf Kladny, Maximilian Mordig, Bernhard Schölkopf, Michael Muehlebach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Te Veel Koks" Probleem

Stel je voor dat je een enorm restaurant runt (een Large Language Model) met 65.000 verschillende koks (experts). Elke kok is een kleine specialist die een beetje van alles weet.

Op de oude manier, als een klant een gerecht bestelt (een token tekst), moest de manager elke enkele van de 65.000 koks vragen: "Kun jij dit maken?" De manager zou vervolgens de top 2 koks kiezen om het maaltijd daadwerkelijk te bereiden.

Het Probleem: 65.000 mensen vragen kost eeuwigheid. Het is traag en verspilt een enorme hoeveelheid energie (rekenkracht), zelfs als je maar 2 koks gebruikt.

De "Granulaire" Oplossing:
Recent onderzoek suggereert dat het hebben van veel kleine koks eigenlijk beter is dan het hebben van een paar gigantische. Maar dit maakt het "iedereen vragen"-probleem nog erger. Je hebt meer koks om te vragen, maar je hebt er nog steeds maar een paar nodig.

De Oplossing: AIR-MoE (De Slimme Bibliothecaris)

De auteurs stellen een nieuw systeem voor genaamd AIR-MoE. In plaats van elke kok te vragen, gebruiken ze een tweestaps "Slimme Bibliothecaris"-systeem, geïnspireerd op hoe bibliotheken boeken ordenen.

Stap 1: De Grove Shortlist (De Catalogus)

Stel je voor dat de 65.000 koks zijn ingedeeld in 1.000 verschillende "bakken" of "planken" op basis van waar ze goed in zijn. Deze bakken heten codewoorden.

Als een bestelling binnenkomt, kijkt de manager niet naar alle 65.000 koks.
Ze kijken naar de bestelling en bepalen snel in welke ene bak deze hoort (bijvoorbeeld: "Dit is een Franse kookbestelling, dus die gaat in Bak #42").
In Bak #42 staat een vooraf gemaakte lijst van de top 500 koks die het beste geschikt zijn voor Frans eten.
De Magie: De manager kijkt alleen naar deze 500 koks. Ze negeert de andere 64.500 koks volledig.

Stap 2: De Fijne Score (Het Gesprek)

Nu de manager de lijst heeft ingekrompen tot 500 koks, voert ze een snelle, nauwkeurige interview uit met slechts die 500 om de absolute top 2 te vinden die het maaltijd gaan bereiden.

Waarom dit werkt: Het is veel sneller om 500 mensen te interviewen dan 65.000. Maar omdat de "bakken" slim zijn georganiseerd, zitten de top 2 koks bijna zeker in die groep van 500.

Hoe Het Loopt (De "Geen-Brein" Bibliothecaris)

Hier zit het lastige deel: Hoe weet de manager welke koks in welke bak gaan?

In veel computersystemen probeert de manager dit te leren door te gokken en beoordeeld te worden door een leraar (met behulp van "gradiënten"). Maar in dit systeem is de manager (het codeboek) een beetje anders.

De koks en de klantbestellingen worden getraind door de leraar (het hoofd-AI-leerproces).
De bakken (het codeboek) worden apart bijgewerkt met een simpele, niet-differentieerbare methode genaamd adaptieve sferische k-means. Denk hierbij aan de bibliothecaris die constant de planken herschikt op basis van welke boeken momenteel worden uitgeleend, zonder dat een leraar hen precies moet vertellen hoe ze ze moeten verplaatsen.

Waarom Is Dit Beter?

Het artikel beweert drie hoofdzaakken:

Snelheid versus Kwaliteit: Het vindt de beste koks bijna net zo goed als het vragen aan iedereen, maar het gebruikt beduidend minder energie (FLOPs). In hun tests was het tot 10% beter in het voorspellen van tekst dan andere efficiënte methoden, terwijl het minder middelen gebruikte.
Geen Starre Regels: Vorige methoden dwongen koks in vaste groepen (zoals "Franse koks gaan alleen in Groep A"). AIR-MoE is flexibel; een kok kan in meerdere bakken zitten als ze goed zijn in veel dingen. Het dwingt geen starre structuur op de experts.
Het Werkt: Ze bewezen wiskundig dat als de bakken goed zijn georganiseerd, de top-koks bijna altijd in de shortlist zullen zitten. Ze toonden ook aan dat deze methode "dode koks" voorkomt (koks die nooit de kans krijgen om te koken), wat een veelvoorkomend probleem is in deze systemen.

Samenvattende Analogie

Oude Manier: Je moet de beste 2 artsen vinden voor een specifieke ziekte. Je belt elke arts in het land om te zien wie beschikbaar is. (Te traag).
Andere Efficiënte Manieren: Je belt alleen artsen in één specifieke stad of artsen die dezelfde achternaam delen. (Sneller, maar je mist misschien de beste arts die elders woont of een andere naam heeft).
AIR-MoE: Je gebruikt een slim adresboek. Je zoekt je ziekte op, en het adresboek geeft je direct een lijst van de top 500 artsen die daarin gespecialiseerd zijn. Je kiest vervolgens de beste 2 uit die lijst. Het is snel, flexibel, en je mist zelden de beste arts.

Het artikel concludeert dat deze "inverted index"-aanpak (zoals een bibliotheekcatalogus) een krachtige manier is om enorme AI-modellen sneller en slimmer te maken zonder de rekening voor rekenkracht te breken.

Technische Samenvatting: Adaptieve Inverse-Index Routing voor Granulaire Mixtures-of-Experts (AIR-MoE)

1. Probleemstelling

Mixtures-of-Experts (MoE) modellen zijn een hoeksteen geworden van schaalbare Large Language Models (LLM's) door slechts een subset van experts per token te activeren. Recent empirische schaalwetten suggereren dat prestaties verbeteren met granulaire experts—het gebruik van vele kleine experts in plaats van enkele grote. Dit regime introduceert echter een aanzienlijke computatieflesnek: de routingkosten. Naarmate het aantal experts ( $E$ ) toeneemt, moet de router inwendige producten berekenen tussen elke tokenrepresentatie en elke expertcentroïde om de top- $K$ experts te identificeren. Deze overhead kan de totale berekening domineren, waardoor het trainen van sterk granulaire modellen onbetaalbaar wordt.

Bestaande oplossingen om routingkosten te verlagen, leggen doorgaans structurele beperkingen op die de modeluitdrukkingskracht beperken:

Hiërarchische MoE's verdelen experts in vaste, niet-overlappende groepen, waardoor routing beperkt blijft tot binnen die groepen.
Product-Key/Structurele Beperkingen (bijv. He, 2024) splitsen expertcentroïden in componenten om exacte ophaalbewerkingen mogelijk te maken, maar beperken de ruimte van toegestane expertrepresentaties (bijv. door een Cartesisch product-structuur af te dwingen).
Vaste Hashing-benaderingen ontberen leerbaarheid en zijn fundamenteel beperkt gebleken.

De uitdaging bestaat erin de top- $K$ routing efficiënt te benaderen zonder structurele beperkingen op expertparameters op te leggen of volledige expertscoring te vereisen.

2. Methodologie: AIR-MoE

De auteurs stellen Adaptive Inverted-Index Routing for MoE (AIR-MoE) voor, een routingarchitectuur geïnspireerd op inverse-bestandsindexen die worden gebruikt in informatieretrieval en benaderende dichtstbijzijnde-buurzoekopdrachten. De methode benadert de ware top- $K$ experts via een tweestaps ruw-naar-fijn ophaalproces, waarbij volledige scoring van alle experts wordt vermeden.

2.1 Tweestaps Ophalen

Voor elke invoertoken $h$ verloopt de routing parallel:

Ruwe Voorselectie: De token wordt afgebeeld op het dichtstbijzijnde codewoord $c_g$ in een geleerde codebook $\mathcal{C} = \{c_1, \dots, c_G\}$ met behulp van cosinusgelijkenis. Elke codewoord $c_g$ is gekoppeld aan een vooraf berekende voorselectie $L_g$ van $M$ kandidaat-experts. Deze voorselecties zijn in wezen "posting-lijsten" in een inverse index, die de indices van experts opslaan met de hoogste inwendige producten ten opzichte van de codewoordcentroïde.
Fijne Scoring: De router berekent exacte inwendige producten alleen tussen de token $h$ en de experts binnen de opgehaalde voorselectie $L_g$ . De top- $K$ experts worden vervolgens geselecteerd uit deze gereduceerde kandidaatset.

Deze hiërarchie zorgt ervoor dat de set actieve experts $T$ een subset is van de voorselectie $L$ , die op zijn beurt een subset is van de volledige expertset $[E]$ .

2.2 Training en Optimalisatie

Een centrale uitdaging is dat de toewijzing van tokens aan codewoorden niet-differentieerbaar is. AIR-MoE lost dit op via een twee-niveau optimalisatiestrategie:

Op Gradiënten Gebaseerde Training: Tokenrepresentaties en expertcentroïden worden bijgewerkt via standaard backpropagation vanuit de downstream taalmodelleringverliesfunctie.
Gradiëntvrije Codebook Training: Het codebook $\mathcal{C}$ $C$ en de bijbehorende voorselecties worden onafhankelijk bijgewerkt met een adaptief sferisch k-means-algoritme. Dit algoritme:
- Gebruikt een Exponentiële Glijdende Gemiddelde (EMA) om de distributie van tokenrepresentaties te volgen.
- Werkt op de eenheidssfeer om effectief om te gaan met hoge-dimensionale cosinusgeometrie.
- Bevat een herinitialisatiemechanisme voor "dode" codewoorden (degenen met lage toewijzingsaantallen) om instorting te voorkomen.
- Werkte voorselecties $L_g$ alleen bij na optimalisatorstappen, zodat de index consistent blijft met de huidige staat van expertcentroïden.

Cruciaal is dat AIR-MoE geen gebruik maakt van de straight-through schattingstruc; gradiënten stromen niet door de kwantisatiestap naar het codebook.

2.3 Theoretische Garanties

Het artikel leidt een ondergrens af voor de Mass Recall (de totale waarschijnlijkheidsmassa van de ware top- $K$ experts die in de voorselectie wordt behouden). De grens hangt af van:

De kwantisatiefout $\epsilon(h) = \|h - c(h)\|$ : Een kleinere fout leidt tot betere retentie.
De voorselectiemassa $\rho_M(c)$ : De waarschijnlijkheidsmassa die wordt gevangen door de top- $M$ experts ten opzichte van het codewoord.
Theoretisch behoudt AIR-MoE de meeste routingmassa wanneer tokens goed gekwantiseerd zijn en de voorselectiegrootte $M$ voldoende groot is.

3. Belangrijkste Bijdragen

AIR-MoE Architectuur: Een door inverse indexen geïnspireerd routingmechanisme dat top- $K$ routing voor granulaire MoE's benadert zonder structurele beperkingen (bijv. groepering of parametrische beperkingen) op expertrepresentaties op te leggen.
Twee-niveau Optimalisatie: Een trainingsstrategie die de gradiëntvrije adaptatie van het codebook (via adaptief sferisch k-means) ontkoppelt van de gradiëntgebaseerde training van modelparameters, waardoor de noodzaak van straight-through schatting wordt vermeden.
Theoretische Analyse: Een afgeleide ondergrens voor mass recall, die inzicht biedt in de voorwaarden waaronder de benadering de routingkwaliteit behoudt.
Empirische Prestaties: Aantonen dat AIR-MoE een superieure perplexiteit-FLOPs-trade-off bereikt in vergelijking met bestaande efficiënte granulaire routingmethoden.

4. Experimentele Resultaten

De auteurs hebben AIR-MoE geëvalueerd op WikiText-103, C5 en OpenWebText2 over kleine, medium en grote modelgroottes (tot ~0,45B parameters) met 65.536 experts.

Prestaties versus Baselines: AIR-MoE presteerde consequent beter dan bestaande efficiënte granulaire baselines, waaronder PEER (He, 2024) en Hiërarchische MoE.
- Het bereikte perplexiteitsverbeteringen tot 10% ten opzichte van de PEER-baseline bij vergelijkbare FLOP-kosten.
- Hoewel standaard granulaire routing (scoring van alle experts) de laagste perplexiteit bereikte, leidde dit tot onbetaalbare computatiekosten (bijv. ~467,5P FLOPs versus 324,1P voor AIR-MoE op WikiText-103 Small).
Efficiëntie: AIR-MoE verminderde trainings-FLOPs aanzienlijk in vergelijking met exacte granulaire routing, terwijl het concurrerende perplexiteit behield.
Ablatiestudies:
- Het verwijderen van centroïdenormalisatie of het gebruik van Euclidische afstand in plaats van sferisch k-means leidde tot een lichte prestatiedaling.
- Het gebruik van een statisch codebook (niet-adaptief) resulteerde in de slechtste prestaties, wat de noodzaak van het adaptieve codebook bevestigt.
- Expert-choice gating leidde tot hoge overlapping maar ernstige expert-uitputting (78,6% dode experts), wat aangeeft dat overlapping op zichzelf geen voldoende maatstaf is voor routingkwaliteit.
Expertgebruik: In tegenstelling tot hiërarchische of PEER-routers die stijve structuren opleggen die leiden tot routingartefacten, stond AIR-MoE flexibel expertgebruik toe zonder structurele beperkingen.

5. Betekenis en Claims

Het artikel beweert dat AIR-MoE een effectief mechanisme biedt voor routing in sparse mixture-of-experts-architecturen, en specifiek het gebruik van granulaire experts mogelijk maakt zonder de computatiepenalty van volledige routing.

Drop-in Vervanging: De methode vereist geen wijzigingen in de onderliggende modelarchitectuur of verliesfunctie en dient als drop-in vervanging voor standaard routers.
Flexibiliteit: Door structurele beperkingen op expertparameters te vermijden, stelt AIR-MoE het model in staat om token-expert-afhankelijkheden flexibeler te leren dan methoden die vaste groeperingen of product-key-structuren vereisen.
Schaalbaarheid: De benadering schaalt gunstig in grote effectieve-batch regimes omdat de kosten van ruwe voorselectie worden afgeschreven en onafhankelijk zijn van het aantal gerouteerde tokens.

De auteurs erkennen beperkingen, met de opmerking dat hoewel FLOP-reducties aanzienlijk zijn, de daadwerkelijke versnelling in wandkloktijd afhankelijk is van hardware-ondersteuning en geoptimaliseerde implementaties om geheugentraffic en indexeringsoverhead inherent aan granulaire MoE's te mitigeren. Zij merken ook op dat de huidige implementatie geen dimensiereductie toepast, wat een orthogonale richting voor toekomstig werk laat.