🤖 machine learning

MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

MAPLE is een plug-and-play framework dat de efficiëntie van vooraf getrainde Mixture-of-Experts (MoE) modellen optimaliseert door analytisch en genetisch expertbudgetten heterogeen over lagen te herverdelen op basis van gevoeligheid, waarbij superieure nauwkeurigheid en significante latentiereducties worden bereikt zonder gewichtsaanpassingen of hertraining te vereisen.

Oorspronkelijke auteurs: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Gepubliceerd 2026-08-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentie vertrouwt vaak op enorme digitale breinen die Transformers worden genoemd, die taal verwerken door informatie door een lange keten van lagen te sturen. Denk aan deze lagen als een reeks verwerkingsstations waar het model leert om context, grammatica en betekenis te begrijpen. In de afgelopen jaren hebben ingenieurs deze modellen efficiënter gemaakt door een ontwerp genaamd Mixture-of-Experts te gebruiken. In plaats van dat elke station evenveel rekenkracht gebruikt, activeert het model slechts enkele gespecialiseerde sub-netwerken, of "experts", voor elk stukje tekst dat het leest. Dit maakt het systeem zeer groot en capabel zonder dat er onmogelijke hoeveelheden energie nodig zijn om het te draaien. Echter, een standaardregel heeft bepaand hoe deze experts worden gebruikt: elke enkele laag in de keten wordt gedwongen om exact hetzelfde aantal experts te activeren, ongeacht of die laag daar daadwerkelijk zoveel hulp bij nodig heeft.

Een team onderzoekers aan de Universiteit van Bristol heeft deze uniforme regel uitgedaagd door voor te stellen dat verschillende lagen in een AI-model zeer verschillende behoeften hebben. Sommige lagen zijn zeer gevoelig en vereisen veel experts om correct te functioneren, terwijl andere redundant zijn en met veel minder kunnen opereren zonder nauwkeurigheid te verliezen. Zij ontwikkelden een nieuwe methode genaamd MAPLE, die fungeert als een plug-and-play tool. Dit betekent dat het kan worden toegepast op bestaande, vooraf getrainde modellen zonder dat ze opnieuw getraind hoeven te worden of hun interne gewichten hoeven te veranderen. Het systeem werkt door eerst te testen hoeveel de prestaties van elke laag dalen als je het aantal experts dat het gebruikt vermindert. Vervolgens gebruikt het deze metingen om een aangepaste kaart te maken, waarbij het computingsbudget wordt verschoven van de lagen die het kunnen missen naar de lagen die de middelen het hardst nodig hebben.

De resultaten van deze aanpak zijn opmerkelijk. Wanneer de onderzoekers MAPLE testten op vier verschillende grote taalmodellen, ontdekten ze dat het simpelweg herverdelen van de bestaande middelen effectiever was dan ze allemaal gelijkmatig te gebruiken. In één specifieke test met een model genaamd DeepSeek-MoE-16B, slaagde de nieuwe methode erin om het oorspronkelijke, volledig beladen model te overtreffen terwijl het slechts 75% van de beschikbare experts gebruikte. Op verschillende redeneerbenchmarks verbeterde de nauwkeurigheid aanzienlijk; bijvoorbeeld, op een wetenschappelijke vraagstellingstaak sprong de score van 65,09 naar 71,40, en op een test voor logisch redeneren steeg deze van 48,49 naar 51,50. Dit demonstreert dat de oude aanname van uniformiteit de modellen tegenhield, en dat een slimmere, ongelijkmatige verdeling van inspanning betere resultaten oplevert.

Naast het slimmer maken van antwoorden, maakt deze methode de modellen ook sneller en goedkoper om te draaien. Omdat er minder experts worden geactiveerd, heeft de computer minder werk te verrichten voor elke vraag die hij beantwoordt. Toen de onderzoekers MAPLE implementeerden in een echt werkend serversysteem, maten ze een reductie van 32,2% in de tijd die het kostte om een reactie te genereren op een enkele grafische kaart. Tegelijkertijd kon het systeem 47,4% meer verzoeken per seconde afhandelen. Deze winsten werden behaald zonder de kernstructuur van het model te wijzigen of de geleerde kennis weg te gooien; het systeem leerde simpelweg zijn bestaande onderdelen efficiënter te gebruiken. De onderzoekers bevestigden dat deze verbetering geen toevalstreffer was van een specifieke test, maar een robuuste bevinding die standhield over verschillende soorten redeneertaken en zelfs wanneer het model werd opgeschaald of afgeschaald.

De studie onderzocht ook hoe deze methode omgaat met de complexe taak van meerstapsredeneren, waarbij het model een lange keten van gedachten moet genereren om een probleem op te lossen. Zelfs in deze veeleisende scenario's behield het herverdeelde model zijn nauwkeurigheid terwijl het de totale tijd die nodig is om de problemen op te lossen in sommige gevallen met meer dan de helft verminderde. De onderzoekers toonden aan dat de methode flexibel genoeg is om met verschillende modellen te werken en dat het toewijzingsplan dat het creëert kan worden hergebruikt voor diverse taken zonder dat het telkens opnieuw berekend hoeft te worden. Door te bewijzen dat een "one-size-fits-all" benadering suboptimaal is, biedt dit werk een praktische en principiële manier om grote kunstmatige intelligentiesystemen efficiënter, krachtiger en klaar voor de echte wereld te maken.

Technische Samenvatting: MAPLE – MoE Adaptive Plug-and-Play Layer-wise Expert Allocation

Probleemstelling
Huidige Sparsely-activated Mixture-of-Experts (MoE) Transformers maken universeel gebruik van een uniforme routingstrategie, waarbij in elke laag hetzelfde vaste aantal experts wordt geactiveerd. Deze conventie negeert de goed gedocumenteerde heterogeniteit in laag-specifieke redundantie en expert-belang. De auteurs stellen dat deze uniformiteit systematisch suboptimaal is: het faalt in het richten van rekenkracht naar lagen die gevoelig zijn voor variaties in het aantal experts, terwijl het middelen verspilt aan redundante lagen. Bestaande oplossingen om de MoE-efficiëntie te verbeteren, zoals ongestructureerde pruning, expert-merging of gestructureerde compressie, vereisen doorgaans gewichtsreconstructie, aanvullende kalibratiedata, hertraining of permanente architecturale wijzigingen, wat ze ongeschikt maakt voor "plug-and-play" implementatie op voorgetrainde modellen.

Methodologie
Het artikel stelt MAPLE (MoE Adaptive Plug-and-Play Layer-wise Expert Allocation) voor, een framework dat het budget voor gerouteerde experts heterogeen herverdeelt over de lagen van een voorgetraind MoE Large Language Model (LLM) zonder de gewichten te wijzigen, te hertrainen of de modelarchitectuur aan te passen. MAPLE werkt in drie afzonderlijke fasen:

Laag-specifieke Sensitiviteitsmodellering:
Het framework onderzoekt elke laag individueel door het aantal gerouteerde experts ( $e$ ) te variëren, terwijl de andere lagen op het basisaantal ( $k_0$ ) worden gehouden. Het registreert de validatienauwkeurigheid $A_l(e)$ voor elke configuratie.
- Enkele-laag optimum ( $k^*_l$ ): Het aantal experts dat de nauwkeurigheid voor een specifieke laag maximaliseert.
- Sensitiviteitsmaten: Om te kwantificeren hoe sterk een laag reageert op veranderingen in het aantal experts, gebruikt MAPLE drie lichtgewicht metrieken:
  - $s^{acc}_l$ : Het bereik van de variatie in nauwkeurigheid ( $\max A_l(e) - \min A_l(e)$ ).
  - $s^w_l$ : De variantie van de parametertensoren binnen de laag.
  - $s^{out}_l$ : De Mean Squared Error (MSE) tussen de output van de laag met $e$ experts en de output met de basislijn $k_0$ experts.
- De auteurs kiezen standaard voor het nauwkeurigheidsbereik ( $s^{acc}_l$ ) als de primaire sensitiviteitsmetriek.
Sensitiviteitsgestuurde Closed-Form Allocatie:
MAPLE formuleert de herallocatie van experts als een geoptimaliseerd probleem onder restricties. Het doel is om een allocatievector $\mathbf{k} = [k_1, \dots, k_L]$ te vinden die dicht bij het enkele-laag optimum ( $k^*_l$ ) van elke laag blijft, gewogen door de sensitiviteit ( $s_l$ ), onderhevig aan een globaal expertbudget $K$ .
- Het doel minimaliseert de gewogen gekwadrateerde afwijking: $\min \sum w_l (k_l - k^*_l)^2$ waarbij $w_l = s_l$ .
- Een Lagrange-multiplier benadering levert een continue oplossing ( $k^{cont}_l$ ) op. Overschotten of tekorten aan experts ten opzichte van het budget worden bij voorkeur toegewezen aan laag-sensitiviteit.
- De continue oplossing wordt afgeknipt naar haalbare grenzen $[k_{min}, k_{max}]$ en omgezet naar een integer allocatie met de largest-remainder methode.
Sensitiviteits-beperkte Genetische Verfijning:
Om afrondingsartefacten en interacties tussen lagen aan te pakken, verfijnt een lichtgewicht genetisch algoritme de closed-form oplossing.
- Mutatie: Kandidaten worden gegenereerd via Gaussische mutatie waarbij de variantie invers proportioneel is aan de sensitiviteit van de laag ( $\sigma^2_l \propto 1/s_l$ ), wat ervoor zorgt dat hoog-sensitieve lagen kleinere perturbaties ontvangen.
- Selectie: De top twee kandidaten (elites) worden per generatie behouden, en de populatie wordt zonder crossover geregenereerd.
- Dit proces convergeert snel (vaak binnen enkele generaties) naar een definitieve allocatie $\mathbf{k}_{best}$ .

Belangrijkste Bijdragen

Plug-and-Play Framework: MAPLE is de eerste methode die een volledig post-hoc, gewichtsloos framework voor heterogene expert-allocatie in voorgetrainde MoE-modellen voorstelt. Het vereist geen hertraining, gewicht-updates of architecturale wijzigingen.
Sensitiviteitsgestuurde Optimalisatie: Het artikel introduceert een analytische closed-form oplossing voor expert-herallocatie gebaseerd op laag-specifieke sensitiviteit, verfijnd door een sensitiviteits-beperkte genetische zoekopdracht. Dit vermijdt de computationele kosten van een exhaustieve zoekopdracht of reinforcement learning.
Prestaties met Verminderd Budget: De methode laat zien dat heterogene allocatie de prestaties van uniforme allocatie kan overtreffen, zelfs wanneer het totale geruteerde expert-budget wordt verminderd (bijv. naar 75%), waardoor effectief de prestaties van de originele full-budget uniforme baseline worden overtroffen.

Experimentele Resultaten
De auteurs evalueerden MAPLE op vier MoE-modellen (DeepSeek-MoE-16B, DeepSeek-V2-Lite, Moonlight-16B-A3B, en OLMoE-1B-7B) over zeven benchmarks (ARC-E, ARC-C, BoolQ, PIQA, RTE, GSM8K, BBH).

Nauwkeurigheidswinst: Onder een 75% geruteerd-expert budget, presteerde MAPLE beter dan uniforme baselines en pruning-gebaseerde methoden (SparseGPT, Wanda, EPP, MoNE, LExI) over alle modellen.
- Op DeepSeek-MoE-16B, waarbij slechts 75% van de experts werd gebruikt, verbeterde MAPLE de nauwkeurigheid op ARC-E (65.09% $\to$ 71.40%), ARC-C (48.49% $\to$ 51.50%) en BoolQ (80.03% $\to$ 82.38%) vergeleken met de originele 100% uniforme baseline.
- Op OLMoE-1B-7B behaalde MAPLE de beste gemiddelde nauwkeurigheid, met een verbetering van 4.13 punten ten opzichte van de full-budget baseline.
Langdurige Redenering: Op GSM8K en BBH behield MAPLE een concurrerende nauwkeurigheid (binnen 0.61 punten op GSM8K) terwijl de evaluatietijd aanzienlijk werd verminderd (53.0% reductie op GSM8K).
Deployment Efficiëntie: Geïmplementeerd in SGLang, verminderde MAPLE de single-GPU end-to-end serving latency met 32.2% en verbeterde de throughput met 47.4%. Dit wordt bereikt door de multi-expert dispatch logica te omzeilen voor lagen die aan één actieve expert zijn toegewezen ( $k=1$ ).
Robuustheid: Ablatie-studies bevestigden dat de nauwkeurigheidsbereik-metriek het meest effectieve sensitiviteitsignaal is. De methode toonde stabiliteit over willekeurige seeds en generaliseerbaarheid over taken (cross-task transfer), wat aangeeft dat de geïdentificeerde sensitiviteitspatronen inherent zijn aan de model-lagen en niet overfitten op specifieke kalibratiesets.

Betekenis en Claims
Het artikel claimt dat MAPLE een "geprincieerde en praktische as" vestigt voor het verbeteren van de efficiëntie van MoE. De primaire betekenis ligt in het bewijs dat goed ontworpen heterogene allocatie effectiever is dan simpelweg meer experts activeren. Door te bewijzen dat capaciteit kan worden herverdeeld om te voldoen aan de heterogene eisen van verschillende lagen zonder hertraining, biedt MAPLE een kosteneffectief pad voor het implementeren van efficiëntere MoE-modellen. De auteurs benadrukken dat hun aanpak de overhead van bestaande pruning of compressie methoden vermijdt, waardoor het direct toepasbaar is op bestaande voorgetrainde modellen in productieomgevingen.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat hun huidige evaluatie beperkt is tot specifieke GPU-omgevingen (NVIDIA RTX A6000) en serving engines (SGLang, vLLM). Toekomstig werk omvat het evalueren van MAPLE op diverse hardwareplatforms (CPU's, edge-apparaten) en onder bredere real-world inference scenario's om te beoordelen hoe de verminderde expert-computatie zich vertaalt naar daadwerkelijke latency, geheugen en energievoordelen onder verschillende systeemrestricties.

Meer zoals dit