💬 NLP

MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs

MoE-Prism is een model-systeem co-ontworpen framework dat request-niveau rekenelasticiteit mogelijk maakt in Mixture-of-Experts (MoE) serving door monolithische experts te deconstrueren in fijnmazige sub-experts en een $k$ -bewuste runtime te implementeren, waardoor de doorvoer aanzienlijk wordt verbeterd en de latentie voor heterogene workloads wordt verminderd.

Oorspronkelijke auteurs: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente bibliotheek runt waar de boeken niet door mensen zijn geschreven, maar door een gigantisch, digitaal brein dat een Large Language Model (LLM) wordt genoemd. Deze breinen worden elke dag groter en slimmer, maar ze zijn ook ongelooflijk hongerig naar elektriciteit en computerkracht. Om ze sneller en goedkoper te laten draaien, hebben wetenschappers een slimme truc uitgevonden genaamd "Mixture-of-Experts" (MoE). Denk aan een MoE-model niet als één gigantisch brein, maar als een team van veel kleinere specialisten (experts) die samenwerken. Wanneer je een vraag stelt, wordt niet het hele team wakker; het systeem roept alleen een paar specifieke experts aan die het beste zijn in dat onderwerp. Dit is alsof je een bibliothecaris vraft om alleen boeken uit de sectie "Sciencefiction" te halen, in plaats van de hele bibliotheek naar je bureau te slepen.

Maar er is een addertje onder het gras. Momenteel zijn deze systemen een beetje rigide. Of je nu een simpele vraag stelt zoals "Wat is het weer?" of een complexe vraag zoals "Analyseer dit juridische contract van 50 pagina's", het systeem wekt vaak exact hetzelfde aantal experts. Het is alsof je een hele bouwploeg inhuurt om een enkel schilderij op te hangen, of een enkele stagiair stuurt om een wolkenkrabber te bouwen. Dit verspilt energie bij eenvoudige taken en geeft misschien niet genoeg kracht aan moeilijke taken. De grote vraag waar onderzoekers zich mee bezighouden is: Kunnen we deze AI-teams flexibeler maken, zodat we het aantal experts kunnen opregelen of omlaag draaien op basis van hoe moeilijk de taak daadwerkelijk is, terwijl we het systeem tegelijkertijd snel en efficiënt houden?

Dit is precies wat de onderzoekers achter MOE-PRISM probeerden op te lossen. Ze realiseerden zich dat hoewel het idee van het "omhoog of omlaag draaien" van de experts geweldig klinkt, de huidige technologie te lomp is om dit soepel te doen. Ze ontdekten dat het bestaande systeem elke expert behandelt als een gigantische, ondeelbare baksteen—je kunt niet een halve baksteen gebruiken. Als je iets minder kracht nodig hebt, moet je een hele expert verwijderen, wat een enorme sprong is die de kwaliteit van het antwoord vaak ruïneert. Bovendien, wanneer het systeem probeert om veel verzoeken tegelijk af te handelen (zoals een drukke bibliotheek), heeft het de neiging om ze allemaal bij elkaar te groeperen en de "grootste" instelling voor iedereen te gebruiken, wat energie verspilt aan de gemakkelijke verzoeken om de batchgrootte groot te houden.

Om dit op te lossen, bouwde het team een nieuw framework genaamd MOE-PRISM. Ze benaderden het probleem vanuit twee hoeken: het "model" (het brein zelf) en het "systeem" (de bibliotheekmanager).

Eerst, aan de modelzijde, hebben ze een manier uitgevonden om die gigantische "expert-bakstenen" in kleinere, fijnere stukjes te breken. Stel je voor dat je een grote, zware blok kaas neemt en deze in veel kleinere blokjes snijdt. Ze deden dit door te kijken naar hoe de interne neuronen van de AI (de piepkleine verwerkingseenheden binnen een expert) oplichten wanneer deze werkt. Ze merkten op dat voor een specifieataak slechts een specifieke subset van deze neuronen echt belangrijk is. Dus ze sneden de experts in kleinere "sub-experts" die deze belangrijke neuronen bij elkaar groeperen. Dit stelt het systeem in staat om bijvoorbeeld 12,5 sub-experts te kiezen in plaats van gedwongen te zijn tussen 12 of 13 hele experts te kiezen. Dit geeft hen een veel vloeiendere "draaiknop" om de hoeveelheid rekenkracht te regelen, zonder de hele AI vanaf nul opnieuw te hoeven trainen.

Ten tweede, aan de systeemzijde, hebben ze een slimmere "manager" voor de bibliotheek gecreëerd. In plaats van alle verzoeken in één grote hoop te gooien en voor iedereen de hoogste instelling te gebruiken, groepeert deze nieuwe manager verzoeken die ongeveer evenveel kracht nodig hebben. Als er een heleboel gemakkelijke vragen binnenkomen, worden deze samen verwerkt met een lage vermogensinstelling. Als er een boel moeilijke vragen aankomen, krijgen zij hun eigen krachtige groep. Dit voorkomt dat het systeem energie verspilt door de gemakkelijke taken te overbedienen, enkel om de batch vol te houden. Ze bouwden ook een speciale "verkeersregelaar" die de computergraphics (CUDA-grafieken) efficiënt afhandelt, zodat het systeem zelfs met al deze verschillende instellingen niet wordt vertraagd door geheugenproblemen.

Wanneer ze MOE-PRISM testten op drie verschillende populaire AI-modellen, waren de resultaten veelbelovend. Ze ontdekten dat ze door deze fijnere experts en de slimmere planning het aantal beschikbare "vermogensinstellingen" met 4 keer konden verhogen. In hun tests leidde dit tot een verbetering van 33,9% in de hoeveelheid verzoeken die het systeem tegelijkert en kan verwerken (throughput) voor offline taken. Voor online taken, waarbij snelheid cruciaal is, verminderde het de tijd die nodig is voor het eerste woord van een antwoord (Time-to-First-Token) bij gemengde werklasten.

Het paper suggereert dat deze aanpak niet alleen geld bespaart op elektriciteit, maar de AI ook meer aanpasbaar maakt. Het bewijst dat je één AI-model kunt hebben dat "elastisch" is, waarbij het zijn rekenkracht opschuift voor moeilijke taken en inkrimpt voor gemakkelijke taken, zonder dat het een fortuin kost of de boel vertraagt. Hoewel de huidige tests werden uitgevoerd op specifieke opstellingen met twee grafische kaarten, wijzen de resultaten erop dat deze "refactoring" van de interne structuur van de AI en het "heroverwegen" van hoe we het werk plannen, een grote stap kan zijn naar een efficiëntere en flexibelere AI in de echte wereld.

Technische Samenvatting: MOE-PRISM

1. Probleemstelling

Mixture-of-Experts (MoE) architecturen zijn centraal geworden voor large language models (LLMs) om de capaciteit te schalen zonder evenredige toename van de rekenkracht. Bestaande MoE-serving systemen voeren echter doorgaans alle verzoeken uit onder een vaste routing-configuratie (een statische top- $k$ ), waardoor ze er niet in slagen de heterogene computationele vereisten van verschillende verzoeken uit te buiten. Hoewel sommige benaderingen "request-level compute elasticity" bereiken door meerdere modellen te cascaderen of door early-exit mechanismen te gebruiken, introduceren deze methoden aanzienlijke geheugen-/implementatiekosten of vereisen ze gespecialiseerde training en architecturale wijzigingen.

Het artikel identificeert twee primaire hiaten die effectieve request-level elasticiteit binnen een enkele MoE-instantie verhinderen:

Grofmazige Routing-eenheden: Natieve MoE-routing behandelt volledige experts als ondeelbare eenheden. Het verminderen van het routing-budget $k$ met één, verwijdert een hele expert, wat een scherpe, discrete daling in modelkwaliteit veroorzaakt en de beschikbare werkpunten in de trade-off tussen computation en kwaliteit beperkt.
Inefficiënte Heterogene Batching: Serving-systemen zoals vLLM maken gebruik van continuous batching. Wanneer verzoeken met verschillende routing-budgetten worden gemengd, voert het systeem de batch doorgaans uit met het maximale gevraagde $k$ om de kwaliteit te waarborgen, wat leidt tot "over-serving" en verspilde berekeningen. Omgekeerd zorgt het splitsen van batches om budgetten te behouden voor fragmentatie van de executie, wat de throughput vermindert.

2. Methodologie: MOE-PRISM

MOE-PRISM is een model- en systeemondersteunend framework dat is ontworpen om request-level compute elasticity mogelijk te maken binnen een enkele MoE-serving instantie. Het pakt het probleem aan via twee co-ontworpen componenten:

A. Model Refactoring Engine (Model-zijde)

Deze component transformeert het model om een dichter spectrum aan routing-werkpunten te ontsluiten zonder dat end-to-end hertraining nodig is.

Expert Decompositie: De engine profileert intermediaire neuron-activaties op kalibratiedata. Het observeert dat de activatiemassa binnen een expert geconcentreerd is in token-afhankelijke subsets van neuronen.
Sub-Expert Partitionering: Gebruikmakend van een partition-optimalisatie solver (greedy initialisatie gevolgd door simulated annealing), wordt elke monolithische expert gesneden in $N$ fijnere, disjuncte sub-experts. De partitionering streeft ernaar om neuronen te groeperen die samen activeren over tokens, zodat het overslaan van een sub-expert de kwaliteitsverlies minimaliseert.
Gating Reconstructie: Het systeem reconstrueert de routing-interface voor de nieuwe sub-experts via twee paden:
1. Training-Free Proxy: Een hiërarchisch selectiemechanisme dat co-activatiestatistieken gebruikt om sub-experts te scoren, wat directe inzetbaarheid mogelijk maakt.
2. Gate-Only Fine-Tuning: Een laag-kost aanpassing waarbij alleen de router-gewichten worden gefinetuned (terwijl de rest van het model bevroren blijft) om af te stemmen op de uitgebreide sub-expert ruimte, wat de getrouwheid maximaliseert.

B. k-Aware Serving Runtime (Systeem-zijde)

Deze component beheert de executie van heterogene routing-budgetten efficiënt.

k-Aware Serving Scheduler:
- Offline (Throughput-georiënteerd): Maakt gebruik van temporele separatie via quality-tiered batching. Verzoeken worden gesorteerd op hun routing-budget ( $k$ ) en gegroepeerd in tiers. De scheduler beslist of een residu-batch direct moet worden verzonden of moet worden samengevoegd met de volgende tier op basis van een lokale throughput-heuristiek, waardoor over-serving wordt geminimaliseerd terwijl de batch-volheid behouden blijft.
- Online (Latency-gevoelig): Maakt gebruik van spatiale separatie via lane-based routing. Data-parallel (DP) ranks worden gepartitioneerd in "low- $k$ " en "high- $k$ " lanes met een zachte, adaptieve grens. Dit voorkomt het mengen van sterk uiteenlopende budgetten in dezelfde executie-stream, terwijl rigide partitionering die wachtrijopbouw kan veroorzaken wordt vermeden.
Segmented Graph Executor: Om de toename in routing-states te verwerken zonder dat het CUDA Graph geheugengebruik explodeert, splitst de executor de Transformer-block bij de Attention-MoE grens.
- Attention Segmenten: Gedeeld over verschillende $k$ -waarden (routing-ongevoelig).
- MoE Segmenten: Gespecialiseerd per routing-budget $k$ (routing-gevoelig).
- Dit ontwerp stelt het systeem in staat om de efficiëntie van CUDA Graphs te behouden terwijl dynamische $k$ -executie wordt ondersteund.

3. Belangrijkste Bijdragen

Model Refactoring Methode: Een techniek om monolithische experts te deconstrueren in sub-experts en het gating netwerk te reconstrueren, waardoor een enkel model een dichtere routing-werkpunten kan ontsluiten. Het ondersteunt training-free deployment en optionele gate-only fine-tuning.
k-Aware Serving Runtime: Een extensie van vLLM die budget-bewuste scheduling (temporele en spatiale separatie) combineert met efficiënte dynamische- $k$ executie via een segmented graph executor.
Systeem Integratie en Evaluatie: Volledige integratie in vLLM en evaluatie op drie representatieve MoE-modellen (OLMoE, DeepSeek-V2-Lite, Qwen3), wat praktische elasticiteit demonstreert.

4. Experimentele Resultaten

De auteurs evalueerden MOE-PRISM op drie modellen met behulp van het vLLM-framework op A100, RTX A6000 en H800 GPU's.

Throughput (Offline): MOE-PRISM verbeterde de offline inference throughput met tot wel 33,9% vergeleken met baselines. De winst komt voort uit zowel het vermogen om een lager $k$ uit te voeren (via refactoring) als het vermogen van de scheduler om vergelijkbare verzoeken te groeperen om over-serving te voorkomen.
Latency (Online): Onder heterogene workloads verminderde MOE-PRISM de Time-to-First-Token (TTFT), met name bij hoge belastingen waar baselines last hebben van wachtrij-vertragingen en tail latency.
Accuracy: De model refactoring behield grotendeels de nauwkeurigheid van de originele modellen. In sommige gevallen (bijv. OLMoE en Qwen3 bij lagere budgetten) bereikten de gerefactorde modellen een licht betere perplexiteit of downstream taak nauwkeurigheid, wat suggereert dat de nieuwe structuur effectieve expert-selectie ondersteunt onder beperkte computation.
Ablatie Studies:
- Refactoring: Bevestigde dat fijnmazige decompositie de routing-budget overshoot aanzienlijk vermindert vergeleken met grofmazige afronding.
- Segmented Graph: Toonde aan dat de executor het graph geheugengebruik met ~84% vermindert (vergeleken met een standaard k-aware aanpak) met een verwaarloosbaar throughput-verlies (<0,2%).
- Scheduling: Demonstreerde dat dynamische- $k$ executie alleen onvoldoende is; expliciete scheduling is vereist om cross- $k$ interferentie te voorkomen en end-to-end prestatiewinsten te realiseren.

5. Betekenis en Claims

Het artikel claimt dat MOE-PRISM de praktische haalbaarheid van request-level compute elasticity in MoE-serving aantoont. Door de routing top- $k$ te behandelen als een runtime controleknop in plaats van een vaste architecturale instelling, kan het systeem:

Verzoeken met variërende kwaliteit/computationele vereisten bedienen binnen een enkele gedeployed model-instantie.
Heterogene routing-budgetten vertalen naar tastbare end-to-end latency en throughput verbeteringen.
De geheugen- en deployment overhead vermijden die geassocieerd wordt met het cascaderen van meerdere modellen.

De auteurs merken een beperking op: de evaluatie is momenteel beperkt tot twee-GPU testbedden, wat de minimale niet-triviale omgeving vertegenwoordigt voor het valideren van de kernmechanismen. Zij beweren niet onmiddellijke schaalbaarheid naar massieve clusters zonder verdere engineering, maar de resultaten vestigen de fundamentele model-systeem co-design principes voor elastische MoE-serving.