🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

Dit artikel onthult dat bestaande voorgeöefende Mixture-of-Experts (MoE)-modellen inherent aanzienlijke intra-expert-activatiesparsiteit bezitten, wat benut kan worden door de vLLM-uitvoeringspijplijn aan te passen om inactieve neuroneberekeningen over te slaan, waardoor een snelheidswinst van tot 2,5x bij de uitvoering van MoE-lagen en 1,2x bij de end-to-end-uitvoering wordt bereikt zonder enige modelhertraining of parameterwijziging.

Oorspronkelijke auteurs: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Slapende Reuzen" in AI vinden

Stel je een enorme, high-end restaurantkeuken voor (het AI-model) met honderden gespecialiseerde chefs (genaamd Experts). In een standaard "Mixture of Experts" (MoE)-opstelling kiest de hoofdkok (de Router) bij een bestelling slechts een paar specifieke experts om aan die bestelling te werken. Als de bestelling bijvoorbeeld "pittige curry" is, kan de router de "Kruidenexpert" en de "Curryexpert" wakker maken, terwijl de "Dessertexpert" en de "Broodexpert" slapen blijven.

Dit is al efficiënt omdat de keuken niet alle 100 chefs laat werken voor elke enkele bestelling. De onderzoekers in dit artikel stelden echter een nieuwe vraag: "Zelfs als een chef wakker is en aan het werk, gebruikt hij dan al zijn energie?"

Ze ontdekten dat zelfs de "wakke" chefs grotendeels alleen maar rondstaan en niets doen. Ze vonden dat binnen een enkele expert tot 90% van de neuronen (de individuele hersencellen van de AI) effectief "slapen" of voor een bepaalde invoer een nul-output produceren.

Het Probleem: Waarom We Niet Gewoon Meer Chefs Kunnen Toevoegen

Vroeger probeerden onderzoekers AI sneller te maken door de keuken efficiënter te maken door meer chefs toe te voegen en er minder van wakker te maken (het verhogen van "inter-expert sparsity"). Maar dit wordt steeds moeilijker.

De Trainingsstrijd: Als je te veel chefs hebt en er slechts een paar wakker maakt, raakt de keuken in de war. Sommige chefs krijgen al het werk (onevenwichtige lastverdeling), terwijl anderen nooit getraind worden en nutteloos worden (expert collapse).
De Grens: We stoten tegen een muur waar we de selectie van "wie mag werken" niet meer eenvoudig efficiënter kunnen maken zonder het model te breken.

De Oplossing: De "Luie Chef"-Strategie

In plaats van te proberen minder chefs te kiezen, besloten de auteurs om de individuele chefs efficiënter te maken. Ze realiseerden zich dat zelfs als een chef werkt, hij niet elk gereedschap in zijn gereedschapskist hoeft te gebruiken.

De Analogie:
Stel je een meester-timmerman (een Expert) voor die een stoel bouwt.

Oude Manier: De timmerman pakt elke enkele hamer, zaag en schroevendraaier uit de schuur, zelfs als hij alleen een hamer en een schroevendraaier nodig heeft. Hij draagt de hele schuur mee naar de werkplek.
Nieuwe Manier (Dit Artikel): De timmerman kijkt naar de klus, beseft dat hij alleen de hamer en de schroevendraaier nodig heeft, en laat de zaag en de andere 90% van het gereedschap in de schuur. Hij draagt alleen mee wat hij nodig heeft.

De onderzoekers ontdekten dat bij bestaande, vooringestelde AI-modellen (zoals Qwen, Llama en DeepSeek) dit "luie" gedrag al natuurlijk voorkomt. De wiskunde binnen het model zet het grootste deel van het werk van nature op nul. Ze moesten de computer alleen leren om dat verspilde werk te overslaan.

Hoe Ze Het Dedden: Het "Skip-List"-Systeem

Het team nam een populaire, hoogwaardige AI-engine genaamd vLLM (denk hierbij aan de bezorgdienst die het eten van de keuken naar de klant brengt) en upgradeerde deze.

De Check: Voordat de "chef" begint met koken, controleert het systeem snel welke gereedschappen (neuronen) daadwerkelijk nodig zijn.
De Skip: Als een gereedschap niet nodig is (de waarde is te laag), laadt het systeem het niet eens in het geheugen of probeert het het niet te gebruiken. Het slaat de berekening letterlijk over.
Het Resultaat: Ze bouwden een speciale "snelweg" in de software. Als de batch bestellingen klein is (zoals een rustige lunchpauze), gebruikt het systeem deze snelweg en slaat het zware tillen over. Als de keuken superdruk is (een enorme dinerrush), schakelt het terug naar de standaard, zware modus om alles stabiel te houden.

Wat Ze Vonden (De Resultaten)

Ze testten dit op acht verschillende gigantische AI-modellen, variërend van kleine modellen (1 miljard parameters) tot enorme modellen (400 miljard parameters).

Nauwkeurigheid: Ze konden tot 90% van het werk binnen een expert overslaan en de AI gaf nog steeds 95% van de tijd het juiste antwoord. Het was alsof je 90% van de ingrediënten in een recept overslaat en het gerecht smaakt nog steeds 95% even goed.
Snelheid:
- Voor het specifieke "kookgedeelte" van de AI (de MoE-laag) zagen ze snelheidswinsten tot 2,5 keer.
- Voor het hele systeem (end-to-end) zagen ze een snelheidswinst van 1,2 keer.
Hardware: De snelheidswinst was het meest dramatisch op kleinere, minder krachtige grafische kaarten (zoals een consumenten-gamingkaart), wat bewijst dat dit een uitstekende manier is om grote AI-modellen op goedkopere hardware te draaien.

De Haken en Ogen (Beperkingen)

Het artikel is eerlijk over de beperkingen:

De Poortwachter: Het systeem moet nog steeds controleren welke gereedschappen nodig zijn voordat het ze kan overslaan. Deze "check" kost tijd en kan nog niet worden overgeslagen. Het is alsof een manager nog steeds door de keuken moet lopen om de chefs te vertellen welke gereedschappen ze moeten pakken, zelfs als de chefs ze niet allemaal gebruiken.
Batchgrootte: De snelheidswinst is het grootst wanneer de AI een paar verzoeken tegelijk verwerkt. Als je duizenden verzoeken gelijktijdig verwerkt, wordt de "check"-overhead een knelpunt en daalt de snelheidswinst.

Samenvatting

Dit artikel heeft geen nieuw type AI uitgevonden of een nieuw model vanaf nul getraind. In plaats daarvan keken ze naar bestaande, krachtige AI-modellen en realiseerden ze zich: "Hé, deze modellen doen al veel onnodig werk, zelfs als ze 'actief' zijn."

Door een systeem te bouwen dat deze verspilde inspanning herkent en het simpelweg overslaat, lieten ze deze enorme AI-modellen aanzienlijk sneller en efficiënter draaien, vooral op hardware die niet superduur is. Het is een "slimme overslaan"-techniek die de huidige generatie AI-modellen praktischer maakt om te draaien.

Technische Samenvatting: Intra-expert Activatiesparsiteit Ontmaskeren voor Efficiënte Uitvoering van Mixture-of-Expert-modellen

Probleemstelling
Mixture-of-Experts (MoE)-architecturen zijn de standaard geworden voor state-of-the-art Large Language Models (LLM's) vanwege hun rekenkundige efficiëntie, die voortkomt uit sparse expert-activatie. Het verder vergroten van de sparsiteit door fijnere expert-granulariteit (inter-expert sparsiteit) staat echter voor fundamentele trainingsuitdagingen, waaronder expert-collapse, load-imbalance en representatie-collapse. Deze problemen maken het steeds moeilijker om het percentage actieve experts te verminderen zonder in te leveren op modelkwaliteit of trainingsstabiliteit. Bijgevolg is er behoefte aan het verkennen van complementaire dimensies van sparsiteit die niet afhankelijk zijn van architecturale wijzigingen of hertraining.

Methodologie
De auteurs onderzoeken intra-expert activatiesparsiteit, een dimensie van sparsiteit die bestaat binnen de activaties van individuele experts in vooringestelde MoE-modellen. De methodologie omvat drie hoofdcomponenten:

Empirische Analyse: De studie analyseert acht kant-en-klare MoE-modellen variërend van 1B tot 400B parameters (inclusief Granite, OLMoE, DeepSeek-V2, GPT-OSS, Qwen3.5 en Llama-4-varianten). De auteurs meten benchmarknauwkeurigheid (ARC-Challenge, ARC-Easy, HellaSwag, Winogrande, TruthfulQA) terwijl ze progressief de laagst scorende neuron-activaties binnen actieve experts op nul zetten. Ze onderscheiden tussen "gerouteerde experts" (geselecteerd door de router) en "gedeelde experts" (altijd actief).
Observatie van Sparsiteitskenmerken: De analyse toont aan dat activatie-uitvoer in MoE FFN-lagen een langstaartverdeling volgen. Een aanzienlijk deel van de neuronen produceert bijna-nul activaties, waardoor aanzienlijke sparsiteit (tot 90%) mogelijk is met minimaal verlies aan nauwkeurigheid. De studie vindt dat neuronen van gedeelde experts een hogere per-neuron impact op nauwkeurigheid hebben dan neuronen van gerouteerde experts; in grote modellen zoals Qwen3.5-122B-A10B volstaat het om alle neuronen van gedeelde experts actief te houden terwijl slechts ongeveer 2% van de neuronen van gerouteerde experts wordt geactiveerd om de modelcapaciteit te behouden.
Systeemimplementatie in vLLM: De auteurs integreren deze sparsiteit in het productieklaar inferentiesysteem vLLM. De implementatie wijzigt de uitvoerpijplijn voor gerouteerde experts, terwijl de uitvoering van gedeelde experts en de routerlogica behouden blijven om compatibiliteit te handhaven met expert-parallelisme en bestaande optimalisaties (HIP Graph, CUDA Graph, kernel-fusie).
- Gate-projectie: Wordt dicht uitgevoerd met behulp van een batch-matrixvermenigvuldigingskernel (BMM) om activatiescores te bepalen.
- Activeringsmaskering: Een aangepaste Triton-kerel voert drempelgebaseerde maskering uit in één doorgang ( $O(n)$ ), waardoor de rekenkosten van top-k-sortering ( $O(n \log n)$ ) worden vermeden.
- Gefuseerde Up-Down-projectie: Een aangepaste sparse kernel verzamelt gewichten voor alleen de actieve neuronen, pakt deze in een dichte matrix in het gedeelde geheugen en voert een dichte matrix-vectorvermenigvuldiging uit. Deze benadering balanceert de onregelmatigheid van sparse toegang met de doorvoer van dichte hardware-versnellers.
- Dynamische Schakeling: Om de afweging tussen lage-latentie sparse uitvoering en hoge-doorvoer dichte uitvoering te hanteren, schakelt het systeem dynamisch tussen de sparse en dichte codepaden op basis van de batchgrootte.

Belangrijkste Bijdragen

Ontdekking van Intra-Expert Sparsiteit: Het artikel toont aan dat aanzienlijke intra-expert activatiesparsiteit direct beschikbaar is in bestaande vooringestelde MoE-modellen zonder enige wijziging aan modelparameters of activatiefuncties.
Systeemintegratie: De auteurs herontwerpen de vLLM MoE-uitvoeringspijplijn om zowel inter-expert als intra-expert sparsiteit efficiënt te benutten op GPU's, met behoud van volledige ondersteuning voor productieniveau-functies zoals expert-parallelisme en grafiekopname.
Prestatie-evaluatie: Het werk biedt een uitgebreide evaluatie over verschillende modelschalen en hardware (AMD MI355X, NVIDIA H200, RTX4090), waarmee de praktische haalbaarheid van deze optimalisatie wordt vastgesteld.

Resultaten

Sparsiteitsniveaus: De studie identificeert sparsiteitsafsnijdingen waarbij modellen 95% van hun baseline-nauwkeurigheid behouden. Bijvoorbeeld, het grootste geteste model (Llama-4-Maverick) behoudt nauwkeurigheid met tot 90,8% intra-expert sparsiteit, terwijl kleinere modellen zoals Granite-1B-A400M dit behouden bij 26,5%.
Lagsnelheidstoename: Intra-expert sparse uitvoering bereikt tot 2,5× snelheidswinst in MoE-laguitvoering vergeleken met de dichte vLLM-baseline. De snelheidswinst is het meest uitgesproken op hardware met beperkte middelen (bijv. RTX4090) en voor grotere modellen (Qwen3.5-122B-A10B), waar geheugen- en rekenkundige knelpunten ernstiger zijn.
End-to-End Snelheidswinst: Vanwege de Wet van Amdahl (aangezien de MoE-laag ongeveer 45% van de totale uitvoeringstijd uitmaakt), is de end-to-end inferentiesnelheidswinst bescheidener, met maximaal 1,2× op H200 en 1,1× op MI355X. De voordelen zijn het meest significant voor latentie-gebonden werklasten (bijv. decode-zware scenario's met kleine batchgroottes).
Behoud van Nauwkeurigheid: De drempelgebaseerde aanpak behoudt 95% van de gemiddelde baseline-benchmarkscore tot de geïdentificeerde sparsiteitsafsnijdingen (bijv. 85% doelsparsiteit voor Qwen3.5-35B-A3B).

Betekenis
Het artikel positioneert intra-expert activatiesparsiteit als een praktische en complementaire optimalisatietechniek ten opzichte van inter-expert sparsiteit. Het adresseert de beperkingen van het verder duwen van inter-expert sparsiteit door gebruik te maken van de inherente redundantie binnen de dichte FFN van elke geselecteerde expert. De auteurs stellen dat dit werk de grondslag legt voor toekomstig efficiënt LLM-onderzoek, en een methode biedt om de serveerkosten voor grote MoE-modellen te verminderen zonder hertraining of architecturale wijzigingen. De integratie in vLLM toont aan dat dergelijke sparsiteit effectief kan worden benut in high-performance productiesystemen, waardoor de kloof tussen theoretische sparsiteit en gerealiseerde doorvoer wordt overbrugd.