🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

Dit artikel introduceert DECO, een sparse Mixture-of-Experts-architectuur die prestaties vergelijkbaar met dichte modellen bereikt met slechts 20% expert-activatie en een 3,00× versnelling van de inferentie op eindapparaten door gebruik te maken van ReLU-gebaseerde routing, leerbare schaling per expert en een nieuwe NormSiLU-activatiefunctie.

Oorspronkelijke auteurs: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm, high-end restaurant runt. Je wilt de best mogelijke maaltijden (hoge prestaties) aan zo veel mogelijk klanten serveren, maar je hebt twee strikte regels:

Lage Kosten: Je kunt het je niet veroorloven dat elke kok elk gerecht voor elke klant bereidt (lage berekening).
Kleine Keuken: Je hebt niet genoeg ruimte om voor elke kok elk receptenboek en elke ingrediënt op te slaan (kleine opslag).

Lange tijd was de industriestandaard om een enorm team van koks in te huren (een "Dicht" model), waarbij iedereen probeert alles te koken. Dit smaakt geweldig, maar is ongelooflijk duur en vereist een gigantische keuken.

Toen probeerden mensen een "Mixture of Experts" (MoE) aanpak. Dit is als het hebben van een enorm team van 100 gespecialiseerde koks, maar voor elke bestelling wek je er slechts 20 op om te koken. Dit bespaart geld op de kooktijd. Echter, je moet nog steeds de recepten en ingrediënten voor al die 100 koks in je keuken houden. Als je keuken klein is (zoals een telefoon of een laptop), raak je de ruimte kwijt, en vertraagt de tijd die wordt besteed aan het heen en weer rennen om de juiste ingrediënten van de kok alles.

Hier komt DECO.

De auteurs van dit paper hebben een nieuw restaurantontwerp bedacht genaamd DECO. Hun doel was om een "spaarzame" keuken te bouwen (waar slechts een paar koks tegelijk werken) die net zo goed smaakt als de gigantische "dichte" keuken, maar die past in een kleine ruimte en snel draait.

Hier is hoe ze dat deden, met eenvoudige analogieën:

1. De Slimme Kellner (De Router)

In een normaal MoE-restaurant is de kellner (de router) een beetje stijf. Hij zou kunnen zeggen: "Voor elke tafel moeten precies 2 koks koken."

DECO's Innovatie: Ze gaven de kellner een flexibel, differentieerbaar hulpmiddel (genaamd ReLU-based routing). Nu kan de kellner naar de specifieke bestelling kijken en beslissen: "Dit gerecht heeft 3 koks nodig," of "Dat ene heeft er maar 1 nodig." Het is een vloeiende beslissing gebaseerd op het eten, niet op een stijve regel.
De Schalingsfactor: Soms is één kok van nature luider of sterker dan een ander. DECO geeft de kellner een set aanpasbare volumeknoppen (leerbare schaling) voor elke kok. Als Kok A van nature stiller is, draait de kellner hun volume op zodat hun bijdrage in balans is met de luider koks.

2. De Gespecialiseerde Koks (De Experts)

De koks in DECO zijn anders ontworpen om stabieler te zijn.

De "NormSiLU" Schort: De auteurs merkten op dat wanneer koks een standaard schort gebruiken (activatiefunctie), ze soms in de war raken of helemaal stoppen met werken (verdwijnende signalen). Ze bedachten een nieuw schort genaamd NormSiLU. Denk hierbij aan een speciaal uniform dat de energie van de kok voordat ze beginnen met koken kalibreert. Het houdt hun output stabiel en voorkomt dat ze uitbranden of te stil worden.
Geen Poortwachters: De meeste restaurants gebruiken een "poortwachter"-kok die bepaalt of de hoofdkok überhaupt moet beginnen met koken. DECO ontdekte dat voor hun flexibele kellner het eigenlijk beter is om de poortwachter te verwijderen. De koks werken beter wanneer ze gewoon kunnen beginnen met koken op basis van het signaal van de kellner, zonder een extra laag "toestemming".

3. Het Resultaat: De "Ideale Driehoek"

Het paper beweert dat DECO een "heilige graal" bereikt van drie dingen tegelijk:

Hoge Prestaties: Het smaakt net zo goed als het gigantische, dure restaurant (Dichte modellen).
Lage Kosten: Het gebruikt op elk moment slechts 20% van de koks, wat enorme hoeveelheden energie bespaart.
Kleine Opslag: Omdat het ontwerp zo efficiënt is, is de totale "keukenvoetafdruk" (totale parameters) klein genoeg om op eindapparaten zoals telefoons te passen, zonder dat er constant ingrediënten in en uit de opslag hoeven te worden gewisseld.

4. Het Bewijs

Smaaktests: Toen ze DECO testten tegen andere modellen, kwam het overeen met de prestaties van de gigantische "Dichte" modellen en sloeg het andere "Spaarzame" modellen, terwijl het dezelfde hoeveelheid trainingsdata en totale ingrediënten gebruikte.
Snelheid: Ze bouwden een aangepaste engine (versnellingkernel) om dit restaurant te runnen. Op echte hardware (zoals een high-end grafische kaart en een Jetson-apparaat) was DECO 3 keer sneller dan de standaard manier om deze modellen te draaien.

De Haken (Beperkingen)

De auteurs zijn eerlijk over wat ze nog niet hebben getest. Ze hebben dit restaurantontwerp niet geprobeerd voor "fine-tuning" (koks specifieke nieuwe vaardigheden leren na de hoofdtraining) of "reinforcement learning" (ze leren door trial and error). Ze vermoeden dat er daar misschien wat instabiliteit is, dus bouwen ze momenteel een grotere versie om die specifieke scenario's te testen.

Samenvattend: DECO is een slimme heruitvinding van hoe AI-modellen werken. Het bewijst dat je geen gigantische, opgeblazen keuken nodig hebt om geweldige maaltijden te krijgen. Met de juiste kellner, de juiste uniformen en een flexibele aanpak, kun je dezelfde hoogwaardige resultaten behalen met een kleine, snelle en efficiënte keuken.

Technische Samenvatting: DECO – Sparse Mixture-of-Experts met Dicht-Vergelijkbare Prestaties op End-Side Apparaten

Probleemstelling
Hoewel Mixture-of-Experts (MoE)-architecturen de modelcapaciteit schalen zonder de berekening proportioneel te verhogen, lijden ze traditioneel aan enorme totale parameterfootprints. Dit creëert aanzienlijke opslag- en geheugentoegangsflessenhalsen die een efficiënte implementatie op end-side apparaten belemmeren, welke hoge prestaties, lage rekenkosten en minimale opslagoverhead vereisen. Bestaand MoE-onderzoek prioriteert vaak prestaties en lage berekening, maar negeert het doel van "opslagoverhead". Bovendien bereiken veel MoE-modellen hun resultaten door te trainen op aanzienlijk meer tokens dan dichte basismodellen onder hetzelfde rekenbudget, in plaats van het exacte tokenaantal te matchen. De paper stelt de vraag: Kan een sparse MoE-model prestaties bereiken die vergelijkbaar zijn met een dicht model, gegeven hetzelfde totale parameterbudget en hetzelfde aantal trainingstokens?

Methodologie
De auteurs stellen DECO (DEnse-COmparable) voor, een sparse MoE-architectuur die is ontworpen om dichte Transformer-prestaties te matchen onder identieke beperkingen. De architectuur is gebouwd op drie kernontwerppijlers:

Routerontwerp:
- ReLU-gebaseerde Routing: In tegenstelling tot conventionele niet-differentieerbare TopK-routing, maakt DECO gebruik van ReLU-gebaseerde routing. Dit zorgt voor flexibele, token-afhankelijke activeringsratio's en soepele leerbaarheid.
- Lerbaar Expert-specifiek Router-Schalen: Om uitgangs-schalenonevenwichten tussen gedeelde en gerouteerde experts aan te pakken en expert-heterogeniteit te accommoderen, vervangt DECO vaste scalare schalingsfactoren door leerbare vectorische schalingsfactoren ( $\alpha$ ). Dit kalibreert de bijdrage van individuele gerouteerde experts.
Expertontwerp:
- NormSiLU-activering: De auteurs identificeren dat het koppelen van ReLU-gebaseerde routing aan standaard SiLU-geactiveerde experts leidt tot oplopende activeringsratio's en verdwijnende uitgangsmagnitudes. Om dit op te lossen, introduceren ze NormSiLU, dat een tweestapsnormalisatie toepast voor de SiLU-operator:
  - Inter-expert gemiddelde normalisatie: Centreert expert up-projection gewichten rond nul.
  - Intra-expert RMS-normalisatie: Handhaaft consistente activeringsmagnitudes.
    Dit stabiliseert activeringstrends, vermindert de behoefte aan agressieve sparsiteitsregularisatie en zorgt voor robuust parametergebruik.
- Niet-gegateerde MLP-experts: In tegenstelling tot de standaardvoorkeur voor gegateerde MLP's (SwiGLU), maakt DECO gebruik van niet-gegateerde MLP-experts. Empirische resultaten tonen aan dat niet-gegateerde experts stabielere activeringsratio-trends vertonen wanneer ze worden gekoppeld aan ReLU-gebaseerde routing, terwijl gegateerde varianten lijden aan onstabiele, oplopende activeringsdynamiek die zware regularisatie vereist.
Adaptieve Sparsiteitsregularisatie:
- DECO maakt gebruik van adaptieve sparsiteitsregularisatie gebaseerd op router-entropie. In tegenstelling tot statische coëfficiënten wordt de regularisatiesterkte ( $\lambda$ ) dynamisch geschaald op basis van het huidige sparsiteitsniveau ten opzichte van het doel, waardoor een stabiele activeringsratio wordt gewaarborgd die precies gecentreerd is op het gewenste niveau.

Belangrijkste Resultaten
Experimenten werden uitgevoerd over vier parameterniveaus (0,11B tot 1,18B) met een vast aantal trainingstokens (ongeveer 40x het aantal parameters) en een activeringsratio van 20% voor gerouteerde experts.

Dicht Vergelijkbaarheid: DECO bereikt prestatiepariteit met dichte Transformer-basismodellen (met SwiGLU FFN's) in termen van Perplexity (PPL) op de C4-validatieset en gemiddelde nauwkeurigheid op benchmarks voor gezond verstand redeneren, ondanks dat slechts 20% van de experts wordt geactiveerd.
Superioriteit ten opzichte van MoE-basismodellen: DECO presteert beter dan gevestigde MoE-basismodellen (TopP, DeepSeek-V3, ReMoE, BlockFFN) van hetzelfde niveau en dezelfde activeringsratio.
Ablatie-inzichten:
- Leerbaar expert-specifiek schalen verbetert de prestaties aanzienlijk ten opzichte van vaste of scalare schaling, en lost waargenomen heterogeniteit in expert-uitgangsnormen op.
- NormSiLU is cruciaal; het verwijderen van de normalisatiestappen leidt tot oplopende activeringsratio's en verdwijnende SiLU-uitgangen, wat de prestaties verslechtert.
- Niet-gegateerde experts zijn superieur aan gegateerde experts, specifiek binnen de context van ReLU-gebaseerde routing.
Hardware-versnelling: Een gespecialiseerde versnellingskern, gebruikmakend van CUTLASS en tensorcores, is geïmplementeerd. Op echte hardware (NVIDIA RTX 4090 en Jetson AGX) behaalde DECO een 3,00× snelheidswinst ten opzichte van standaard dichte inferentie door gebruik te maken van sparse activering om geheugentoegangsoverhead te verminderen.

Betekenis en Claims
De paper claimt dat DECO succesvol de "ideale driehoek" van end-side MoE-implementatie realiseert: hoge prestaties, lage rekenkosten en kleine opslagoverhead. De betekenis ligt in het aantonen dat sparse MoE-modellen dichte prestaties kunnen matchen zonder extra trainingstokens of enorme parameterfootprints te vereisen.

De auteurs schrijven dit succes toe aan een fundamentele herziening van het MoE-ontwerp die het routingmechanisme (ReLU-gebaseerd), expert-activering (NormSiLU) en expertstructuur (niet-gegateerd) op elkaar afstemt om een stabiele trainingsdynamiek te creëren. Zij merken op dat dicht-comparabiliteit conditioneel is, afhankelijk van factoren zoals activeringsratio, expertgranulariteit en data-heterogeniteit. De paper suggereert dat datasets met hoge entropie en meerdere domeinen bijzonder goed geschikt zijn voor deze sparse architectuur, omdat het model effectief gespecialiseerde parametersonderdelen kan activeren voor verschillende taken.

Beperkingen
De auteurs erkennen dat ze DECO nog niet hebben geëvalueerd in fasen voor supervised fine-tuning (SFT) of reinforcement learning (RL), waar MoE-architecturen unieke uitdagingen kunnen ondervinden zoals router-instabiliteit. Bovendien vereisen de schaalwetten voor de drempelwaarde van de activeringsratio die nodig is voor dicht-comparabiliteit over grotere modelgroottes en diverse data-distributies verder onderzoek.