🤖 machine learning

When Does Sparse MoE Help in Vision? The Role of Backbone Compute Leverage in Sparse Routing

Dit artikel onderzoekt de voorwaarden waaronder sparse Mixture-of-Experts (MoE)-routing de visuele classificatie verbetert, en onthult dat positieve nauwkeurigheidswinsten afhankelijk zijn van een aanzienlijk deel van de rekenkracht dat wordt gerouteerd en van multi-expert-selectie, terwijl batch-as dispatch wordt geïdentificeerd als een kritieke faalmodus in per-sample CNN-omgevingen.

Oorspronkelijke auteurs: Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, supersnelle fabriek runt die duizenden verschillende items per seconde sorteert. Om deze fabriek sneller en slimmer te maken, besluit je een team van 8 gespecialiseerde experts in te huren (een "Mixture of Experts" of MoE). In plaats van dat elke expert elk enkel item bekijkt, wil je een slimme manager (de "router") elk item alleen sturen naar de ene of twee experts die het beste geschikt zijn om het te verwerken. Dit klinkt als een geweldige manier om energie en tijd te besparen, toch?

Dit artikel stelt een zeer specifieke vraag: Wanneer werkt deze aanpak met een "team van specialisten" eigenlijk beter dan gewoon één grote, algemene werknemer die alles doet?

De auteurs ontdekten dat het antwoord volledig afhangt van hoe groot een deel van het totale werk van de fabriek daadwerkelijk wordt uitbesteed aan deze specialisten.

Hier is de uitleg met eenvoudige analogieën:

1. Het "Hoofd vs. Lichaam"-probleem

Denk aan een visuele AI-modellen als een menselijk lichaam.

De Ruggegraat (Lichaam): Dit is het zware werk. Het zijn de spieren en het skelet die het ruwe beeld verwerken (zoals het herkennen van vormen en randen). In de meeste computer-visionmodellen doet dit deel 99% van het werk.
Het Hoofd (Brein): Dit is de laatste stap waarbij het model besluit: "Is dit een kat of een hond?" Dit deel doet meestal minder dan 1% van het werk.

De Grote Ontdekking van het Artikel:
Als je het "team van specialisten" (de MoE) alleen de Hoofd (het laatste besluit) laat verwerken, is het alsof je een team van 8 hersenchirurgen huurt om te beslissen wat je voor lunch gaat eten. Zelfs als ze perfect zijn, besparen ze je slechts een klein fractie van de totale tijd, omdat het "Lichaam" (het zware werk) nog steeds bijna al het werk doet.

Resultaat: Wanneer de specialisten alleen het laatste besluit verwerken (minder dan 1% van het werk), wordt het systeem eigenlijk trager en minder nauwkeurig. De overhead van het beheren van het team is te hoog voor het kleine beetje werk dat ze besparen.

2. De "Depthwise"-Shortcut

Om dit op te lossen, probeerden de auteurs een andere fabrieksindeling genaamd Depthwise Separable Convolutions.

Analogie: Stel je voor dat de standaardfabriek zware, brede transportbanden gebruikt die alles tegelijk verplaatsen. De "Depthwise"-indeling gebruikt smalle, efficiënte banden die items één voor één verplaatsen.
Het Effect: Dit verandert de wiskunde zodat de "Hoofd" (het laatste besluit) een veel groter deel van het totale werk wordt – in sommige gevallen bijna 50%.
Het Resultaat: Nu, wanneer je items naar je team van specialisten stuurt, bespaar je eigenlijk een enorm hoeveelheid werk. In dit scenario schittert het MoE-systeem. Het wordt zowel sneller als nauwkeuriger omdat de specialisten een significant deel van de output van de fabriek verwerken.

3. De "Eén vs. Velen"-regel

Het artikel vond dat het simpelweg hebben van specialisten niet genoeg is; je moet ze ook samenwerken laten.

Het Experiment: Op de grote ImageNet-dataset testten de auteurs twee scenario's met exact dezelfde opstelling, waarbij ze slechts één ding veranderden:
- Scenario A: De manager stuurt het item naar één expert.
- Scenario B: De manager stuurt het item naar twee experts die stemmen over het antwoord.
Het Resultaat: Toen het item naar slechts één expert ging, faalde het systeem (de nauwkeurigheid daalde). Toen het naar twee experts ging, slaagde het systeem (de nauwkeurigheid steeg).
Conclusie: Op grote schaal heb je een "comité" (meerdere experts) nodig om het werk goed te doen, niet gewoon één enkele specialist.

4. De "Batching"-Fout

Het artikel keek ook naar andere populaire methoden (zoals "Soft MoE") die faalden bij visuele taken.

De Analogie: Stel je voor dat een leraar papers nakijkt.
- De Fout: De leraar pakt een hele stapel van 64 verschillende studentenpapers, mengt ze allemaal door elkaar en probeert de "gemiddelde" paper te nakijken. Dit vernietigt de unieke details van het werk van elke student.
- De Oplossing: Het artikel toonde aan dat als de leraar elke studentpaper individueel nakijkt (zelfs als er een zachte, flexibele methode wordt gebruikt), de resultaten dramatisch verbeteren.
Conclusie: Bij beeldclassificatie moet je elke afbeelding behandelen als een uniek individu. Je kunt ze niet samenvoegen tot een gemiddelde voordat je ze naar de specialisten stuurt.

Samenvatting van Bevindingen

Het artikel concludeert dat "Sparse MoE" (het gebruik van een team van specialisten) een krachtig hulpmiddel is, maar alleen onder specifieke voorwaarden:

De specialisten moeten het zware werk doen: Je kunt ze niet alleen gebruiken voor de laatste kleine stap. Ze moeten een groot deel (ongeveer 30-50%) van het totale rekenwerk verwerken.
Je hebt een "Comité" nodig: Op grote schaal is het noodzakelijk om een item naar meerdere experts te sturen (k ≥ 2) voor succes.
Meng de batch niet: Je moet afbeeldingen individueel verwerken, niet als een gemengde groep.

De Kernboodschap:
Als je probeert een team van specialisten in te zetten voor een klein klusje in een gigantische fabriek, creëer je gewoon een knelpunt. Maar als je de fabriek herstructureert zodat de specialisten het grootste deel van het werk verwerken, en je laat ze werken in kleine commissies, krijg je een systeem dat zowel slimmer als efficiënter is.

Opmerking: Het artikel vermeldt ook dat hoewel hun systeem wiskundig efficiënt is (minder berekeningen), hun huidige software-implementatie traag is in real-time vanwege hoe de computercode is geschreven. Zij suggereren dat met betere software-engineering (het samenvoegen van de code), de snelheid zou overeenkomen met de wiskunde.

Technische Samenvatting: Wanneer helpt Sparse MoE in Vision?

1. Probleemstelling

Mixture-of-Experts (MoE) netwerken bieden een theoretisch pad naar gunstige afwegingen tussen nauwkeurigheid en rekenkracht door invoer te routeren via gespecialiseerde subnetwerken. Hoewel sparse gating succesvol is geschaald in taalkundige modellen en sommige vision-toepassingen, staat de praktische implementatie in vision-classificatie voor twee aanhoudende obstakels:

Rekenkracht-ongelijkheid: In standaard vision-architecturen domineert de gedeelde convolutionele backbone de totale rekenkosten (FLOPs). Bijgevolg vormt de classificatiekop (waar MoE vaak wordt geplaatst) een verwaarloosbaar klein deel van de totale rekenkracht (vaak <0,1%). Zelfs met perfecte routing is de structurele kans om de end-to-end kosten te verminderen minimaal, wat de prikkel om routingmechanismen te verfijnen afzwakt.
Expert Collapse: Routers vallen vaak terug op een subset van experts, wat de specialisatie ondermijnt die MoE beoogt te bereiken.

Het artikel onderzoekt de specifieke voorwaarden waaronder sparse top- $k$ routing met harde capaciteitsbeperkingen daadwerkelijk nauwkeurigheidsverbeteringen oplevert in vision-classificatie, en gaat voorbij de aanname dat MoE universeel voordelig is.

2. Methodologie

De auteurs stellen een gecontroleerde empirische studie voor om de variabelen te isoleren die de MoE-prestaties in vision aandrijven.

Architectuur en Routing

Backbones: De studie maakt gebruik van standaard convolutionele backbones en diepte-gescheiden convoluties (DW). Diepteconvoluties worden niet alleen gebruikt voor efficiëntie, maar om de verhouding van kop-naar-backbone FLOPs naar pariteit te verschuiven, waardoor het aandeel van de totale rekenkracht dat gerouteerd kan worden ( $\rho$ ) toeneemt.
Sparse Router: Invoer wordt gerouteerd via een geleerde router die geleerde logits combineert met een key-similariteits-term ( $\cos(Kh, e_i)$ ).
Harde Capaciteitsbeperkingen: Om expert collapse te voorkomen, leggen de auteurs harde capaciteitslimieten per batch op (volgend op Switch Transformer), waardoor een gebalanceerde dispatch over alle $E$ experts tijdens het trainen wordt gegarandeerd.
Trainingsdoel: Het verlies combineert cross-entropy met load-balance en entropieregularisatoren. Temperatuurplanning (lineair of sigmoid) wordt gebruikt om de routingverdeling te temperen.

Experimenteel Ontwerp

De studie hanteert een meer-datasetprotocol (CIFAR-10/100, Tiny-ImageNet, ImageNet-1K) met de volgende gecontroleerde experimenten:

$\rho$ -Sweep (CIFAR-10): Een sweep van de verborgen grootte over standaard en diepte backbones om het gerouteerde aandeel van de totale FLOPs ( $\rho$ ) te variëren, terwijl andere factoren constant worden gehouden.
Routing Breadth Ablation (ImageNet-1K): Een experiment waarbij alleen de top- $k$ selectie wordt gevarieerd ( $k=1$ versus $k=2$ ), terwijl architectuur, initialisatie en $\rho$ constant worden gehouden.
Dispatch Diagnostic: Een vergelijking tussen standaard Soft MoE (die tokens over de batchdimensie distribueert) en een voorgestelde variant per steekproef (die softmax toepast over experts per afbeelding) om dispatch-foutmodi te isoleren.
Backbone Integratie: Het plaatsen van MoE-lagen direct binnen convolutionele lagen van de backbone (Laag 3/4 van ResNet-18) om regimes met hoge $\rho$ te testen.

3. Belangrijkste Bevindingen

Het Rekenkracht-Leverage Patroon

De centrale observatie is een "rekenkracht-leverage" patroon: positieve nauwkeurigheidskloven tussen MoE en dichte baselines vereisen dat een substantieel aandeel $\rho$ van de totale FLOPs wordt gerouteerd.

Lage $\rho$ (Alleen kop): Wanneer de gerouteerde kop een verwaarloosbaar klein deel van de totale rekenkracht vormt (bijv. $\rho < 1\%$ op ImageNet met standaard backbones), verslechtert sparse routing consequent de prestaties, ongeacht het type backbone.
Hoge $\rho$ (Diepte/Backbone): Wanneer diepteconvoluties worden gebruikt om $\rho$ te verhogen (bijv. tot $\sim49\%$ op CIFAR) of wanneer MoE binnen de backbone wordt geplaatst ( $\rho \approx 38\%$ op ImageNet), ontstaan positieve nauwkeurigheidskloven.

Noodzaak van Multi-Expert Routing op Schaal

Op de ImageNet-schaal is een hoge $\rho$ noodzakelijk maar niet voldoende.

Een gecontroleerde ablatie op ImageNet-1K met vaste architectuur en $\rho$ toonde aan dat het overschakelen van $k=1$ (enkele expert) naar $k=2$ (meerdere experts) de nauwkeurigheidskloof omkeerde van $-2,08\%$ naar $+1,17\%$ over alle vijf zaden.
Dit geeft aan dat op grote schaal het routeren van een groot deel van de rekenkracht op zich niet voldoende is; het model moet meerdere experts gelijktijdig benutten om winst te realiseren.

Routingstabiliteit en Foutmodi

Temperatuurplanning: Aggressieve lineaire temperatuurverlaging kan leiden tot late-stage routing collapse. Sigmoid-planning of hogere minimale temperaturen ( $\tau_{min}$ ) zijn vereist voor stabiliteit.
Dispatch Mechanisme: Standaard Soft MoE, die tokens over de batchdimensie middelt, stort catastrofaal in per-voorbeeld CNN-instellingen omdat het niet-gerelateerde afbeeldingen mengt. Een variant per steekproef (softmax over experts per afbeelding) redt de prestaties op CIFAR-100, maar slaagt er niet in om dichte baselines te overtreffen op Tiny-ImageNet en ImageNet-1K, wat suggereert dat gewogen ensemblevorming zonder harde routing op schaal onvoldoende is.

Efficiëntie versus Latentie

FLOPs: De studie bevestigt dat diepte backbones aanzienlijke FLOPs-reducties mogelijk maken (tot 22,7% op CIFAR-10) terwijl de nauwkeurigheid wordt behouden of verbeterd.
Latentie: De niet-gefuseerde implementatie lijdt onder hoge wandkloklatenentie door overhead van kernelstarts per expert (Python-lussen en sequentiële CUDA-aanroepen). Hoewel de FLOPs lager zijn, is de latentie aanzienlijk hoger dan dichte baselines (bijv. 36ms versus 0,25ms op CIFAR-100). De auteurs merken op dat gefuseerde MoE-kernels dit gat theoretisch kunnen dichten, maar dat hun huidige implementatie fungeert als een bovengrens voor productiekosten.

4. Bijdragen

Empirische Rekenkracht-Leverage Observatie: Vestigt dat positieve MoE-nauwkeurigheidskloven in vision een substantieel gerouteerd aandeel $\rho$ vereisen. Diepte backbones faciliteren dit door $\rho$ naar pariteit te verschuiven.
Isolatie van Variabelen: Twee gecontroleerde experimenten tonen aan dat:
- De backbone-familie (standaard versus diepte) niet de actieve variabele is; eerder drijft het gerouteerde aandeel $\rho$ het resultaat.
- Op ImageNet-schaal multi-expert routing ( $k \ge 2$ ) een noodzakelijke voorwaarde is naast hoge $\rho$ .
Multi-Dataset Validatie: Biedt statistisch significante resultaten over CIFAR-10/100, Tiny-ImageNet en ImageNet-1K, en toont aan dat diepte co-optimatie positieve kloven oplevert op kleinere schalen en wanneer MoE in de backbone is geïntegreerd.
Routingstabiliteitsanalyse: Identificeert temperatuurplanning als een kritieke hefboom om collapse te voorkomen en diagnosticeert batch-as-dispatch als de dominante foutmodus voor Soft MoE in per-voorbeeld CNN's.

5. Betekenis en Claims

Het artikel claimt een rigoureuze, gecontroleerde verklaring te bieden voor wanneer sparse MoE helpt in vision, en weerlegt het idee dat MoE een universele drop-in verbetering is. De auteurs betogen dat het falen van MoE in veel vision-implementaties niet te wijten is aan het routingmechanisme zelf, maar aan de structurele rekenkracht-ongelijkheid waarbij het gerouteerde component te klein is om de routing-overhead of complexiteit te rechtvaardigen.

De studie concludeert dat voor vision-classificatie:

Een substantieel aandeel van de totale FLOPs moet worden gerouteerd om voordelen te zien.
Op grote schaal (ImageNet) het routeren van een groot deel noodzakelijk is, maar multi-expert selectie ( $k \ge 2$ ) vereist om voldoende te zijn.
Diepte-gescheiden convoluties een praktische enable zijn voor deze voorwaarde door de FLOP-verdeling te verschuiven.

De auteurs blijven bescheiden wat betreft absolute prestaties, en merken op dat hun modellen basis trainingsrecepten gebruiken (standaard augmentaties, geen AdamW/CutMix) in vergelijking met state-of-the-art baselines. Hun primaire bijdrage is de relatieve verbetering van MoE ten opzichte van gematchte dichte baselines onder gecontroleerde omstandigheden, waarbij het effect van routing wordt geïsoleerd van trainingsrecept-verwarring. Zij erkennen dat huidige latentiestrafjes implementatie-afhankelijk zijn en dat gefuseerde kernels vereist zijn voor efficiëntie in praktische implementatie.