💻 computer science

Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression

Dit artikel stelt een structureel pruning-framework voor Mixture-of-Experts (MoE) modellen voor dat de kanaal-score dekking maximaliseert via attributie-gebaseerde benadering om fijnmazige redundantieverwijdering te bereiken, waardoor de geheugenvoetafdruk aanzienlijk wordt verminderd terwijl de nauwkeurigheid behouden blijft onder hoge compressieratio's.

Oorspronkelijke auteurs: Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Te Veel Koks"-probleem

Stel je een enorm, luxe restaurant voor (een Mixture-of-Experts of MoE AI-model). In plaats van één grote chef die elk gerecht kookt, heeft deze keuken honderden gespecialiseerde koks (genaamd Experts). Voor elke bestelling (een token tekst) kiest de hoofdserveerder (de Router) slechts een paar koks om aan dat specifieke gerecht te werken.

Dit systeem is briljant omdat het efficiënt is: je betaalt alleen voor de koks die je gebruikt. Echter, het restaurant is nog steeds enorm, duur in het gebruik en neemt veel ruimte in beslag (geheugen) omdat het honderden koks in dienst heeft, zelfs als er tegelijkertijd slechts een paar actief zijn.

Het doel van dit artikel is om de keuken te verkleinen zonder de kwaliteit van het eten te ruïneren. Ze willen wat koks ontslaan of hun werkstations verkleinen om ruimte en geld te besparen, maar ze moeten ervoor zorgen dat het restaurant nog steeds 5-sterrenmaaltijden serveert.

Het Probleem met Oude Methoden: "Het Grove Mes"

Eerdere pogingen om deze modellen te verkleinen, waren als het gebruik van een grove machete in plaats van een scalpel.

De Oude Manier: Ze keken naar een hele kok en besloten: "Deze kok is belangrijk, behoud hem," of "Deze kok wordt zelden opgeroepen, ontsla hem."
De Fout: Dit is te bot. Zelfs een "belangrijke" kok kan veel verspilde ruimte hebben in zijn keuken. Misschien heeft hij 100 snijplanken, maar gebruikt hij er slechts 20. De andere 80 liggen alleen maar te verstoffen.
Het Resultaat: Oude methoden hielden de hele kok aan (waardoor ruimte werd verspild aan de 80 ongebruikte planken) of ontsloegen de hele kok (waardoor de 20 nuttige planken verloren gingen). Ze konden de interne redundantie binnen de werkplek van de kok niet zien.

De Nieuwe Oplossing: Een Drie-Stappen "Slimme Renovatie"

De auteurs stellen een nieuw framework voor dat werkt als een precisie-architect. Ze kijken niet alleen naar wie belangrijk is; ze kijken naar waar de waarde zich binnen elke expert bevindt.

Stap 1: De "Attribution" Detective (De echte waarde vinden)

Eerst moeten ze weten welke delen van het model er werkelijk toe doen.

De Metafoor: Stel je voor dat je probeert uit te vogelen welke ingrediënten in een complexe saus er werkelijk voor zorgen dat hij lekker smaakt. Je kunt niet simpelweg raden op basis van wie de ingrediënten heeft gekocht (router-statistieken) of hoeveel ze wegen (ruwe data).
De Innovatie: Ze gebruiken een slimme wiskundige truc genaamd Attribution-Guided Loss Approximation. In plaats van elk ingrediënt één voor één te testen door het te verwijderen (wat eeuwig duurt), gebruiken ze een "snelle schatting" om direct te berekenen hoeveel elk onderdeel bijdraagt aan de uiteindelijke smaak.
Het Voordeel: Dit is 20 keer sneller dan eerdere methoden. Het is alsof je een super-snelle proever hebt die de impact van een ingrediënt kan raden zonder het hele gerecht daadwerkelijk te bereiden.

Stap 2: De "Coverage" Kaart (Het goede deel maximaliseren)

Zodra ze weten welke delen waardevol zijn, moeten ze beslissen hoeveel ruimte ze behouden.

De Metafoor: Stel je voor dat je een emmer zand hebt. Sommige korrels zijn goud, andere zijn vuil. Je wilt het goud behouden maar het vuil weggooien.
De Oude Manier: "Houd 50% van het zand aan." Dit kan er per ongeluk voor zorgen dat je veel vuil houdt en wat goud weggooit.
De Nieuwe Manier (Coverage-Maximized): "Houd genoeg zand aan om 90% van het goud te dekken."
Hoe het werkt: Ze realiseerden zich dat in deze modellen het "goud" (belangrijke informatie) sterk geconcentreerd is in slechts een paar kanalen (zoals de top 20 snijplanken). Dus berekenen ze precies hoeveel kanalen ze moeten houden om bijna alle waarde te vangen. Ze stoppen met snijden zodra ze het belangrijke deel hebben "gedekt", zelfs als dat betekent dat ze voor sommige experts heel weinig kanalen behouden en voor andere juist meer.

Stap 3: De "Alignment" Tegelzetter (De puzzelstukjes laten passen)

Ten slotte hebben ze een lijst met hoeveel kanalen ze moeten houden, maar er is een addertje onder het gras. Computerchips (hardware) zijn kieskeurig. Ze houden van getallen die veelvouden zijn van 64 of 128 (zoals tegels die perfect in een raster passen). Als je 125 kanalen hebt, verspilt de computer ruimte door het aan te vullen tot 128, of het draait traag.

De Metafoor: Je hebt een stapel stenen van verschillende formaten. Je moet een muur bouwen waarbij elk gedeelte precies 128 stenen breed moet zijn.
De Innovatie: Ze gebruiken een eerlijke herverdelingsmethode (genaamd Hamilton's Largest Remainder) om de extra "overgebleven" ruimte te verschuiven. Als de ene expert 3 stenen tekort komt en de andere 60, geven ze de extra ruimte aan degene die het hardst nodig heeft om zo dicht mogelijk bij de perfecte grootte van 128 blokken te komen.
Het Voordeel: Dit zorgt ervoor dat het verkleinde model perfect in het geheugen van de computer past, waardoor het snel kan draaien en gebruik kan maken van low-bit (gecomprimeerde) opslag zonder dat het vertraagt.

De Resultaten: Kleiner, Sneller, Net zo Slim

Ze hebben dit getest op bekende modellen zoals Qwen en DeepSeek.

De Uitkomst: Ze slaagden erin de modellen 5 keer te verkleinen (5x compressie) terwijl de nauwkeurigheid bijna exact hetzelfde bleef.
Het Bewijs: Op een model genaamd Qwen3-30B verminderden ze de geheugenvoetafdruk met 5,27 keer. Zelfs met agressief snoeien (50% pruning) scoorde het model nog steeds ongelooflijk hoog op wiskunde- en redeneertests (zoals een score van 94,5 op de MATH500 benchmark).

Samenvatting

Beschouw dit artikel als de ultieme opruimgids voor AI.

Stop met gokken welke hele experts je moet ontslaan.
Begin met kijken naar de binnenkant om de specifieke "gouden kanalen" te vinden die de waarde bevatten.
Behoud net genoeg om het goud te dekken, en snijd de rest weg.
Organiseer de overgebleven stukken opnieuw zodat ze perfect passen in de hardware van de computer.

Het resultaat is een kleine, efficiënte AI die in je broekzak past, maar denkt als een reus.

Technische Samenvatting: Attributie-gestuurde en Dekkings-maximaliserende Pruning voor Structurele MoE-compressie

1. Probleemstelling

Mixture-of-Experts (MoE) modellen bieden een hoge parametercapaciteit met beheersbare berekeningen door slechts een deelverzameling van experts per token te activeren. De implementatie van deze modellen blijft echter kostbaar vanwege de substantiële geheugenvoetafdruk en de overhead tijdens inferentie. Hoewel structurele pruning een veelbelovende oplossing is, kampen bestaande methoden met significante beperkingen:

Grove Granulariteit: Eerdere benaderingen opereren op expert-niveau, waarbij ze ofwel volledige experts verwijderen of ze rangschikken op basis van belangrijkheid. Dit faalt in het vastleggen van de interne redundantie binnen "belangrijke" experts, waar informatie vaak geconcentreerd is in slechts enkele kanalen.
Onnauwkeurige Schatting van Belangrijkheid: Bestaande metrieken voor expert-belangrijkheid (bijv. router-gewichten, tokengebruik, ruwe activatie-/gradiëntstatistieken) zijn vaak niet afgestemd op de werkelijke bijdrage van een expert aan de uiteindelijke loss. Router-statistieken weerspiegelen selectiefrequentie in plaats van nut, en ruwe statistieken vertonen laagafhankelijke biases die vergelijking tussen lagen onbetrouwbaar maakt.
Inefficiënte Budgetallocatie: Het alloceren van pruning-budgetten op basis van grove expert-rangschikkingen leidt tot verspilling van capaciteit aan structuren met een lage bijdrage en slaagt er niet in de trade-off tussen compressie en nauwkeurigheid te optimaliseren in grootschalige MoEs met honderden experts.

2. Methodologie

De auteurs stellen een structureel pruning-framework voor dat specifiek is afgestemd op MoEs, bestaande uit drie kerncomponenten: Attribution-Guided Loss Approximation (ALA), Coverage-Maximized Budget Allocation (CBA), en Alignment-Aware Redistribution (AAR).

2.1 Attribution-Guided Loss Approximation (ALA)

Om de hoge kosten van expert-gewijze ablatie (die lineair schaalt met het aantal experts) aan te pakken, leiden de auteurs een efficiënte proxy af voor expert-belangrijkheid met behulp van een eerste-orde Taylor-expansie.

Afleiding: De verandering in loss veroorzaakt door het verwijderen van een expert $e$ wordt benaderd als $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$ , waarbij $z_{\ell,e}$ de expert-output is en $\frac{\partial L}{\partial z_{\ell,e}}$ de gradiënt met betrekking tot die output.
Efficiëntie: Dit maakt het mogelijk om de belangrijkheid van alle experts in een laag te schatten via een enkele backward pass, wat de kalibratietijd met 14–26 $\times$ vermindert ten opzichte van uitputtende ablatie.

2.2 Coverage-Maximized Budget Allocation (CBA)

Geïnspireerd door de observatie dat informatie in MoE-experts sterk geconcentreerd is in een klein deel van de kanalen, herformuleren de auteurs het pruning-doel. In plaats van een vaste pruning-ratio per expert toe te wijzen, is het doel om de cumulatieve kanaalscore-dekking te maximaliseren onder een globaal budget.

Mechanisme: Kanalen binnen elke expert worden gesorteerd op hun scores (afgeleid van ALA). Het algoritme zoekt naar een doel-dekkingsratio $\rho$ voor elke expert, zodanig dat het totale aantal behouden kanalen voldoen aan het globale pruning-budget terwijl de som van de behouden kanaalscores wordt gemaximaliseerd.
Voordeel: Deze aanpak geeft prioriteit aan het behouden van kanalen met een hoge bijdrage en pruneert agressief de staarten met lage scores, waardoor het verspillen van capaciteit aan redundante structuren wordt voorkomen dat uniforme of ratio-gebaseerde methoden veroorzaken.

2.3 Alignment-Aware Redistribution (AAR)

Om compatibiliteit met low-bit kwantisatie en hardware-efficiënte kernels (bijv. GEMM) te garanderen, moeten kanaaldimensies veelvouden zijn van een blokgrootte $a$ (bijv. 64 of 128).

Proces: Nadat CBA het optimale aantal kanalen heeft bepaald, voert AAR een neerwaartse uitlijning uit naar het dichtstbijzijnde veelvoud van $a$ . De "resterende" kanalen die door deze afronding vrijkomen, worden herverdeeld naar experts met de grootste fractionele remainder (met behulp van de Hamilton-regel voor de grootste remainder).
Doel: Dit zorgt ervoor dat het geprunede model aan de kernel-beperkingen voldoet zonder significante afwijking van de optimale dekking-gebaseerde allocatie, wat prestatieverlies door padding of inefficiënte geheugentoegang voorkomt.

3. Belangrijkste Bijdragen

Observatie van Interne Redundantie: Het artikel toont aan dat MoE-informatie sterk geconcentreerd is in een klein deel van de kanalen, waardoor expert-niveau belangrijkheidsmetrieken te grof zijn voor effectieve structurele compressie.
Nieuw Pruning-doel: De auteurs introduceren kanaalscore-dekking als een pruning-doel, waarbij de capaciteitsallocatie wordt geherformuleerd om de dekking te maximaliseren onder een globaal budget. Dit is het eerste werk dat expliciet optimaliseert voor score-dekking in plaats van eenvoudige pruning-ratio's.
Efficiënt Framework: Ze stellen een schaalbaar framework voor dat combineert:
- ALA: Een attributie-gebaseerde benadering voor de schatting van expert-belangrijkheid die GPU-uren met 20 $\times$ vermindert vergeleken met ablatie.
- CBA: Een via binaire zoekopdrachten gebaseerd algoritme om budgetten toe te wijzen die de score-dekking maximaliseren.
- AAR: Een herverdelingsstrategie om aan de eisen van low-bit kernels te voldoen.
Empirische Validatie: Uitgebreide experimenten op DeepSeek en Qwen MoE-architecturen laten zien dat de methode een compressie van meer dan 5 $\times$ bereikt met een verwaarloosbaar verlies aan nauwkeurigheid op algemene kennis-taken en een sterke prestatie behoudt op redeneer-benchmarks.

4. Experimentele Resultaten

Het framework werd geëvalueerd op DeepSeek-MoE-16B, DeepSeek-V2-Lite, Qwen1.5-MoE-A2.7B en Qwen3-30B-A3B.

Algemene Kennis: Onder een 25% pruning-ratio gecombineerd met 4-bit kwantisatie ( $P25\% Q4b$ ), bereikte de methode een opslagreductie van meer dan 5 $\times$ . Op Qwen3-30B-A3B werd de geheugenvoetafdruk met 5,27 $\times$ verminderd (van 61,06 GB naar 11,64 GB) met een gemiddelde daling in nauwkeurigheid van maximaal 1% op algemene benchmarks (bijv. MMLU, ARC).
Redeneertaken: Op redeneer-benchmarks (GSM8K, MATH500) benaderden de gecomprimeerde modellen consequent hun originele tegenhangers of overtroffen deze zelfs. Zo behield Qwen3-30B-A3B onder 50% pruning een score van 94,5 op MATH500 (vergeleken met de baseline van 92,8).
Efficiëntie: De methode presteerde beter dan state-of-the-art baselines (inclusclusief Wanda, MoNE, EAC-MoE en PuzzleMoE) over diverse benchmarks. Het demonstreerde ook robuuste prestaties onder verschillende routing-strategieën (top-1 tot top-6) en kalibratie-corpora.
Doorvoersnelheid (Throughput): Alignment-aware herverdeling verbeterde de inferentie-doorvoersnelheid aanzienlijk. Voor Qwen3-30B-A3B leverden uitgelijnde dimensies (128) 14,21 tokens/s op vergeleken met 10,23 tokens/s voor niet-uitgelijnde dimensies onder 50% sparsity.

5. Betekenis en Claims

Het artikel claimt een praktisch pad naar efficiënte MoE-implementatie te bieden door de mismatch tussen expert-niveau belangrijkheid en interne kanaal-redundantie aan te pakken.

Schaalbaarheid: Door exhaustieve ablatie te vervangen door een attributie-gebaseerde benadering, is de methode schaalbaar naar MoEs met honderden experts, een regime waar eerdere loss-gebaseerde methoden computationeel onhaalbaar waren.
Fijnmazige Optimalisatie: De verschuiving van expert-niveau pruning naar kanaal-niveau dekking-maximalisatie maakt een preciezere capaciteitsallocatie mogelijk, waarbij cruciale informatie behouden blijft terwijl ruis wordt verwijderd.
Hardware Compatibiliteit: De integratie van alignment-aware herverdeling zorgt ervoor dat de gecomprimeerde modellen niet alleen kleiner zijn, maar ook compatibel zijn met low-bit kwantisatie en high-throughput inferentie-kernels, wat een kritieke bottleneck in real-world implementaties aanpakt.

De auteurs positioneren dit werk als een fundamentele stap in het verplaatsen van MoE-compressie van grove, expert-niveau beslissingen naar fijnmazige, kanaal-niveau optimalisatie, wat de implementatie van grootschalige MoE-modellen met aanzienlijk verminderde geheugen- en rekenvereisten mogelijk maakt.