🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE is een taakgestuurd expert-pruning-framework voor Sparse Mixture-of-Experts LLM's dat intra-layer expert-coöperatie modelleert als een coöperatief spel om essentiële collaboratieve deelverzamelingen te identificeren en te behouden via Shapley-stijl attributie, waardoor de geheugenvoetafdruk wordt verminderd terwijl de nauwkeurigheid behouden blijft zonder extra training.

Oorspronkelijke auteurs: Yuhao Zhang

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuhao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, krachtige keuken voor (een Large Language Model) die ontworig is om complexe antwoorden te bereiden. In plaats van één grote chef die alles doet, gebruikt deze keuken een Mixture-of-Experts (MoE) systeem. Denk aan een team van 100 gespecialiseerde sous-chefs (de "experts").

Wanneer een klant een gerecht bestelt (een prompt), kijkt een hoofdwaiter (de "router") naar de bestelling en kiest de top 3 chefs uit om er samen aan te werken. De magie is dat de keuken niet alle 100 chefs tegelijkertijd nodig heeft; het gebruikt alleen de specifieke 3 die op dat moment nodig zijn. Dit maakt de keuken zeer snel en efficiënt.

Het Probleem: De "Memory Wall"
Hoewel er op elk gegeven moment slechts 3 chefs aan het koken zijn, moet de eigenaar van de keuken alle 100 chefs in de kamer houden, volledig aangekleed en klaar om te gaan. Waarom? Omdat de waiter elke volgende bestelling een van hen nodig kan hebben.

Het Probleem: Als je een keuken met 100 chefs hebt, heb je een enorme, dure ruimte (GPU-geheugen) nodig om iedereen in te passen. Dit maakt het onmogelijk om deze krachtige keukens in kleinere, goedkopere ruimtes te draaien (zoals een enkele laptop of een kleine server).
De Oude Oplossing: Eerdere pogingen om de keuken te verkleinen waren als een manager die zegt: "Laten we de chefs ontslaan die deze week niet veel hebben gekookt." Dit is gebrekkig, want een chef wordt misschien niet vaak opgeroepen, maar wanneer diegene wel samen met een specifieke partner werkt, creëert diegene een meesterwerk. Het ontslaan van hen verbreekt die speciale teamwork.

De Oplossing: SHAPE (De Teamwork Detective)
Het paper introduceert SHAPE, een nieuwe manier om de keuken te verkleinen zonder het eten slechter te maken. In plaats van alleen te tellen hoe vaak een chef wordt opgeroepen, kijkt SHAPE naar hoe goed ze samenwerken.

Zo werkt SHAPE, met behulp van een eenvoudige analogie:

De "Game" Observatie: SHAPE observeert de keuken gedurende een korte tijd (met behulp van een kleine "kalibratieset" aan bestellingen). Het kijkt niet alleen wie er wordt opgeroepen; het kijkt naar welke groepen van 3 chefs samen worden opgeroepen en hoe vaak die groepen slagen.
De "Shapley" Score (Rechtvaardigheid): Stel je voor dat een groep van 3 chefs een perfect gerecht bereidt. Hoeveel credit krijgt elke chef?
- Als Chef A geweldig is alleen, maar Chef B nutteloos is zonder Chef C, dan kan een simpele telling dit missen.
- SHAPE gebruikt een wiskundig concept genaamd Shapley Value (denk aan een "rechtvaardigheidscalculator"). Het vraagt: "Als we Chef A uit deze specifieke trio verwijderen, valt het gerecht dan uit elkaar?"
- Als het gerecht uit elkaar valt, is Chef A essentieel voor dat team, zelfs als ze niet de meest beroemde chef zijn.
- Als het gerecht hetzelfde smaakt zonder Chef A, dan is Chef A redundant (overbodig) en kan diegene worden ontslagen.
De "Quality Coverage" Regel: SHAPE ontslaat niet zomaar de onderste 20% van de chefs op basis van een enkele score. Het zorgt ervoor dat elke "vloer" van de keuken (elke laag van het model) genoeg chefs behoudt om de belangrijkste teamwork-combinaties te dekken. Het gebruikt een "bisection" methode (een slim gokspelletje) om het perfecte aantal chefs te vinden om te behouden, zodat de keuken klein blijft maar nog steeds 99% van dezelfde gerechten perfect bereidt.

De Resultaten
De onderzoekers hebben dit getest op drie verschillende moderne "keukens" (Qwen, GPT-OSS en DeepSeek).

De Uitkomst: Ze waren in staat om 20% tot 40% van de chefs te ontslaan (waardoor de benodigde geheugenruimte aanzienlijk werd verminderd) zonder dat het eten slechter smaakte.
Waarom het werkte: Door de chefs te behouden die essentieel zijn voor teamwork in plaats van alleen de chefs die druk zijn, bleef de keuken stabiel.
De Bonus: Omdat ze zoveel chefs hebben ontslagen, werd de ruimte (GPU-geheugen) die nodig is om de keuken te draaien veel kleiner, wat het mogelijk maakt om deze krachtige modellen op minder dure hardware te draaien.

In een Notendop
SHAPE is als een slimme manager die beseft dat het ontslaan van de "stille" chef die de geheime lijm van een winnend team is, een slechte strategie is. In plaats daarvan ontslaat het de "luide" chefs die gemakkelijk vervangbaar zijn. Dit verkleint de omvang van het team en de kantoorruimte die nodig is, terwijl de kwaliteit van het werk exact hetzelfde blijft.

Technische Samenvatting: SHAPE – Coalitie-bewuste Expert Pruning voor Sparse Mixture-of-Experts LLM's

1. Probleemstelling

Sparse Mixture-of-Experts (SMoE) architecturen zijn cruciaal geworden voor het schalen van Large Language Models (LLM's) naar honderden miljarden of biljoenen parameters, terwijl ze een sub-lineaire trainingskosten en lage per-token inferentielatentie behouden. Echter, de implementatie van deze massieve modellen staat voor een kritieke "Memory Wall". Hoewel conditionele berekening ervoor zorgt dat slechts een sparse subset van experts actief is per token, moet de volledige expert-pool in het GPU-geheugen aanwezig blijven om dynamische, token-afhankelijke routing-beslissingen te ondersteleunen. Deze vereiste creëert een prohibitieve geheugenvoetafdruk (bijv. terabytes aan VRAM voor modellen zoals DeepSeek-V3.2), wat hun bruikbaarheid in omgevingen met beperkte middelen beperkt.

Bestaande compressiestrategieën, zoals expert pruning, beogen de parametervoetafdruk te verkleinen door redundante experts te verwijderen. Huidige pruning-methodologieën lijden echter aan een fundamentele modelleringskloof: ze hanteren voornamelijk een expert-gewijs perspectief, waarbij experts onafhankelijk worden gescoord op basis van metrieken zoals activatiefrequentie of gating-magnitude. Deze aanpak negeert de inherente coalitiestructuur van MoE-inferentie, waarbij de output van het model wordt gegenereerd door een niet-lineaire compositie van een specifieke top- $k$ coalitie van experts. Bijgevolg brengt onafhankelijke scoring het risico met zich mee dat hoogwaardige samenwerkingen tussen experts worden ontmanteld, wat leidt tot disproportionele prestatievermindering op complexe taken, zelfs als individuele experts in isolatie redundant lijken.

2. Methodologie: SHAPE Framework

De auteurs stellen SHAPE voor (Shapley-gestuurde, Coalition-Aware Expert Pruning), een taakgestuurd framework dat expliciet de intra-layer expert-coöperatie modelleert. SHAPE opereert zonder hertraining en vertrouwt op een kleine kalibratieset om pruning-beslissingen te sturen. De methodologie bestaat uit drie kerncomponenten:

A. Taakgestuurde Kalibratie en Routing Traces

SHAPE voert een offline pass uit op een kleine, taakspecifieke kalibratiedataset ( $D_{cal}$ ) met behulp van het onveranderde model. Het legt de routing-beslissingen (top- $k$ expert-selecties) vast voor elk token over alle MoE-lagen. Dit levert een set geobserveerde expert-combinaties (coalities) en hun activatiefrequenties op, die dienen als empirische statistieken die de taak-geconditioneerde expert-coöperatie karakteriseren.

B. Coalitie-gebaseerde Nut en Shapley-stijl Waardering

In plaats van experts als onafhankelijke eenheden te behandelen, formuleert SHAPE het inferentieproces als een empirisch coöperatief spel.

Definitie van Nut: Het nut van een coalitie (een specifieke set van $k$ experts) wordt gedefinieerd door de geobserveerde activatiefrequentie op de kalibratieset.
Marginale Bijdrage: Om de waarde van een expert te bepalen, schat SHAPE de marginale bijdrage van deze aan het nut van de coalitie. Omdat het verwijderen van een expert uit een top- $k$ coalitie resulteert in een $(k-1)$ -subset die niet direct geobserveerd wordt onder top- $k$ routing, benadert SHAPE de utiliteit van deze sub-coalities met behulp van co-occurrence statistieken.
Shapley-stijl Benadering: Het framework berekent een Shapley-stijl score ( $\phi$ ) voor elke expert. Deze score middelt de marginale bijdrage van de expert over alle coalities waar hij deel van uitmaakt, gewogen door de grootte van de coalitie.
Monotoniciteit Correctie: Om te garanderen dat de benadering voldoet aan de monotoniciteitseis van coöperatieve spellen (d.w.z. dat het nut van een coalitie niet lager mag zijn dan dat van haar sub-coalities), introduceert SHAPE een conservatieve schaalfactor ( $\alpha$ ) afgeleid van geobserveerde frequenties. Dit voorkomt de overschatting van de vervangbaarheid van experts.

C. Shapley Quality Coverage Selectie

Om te bepalen welke experts behouden moeten blijven, gebruikt SHAPE een quality-coverage selectieregel in plaats van een eenvoudige telling op basis van een drempelwaarde.

Layer-wise Coverage: Voor elke laag sorteert het framework experts op basis van hun niet-negatieve Shapley-scores. Het selecteert de minimale subset van experts zodanig dat hun cumulatieve Shapley-massa een fractie $\alpha$ van de totale laag-bijdrage dekt.
Global Budget Matching: Een binaire zoekmethode (bisection) wordt gebruikt om de optimale dekking-drempelwaarde $\alpha$ te vinden die voldoet aan een globale doel-keep-rate (bijv. het behouden van 60% of 80% van de experts).
Structurele Preservatie: Deze aanpak zorgt ervoor dat lagen met een sterk geconcentreerde waarde minder experts behouden, terwijl lagen met diffuse bijdragen meer experts behouden, waardoor "layer collapse" wordt voorkomen waarbij pruning disproportioneel specifieke lagen aantast.

3. Belangrijkste Bijdragen

Coalitie-gebaseerde Expert Waardering: Het artikel herformuleert MoE pruning van onafhankelijke belangstelling naar coalitie-bewuste bijdragemodellering. Het introduceert een principieel mechanisme met behulp van Shapley-waarden om de bijdragen van experts toe te schrijven, geconditioneerd op gerouteerde coalities, waarbij onderscheid wordt gemaakt tussen veelgekozen experts en experts die essentieel zijn voor hoogwaardige samenwerkingen.
Structuur-preserverende Pruning Strategie: SHAPE stelt een topologie-bewust selectiemechanisme voor dat de layer-wise coöperatieve capaciteit behoudt. Door een quality-coverage constraint af te dwingen op basis van de cumulatieve Shapley-waarde, voorkomt het structurele wanbalans die wordt veroorzaakt door globale rangschikking of vaste per-layer aantallen.
Empirische Validatie: Uit uitgebreide experimenten blijkt dat het behouden van expert-coöperatie cruciaal is voor effectieve compressie. Het framework bereikt significante pruning (tot 40%) met een verwaarloosbare prestatievermindering op reasoning-intensieve benchmarks, waarbij het zowel heuristische baselines als state-of-the-art training-free pruning-methoden overtreft.

4. Experimentele Resultaten

De auteurs hebben SHAPE geëvalueerd op drie moderne MoE backbones: Qwen3-30B-A3B, GPT-OSS-20B, en DeepSeek-V2-Lite. De evaluatie omvatte diverse benchmarks, waaronder wiskundig redeneren (GSM8K, MATH-500), code generatie (HumanEval), kennis QA (GPQA-Diamond) en medische QA.

Prestatiebehoud: Onder een 20% pruning ratio behield SHAPE prestaties die vergelijkbaar met, en in sommige gevallen zelfs iets beter dan, de onveranderde baselines waren. Bij een 40% pruning ratio presteerde SHAPE consistent beter dan baseline methoden (inclusief random pruning, frequency-based, gating-based, RAEP, en EASY-EP), met name op reasoning-intensieve taken waar expert-coöperatie cruciaal is.
Robuustheid: Hoewel reasoning-taken (bijv. GSM8K, GPQA-Diamond) een hogere gevoeligheid vertoonden voor pruning, behield de coalitie-bewuste aanpak van SHAPE de nauwkeurigheid aanzienlijk beter dan expert-gewijze heuristieken. Grotere modellen (Qwen3, GPT-OSS) vertoonden een grotere veerkracht, maar SHAPE bleef effectief, zelfs op het compactere DeepSeek-V2-Lite.
Geheugenefficiëntie: Pruning verminderde direct de piek GPU-geheugengebruik. De studie benadrukte dat het serveren van de volledige expert-pool een aanzienlijke geheugenoverhead met zich meebrengt, ongeacht de activatie-schaarsheid. SHAPE maakte duidelijke reducties in VRAM-gebruik mogelijk (proportioneel aan de pruning-ratio) zonder extra training of architecturale wijzigingen.
Ablatie Studies: Vergelijkingen met globale rangschikking en layer-wise onafhankelijke pruning bevestigden dat de quality-coverage constraint essentieel is. Globale pruning leidde tot structurele wanbalans, terwijl layer-wise pruning er niet in slaagde rekening te houden met de taak-specifieke capaciteitsverdeling. De gebalanceerde aanpak van SHAPE leverde de meest stabiele prestaties op over alle pruning-ratio's.

5. Betekenis en Claims

Het artikel claimt dat SHAPE een kritieke beperking in huidige MoE-compressie aanpakt: het falen om rekening te houden met de coöperatieve aard van expert-inferentie. Door de focus te verschuiven van individuele expert-metrieken naar coalitie-nut, biedt SHAPE een robuuste, training-vrije oplossing voor het implementeren van massieve MoE-modellen in omgevingen met beperkte geheugenbronnen.

De auteurs benadrukken dat hun werk geen hertraining of architecturale modificatie vereist, wat het een praktische, implementatie-georiënteerde optimalisatie maakt. De resultaten suggereren dat een aanzienlijk deel van de expert-pool in moderne MoE-modellen een beperkte marginale utiliteit heeft wanneer deze in isolatie wordt beschouwd, maar dat de structuur van hun samenwerking juist is wat de modelprestaties in stand houdt. SHAPE identificeert en bewaart deze cruciale collaboratieve structuren succesvol, wat een gunstige afweging mogelijk maakt tussen modelcapaciteit en de footprint van de middelen. De open-source code wordt verstrekt om verdere research en toepassing in dit domein te faciliteren.