🤖 AI

Depth-Aware Sensitivity Analysis of Mixture-of-Experts Models via Magnitude-Based Expert Masking

Dit artikel presenteert een systematische sensitiviteitsanalyse van het Qwen3.6-35B-A3B Mixture-of-Experts-model, die onthult dat laagsensitiviteit sterk diepteafhankelijk is en aantoont dat agressieve maskering van experts met een lage magnitude in de latere lagen aanzienlijk beter presteert dan uniforme maskering bij het behouden van de outputkwaliteit, terwijl het efficiënte modelcompressie mogelijk maakt.

Oorspronkelijke auteurs: Pradeep Kumar Sharma, Shantanu Godbole, Hritvik Shrivastava

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pradeep Kumar Sharma, Shantanu Godbole, Hritvik Shrivastava

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt gebouwd om puzzels op te lossen, code te schrijven en talen te vertalen. Dit brein bestaat niet uit één groot, zwaar blok metaal; in plaats daarvan is het gebouwd als een enorme fabriek met honderden gespecialiseerde werkstations. Dit is de wereld van Large Language Models (LLMs), de AI-motoren die alles aandrijven, van chatbots tot programmeerassistenten. Om deze breinen snel en efficiënt te maken, gebruiken ingenieurs een truc genaamd Mixture-of-Experts (MoE). Denk aan het als een gigantisch team van 256 verschillende "experts" in elke kamer van de fabriek. Wanneer er een vraag binnenkomt, beslist een slimme manager (een "router" genoemd) welke paar experts nodig zijn om die specifieke taak op te lossen, terwijl de rest van het team een koffiepauze neemt. Dit houdt de robot snel omdat hij alleen de werkers wakker maakt die hij daadwerkelijk nodig heeft.

Maar hier komt de grote vraag: zijn al die werkers wel even belangrijk? Als je de fabriek zou moeten verkleinen om ruimte en elektriciteit te besparen, zou je dan zomaar 30% van de werkers in elke kamer willekeurig kunnen ontslaan? Of is er een geheim patroon? Wetenschappers hebben erover geraden, maar ze hadden geen duidelijke kaart van welke delen van het brein kwetsbaar zijn en welke robuust zijn. Het begrijpen hiervan is essentieel, want deze modellen worden steeds groter, en als we de onnodige onderdelen veilig kunnen "prunen" (verwijderen), kunnen we ze sneller laten draaien op goedkopere computers, wat energie en geld bespaart zonder hun intelligentie te verliezen.

De Grote Fabrieksaudit: Wie Kunnen We Laten Gaan?

In dit artikel besloot een team van onderzoekers van Persistent Systems een spel met hoge inzet te spelen: "de stekker eruit trekken" bij een specif kind specifiek, massief AI-model genaamd Qwen3.6-35B-A3B. Dit model is een beest: het heeft 40 lagen (denk aan 40 verdiepingen in een wolkenkrabberfabriek), en op elke verdieping zijn er 256 experts. Elke keer dat het model een woord verwerkt, kiest het de bovenste 8 experts om het werk te doen.

De onderzoekers wilden weten: als we het model dwingen om de "zwakste" experts (degenen met de kleinste getallen in hun brein) in bepaalde lagen te negeren, stort het model dan in, of blijft het werken? Ze testten dit op een lastige taak: het vertalen van code van de ene programmeertaal naar de andere (zoals C++ naar Python converteren), met behulp van een benchmark genaamd XLCoST.

De Ontdekking: Het Komt Aan op Waar Je Snijdt

Het team probeerde experts op verschillende manieren te snijden, zoals een chirurg die verschillende incisieplaatsen test. Ze hadden drie hoofdtheorieën:

De "Flat Cut" Theorie: Snijd gewoon 30% van de zwakste experts van elke verdieping, overal.
De "Early Cut" Theorie: Misschien zijn de onderste verdiepingen het belangrijkst?
De "Late Cut" Theorie: Misschien herhalen de bovenste verdiepingen gewoon wat de onderste verdiepingen al hebben gedaan?

De resultaten waren een totale schok voor het "Flat Cut"-idee.
Toen ze de Flat Cut probeerden (het verwijderen van 30% van de experts van alle 40 verdiepingen), vergat het model eigenlijk hoe het zijn werk moest doen. Van de 300 programmeerpuzzels kreeg het er slechts 150 goed (of "Goed/Vergelijkbaar"). Het begon te hallucineren, liet zijn interne denkproces lekken in de uiteindelijke code en maakte syntactische fouten. Het was also[n] 30% van het personeel te ontslaan in de fundering, de middenkant en de bovenste verdieping tegelijk — het hele gebouw begon te wankelen.

Maar toen vonden ze de "Magic Zone".
De onderzoekers ontdekten dat de gevoeligheid van het model drastisch verandert afhankelijk van op welke verdieping je je bevindt:

Verdiepingen 0–9 (De Fundering): Deze zijn super kwetsbaar. Als je experts hier weg snijdt, stort het model direct in.
Verdiepingen 10–29 (Het Midden): Ook zeer kwetsbaar.
Verdiepingen 30–39 (De Penthouse): Deze bovenste verdiepingen zijn verrassend sterk! De experts hier lijken veel overlappend werk te doen. De "router" (de manager) is hier al verward en kiest experts met een zeer laag vertrouwen, wat betekent dat de experts enigszins uitwisselbaar zijn.

De Winnenstrategie: De "Top-Down" Trim

Het team voerde een enorme experiment uit met 300 prompts om het perfecte trimschema te vinden. Ze ontdekten dat als je je snijwerk alleen op de bovenste verdiepingen richt, het model gezond blijft.

De "Late Ramp" Strategie: Ze sneden 35% van de experts op de verdiepingen 30–34, en 55% op de allerhoogste verdiepingen (35–39).
Het Resultaat: Van de 300 prompts hield deze strategie 255 outputs correct! Dat is veel beter dan de flat cut, en het verwijderde meer dan 1.100 experts.

Maar wacht, ze stopten daar niet. Ze wilden zeker weten dat dit geen gelukje was, dus testten ze hun beste ideeën op een nieuwe, ongeziene set van 500 prompts. Dit is waar het verhaal nog interessanter werd.

Op de grotere test was de "Late Ramp" nog steeds goed, maar een nauwere strategie won de prijs:

De "Very-Late Only" Strategie: Ze raakten alleen de bovenste 5 verdiepingen (35–39) aan en sneden 50% van de experts daar weg.
Het Resultaat: Deze kleine, chirurgische aanval hield 419 van de 500 outputs perfect werkend! Nog beter, het verwijderde in totaal slechts 640 experts (van de in totaal 10.240 experts in het hele model).

Dit betekent dat de onderzoekers een manier hebben gevonden om een aanzienlijk deel van de "spieren" van het model van de absolute top te verwijderen, en het model merkte het nauwelijks op. Het is also[n] beseffen dat de bovenste 5 verdiepingen van een wolkenkrabber vooral decoratieve balkons zijn; je kunt de helft van de reling verwijderen en het gebouw staat nog steeds even hoog.

Een Zijstap: Het "Denken" vs. "Antwoorden" Mysterie

Het team probeerde ook te zien of het model verschillende experts gebruikt wanneer het "denkt" (nadenkt over een probleem) versus wanneer het "antwoordt" (de uiteindelijke code schrijft). Ze keken naar een iets oudere versie van het model (Qwen3.5) om te zien of ze een verschil konden spotten.
Ze ontdekten dat tijdens de "denkfase" het model een brede, rommelige menigte experts gebruikt. Maar wanneer het tijd is om te "antwoorden", wordt het gefocuster en gebruikt het minder experts. Dit suggere than als we het model in de toekomst willen snoeien, we voorzichtig moeten zijn dat we de "denk-experts" niet wegknippen, zelfs als ze op papier zwak lijken. De auteurs benadrukken echter dat dit slechts een hint is voor de toekomst, en geen bewezen regel.

Wat betreft Snelheid?

Ze probeerden ook een andere truc: in plaats van experts te snijden, zeiden ze tegen het model dat het gewoon 6 experts moet kiezen in plaats van de gebruikelijke 8 voor elk woord. Op een kleine test van 100 prompts maakte dit het model veel sneller (minder "wall-clock time") zonder kwaliteitsverlies. Maar, toen ze deze versnelling combineerden met het agressieve expert-snijden, raakte het model in de war. Het lijkt erop dat je deze shortcuts niet zomaar op elkaar kunt stapelen zonder ze zorgvuldig te testen.

De Kern van het Verhaal

De belangrijkste les van dit artikel is een duidelijke "Niet Doen" voor uniforme pruning en een "Doe Dit" voor slimme pruning.

Doe niet simpelweg 30% van de experts uit elke laag gelijkmatig weg; het vernietigt het vermogen van het model om na te denken.
Focus je snijwerk op de bovenste lagen (verdiepingen 35–39). Het model is verrassend tolerant voor het verlies van de helft van zijn experts daar.

De auteurs merken er voorzichtig bij op dat ze de gewichten nog niet echt uit het geheugen van de computer hebben verwijderd (ze hebben de router alleen verteld ze te negeren). Dus hoewel het model zich gedraagt als een kleiner en efficiënter model, neemt het nog steeds evenveel ruimte in op de harde schijf. De volgende stap, die zij voorstellen voor toekomstig werk, is om daadwerkelijk "fysieke gewichtschirurgie" uit te voeren om die ongebruikte experts permanent te verwijderen en zo echte opslagruimte te besparen.

Kortom, de onderzoekers hebben ontdekt dat het "brein" van dit AI-model een heel specifiek zwak punt heeft: de bovenste verdiepingen zijn veel redundanter dan de onderste. Door de top te trimmen, kunnen we mogelijk kleinere, snellere en goedkopere AI-modellen bouwen zonder ze kapot te maken.

Technische Samenvatting: Dieptebewuste Sensitiviteitsanalyse van Mixture-of-Experts Modellen via Groottegebaseerde Expert-Maskering

Probleemstelling

Hoewel Mixture-of-Experts (MoE) architecturen het mogelijk maken om Large Language Models (LLMs) te schalen met ijle activatie (sparse activation), blijft de relatieve belangrijkheid van individuele MoE-lagen onvoldoende gekarakteriseerd, met name voor modelcompressie. Bestaande literatuur over pruning richt zich grotendeels op dichte modellen of past globaal uniforme sparsity-schema's toe, waarbij geen rekening wordt gehouden met het feit dat de gevoeligheid voor het verwijderen van experts systematisch varieert met de diepte van de laag. Dit artikel adresseert de kloof in het begrip van de vraag of specifieke diepteregio's in grootschalige MoE-systemen minder redundant zijn dan andere, en of agressieve expert-verwijdering selectief kan worden toegepast zonder de outputkwaliteit te verslechteren.

Methodologie

De auteurs hebben een systematische, meerfasige empirische studie uitgevoerd met behulp van het Qwen3.6-35B-A3B model, dat beschikt over 40 MoE-lagen, 256 experts per laag en top-8 routing. De evaluatie werd uitgevoerd op de XLCoST cross-linguale code-translatie benchmark.

Experimenteel Framework

Scaling: De studie besloeg drie evaluatieschalen: 100 prompts (regionale ablaties), 300 prompts (beleidsontdekking) en 500 prompts (held-out validatie).
Hardware: De experimenten draaiden op NVIDIA H100 80GB HBM3 GPU's, waarbij elke run geïsoleerd werd naar een specifiek paar van twee GPU's. De precisie werd ingesteld op bfloat16.
Maskeringsmechanisme: De studie maakte gebruik van groottegebaseerde expert-maskering. Experts werden gerangschikt op basis van de L2-norm van hun feed-forward gewichts-tensoren. Geselecteerde experts met een lage magnitude werden uitgesloten door hun router-logits naar grote negatieve waarden te dwingen (Hard Masking) voorafgaand aan de top-k selectie, waardoor de interventie niet-destructief en omkeerbaar was.
Evaluatiemetrieken:
- Primaire Metriek: Een op de baseline gebaseerd scoresysteem dat outputs categoriseert als Goed (exacte match, syntactisch valide), Vergelijkbaar (syntactisch valide met genormaliseerde code-gelijkenis $\ge$ 0,85 ten opzichte van de baseline), of Slecht (ongeldig of afwijkend). De som van Goed + Vergelijkbaar (G+V) diende als de metriek voor kwaliteitsbehoud.
- Auxiliaire Analyse: Een auxiliary probe op een gerelateerd Qwen3.5 model isoleerde expertgebruik over de "prompt", "thinking" en "answer" fasen om fase-specifieke redundantie te onderzoeken.

Experimentele Fasen

Regionale Ablatie: Geïsoleerde maskering naar Vroege (0–9), Middelste (10–29) en Late (30–39) regio's om diepteafhankelijke sensitiviteit vast te stellen.
Discovery Sweep: Testte verschillende maskering-schema's (bijv. late ramps, gelaagde policies, globale budgetten) op de 30 van 300 prompts set.
Held-Out Validatie: Valideerde de beste frontier policies op een 500-prompt slice.
Reductie van de Routing-breedte: Testte onafhankelijk het reduceren van actieve experts van top-8 naar top-6.

Belangrijkste Resultaten

1. Diepteafhankelijke Sensitiviteit

De centrale bevinding is dat laag-sensitiviteit sterk diepteafhankelijk is:

Vroege (0–9) en Middelste (10–29) Lagen: Zeer fragiel voor expert-maskering. Het maskeren van deze regio's veroorzaakt significante degradatie in de outputkwaliteit.
Late (30–39) en Zeer-Late (35–39) Lagen: Substantieel toleranter voor agressieve maskering.
Routing-bewijs: Analyse van 208,5 miljoen router-events onthulde dat late lagen een "gecollapsteerde" routing-vertrouwen vertonen (top-1 marge daalt naar ~~0,006) en bijna maximale entropie (~~5,35), wat suggereert dat experts in deze lagen zeer uitwisselbaar zijn.

2. Prestaties van Maskerings-policies

Uniform vs. Dieptebewust: Een platte 30% all-layer maskering policy behield slechts 150/300 Goed+Vergelijkbaar outputs op de 300-prompt schaal. In contrast hiermee behielden late-gefocusseerde policies 249–255/300.
Discovery Sweep (300 Prompts): De "Late Ramp" policy (30–34 @ 35%, 35–39 @ 55%) bereikte de hoogste score (255/300 G+V) terwijl 1.145 experts werden gemaskeerd.
Held-Out Validatie (500 Prompts): De "Alleen Zeer-Late" policy (Lagen 35–39 @ 50%) kwam naar voren als de sterkste kandidaat, met een score van 419/500 G+V, terwijl slechts 640 experts werden gemaskeerd. Deze policy bood de beste trade-off tussen kwaliteit en aantal gemaskeerde experts op de grotere validatieset.

3. Reductie van de Routing-breedte

Het reduceren van actieve experts van 8 naar 6 per token (zonder expert-maskering) toonde een grote reductie in wall-clock tijd zonder verlies in Goed+Vergelijkbaar outputs op de 100-prompt probe. Echter, het combineren van deze reductie met agressieve expert-maskering resulteerde in een niet-additieve kwaliteitsregressie.

4. Auxiliaire Fase-analyse

De fase-gescheiden routing-analyse op Qwen3.5 gaf aan dat redeneerfasen brede expert-activatie gebruiken, terwijl de antwoordgeneratie schaarser is. Dit suggereert dat globaal weinig gebruikte experts fase-specifiek kunnen zijn, wat toekomstige fase-bewuste scoring motiveert, hoewel dit niet als causaal bewijs werd gebruikt voor de Qwen3.6 maskering-frontier.

Betekenis en Claims

Dit artikel legt een empirisch fundament voor dieptebewuste MoE expert-maskering. De primaire bijdragen zijn:

Verwerping van Uniform Pruning: Het aantonen dat een platte, all-layer maskering gedragsmatig onveilig is, zelfs wanneer het mechanisch geldig is, wat leidt tot ernstige semantische drift en "redeneringslekken" (reasoning leakage).
Identificatie van een Veilige Compressiezone: Het vaststellen dat de laatste MoE-lagen (specifiek 35–39) de dominante nabije doelwitten zijn voor compressie, die tot 50% expert-uitsluiting tolereren met minimaal kwaliteitsverlies.
Definitie van de Pareto-front: Het karakteriseren van de trade-off tussen kwaliteitsbehoud en het aantal gemaskeerde experts, waarbij wordt aangetoond dat smalle very-late policies efficiënter kunnen zijn dan bredere late-ramp policies.
Pad naar Fysieke Chirurgie: Het bieden van een methodologie voor "fysieke gewicht-chirurgie", waarbij deze maskering-policies kunnen worden omgezet in werkelijke checkpoint-modificaties om geheugen- en implementatiebesparingen te realiseren.

De auteurs concluderen dat hoewel er geen enkel universeel pruning-recept bestaat, het principe dat MoE expert-maskering sensitiviteit diepteafhankelijk is robuust is. Ze benadrukken dat toekomstig werk moet verschuiven van de maskering tijdens de inferentie naar fysieke gewichtsverwijdering en het integreren van training-gebaseerd herstel om de volledige voordelen van implementatie te realiseren.