Technische Samenvatting: Less is MoE: Trimming Experts in Domain-Specialist Language Models

Probleemstelling

Mixture-of-Experts (MoE) modellen zijn een dominant paradigma geworden voor het schalen van de capaciteit van taalmodellen, terwijl de efficiëntie van inferentie behouden blijft door middel van conditionele berekening. De enorme totale parameter-voetafdruk van deze modellen creëert echter aanzienlijke barrières voor implementatie met betrekking tot geheugen, opslag en serveerkosten.

Eerdere benaderingen voor het comprimeren van MoE-modellen opereren doorgaans op het expert-niveau, waarbij volledige experts worden verwijderd of samengevoegd op basis van heuristische belangrijkheidsmetrieken zoals activatiefrequentie, router-scores of gewichtsgrootte. De auteurs observeren dat deze methoden lijden onder catastrofale prestatie-instorting wanneer ze worden geëvalueerd op algemene benchmarks die verder gaan dan commonsense redeneren (bijv. wiskundig redeneren, codegeneratie en complexe redeneertaken). Het papier veronderstelt dat dit falen voortkomt uit twee factoren:

1. Onnauwkeurige Belangrijkheidsmetrieken: Bestaande heuristieken slagen er niet in om parameterbelangrijkheid correct in te schatten.
2. Grove Granulariteit: Compressie op expert-niveau gaat ervan uit dat capaciteiten gelokaliseerd zijn bij specifieke experts. In werkelijkheid beargumenteert het papier dat capaciteiten verdeeld zijn over experts, maar geconcentreerd zijn in een kleine subset van intermediaire dimensies binnen de Feed-Forward Networks (FFNs). Het verwijderen van een volledige expert werpt zowel redundante als kritieke dimensies tegelijkertijd weg.

Methodologie

1. Belangrijkheidstoeschrijving: Empirische Fisher-informatie

De auteurs stellen voor om Empirische Fisher-informatie te gebruiken als een superieure metriek voor het rangschikken van parameters. In tegen tegenoverstelling van activatieverhoudingen, router-scores of gewichtsgrootte, meet Fisher-informatie de gevoeligheid van de voorspellende distributie van het model voor perturbaties in specifieke parameters.

• Afleiding: De methode benadert de Fisher-informatie-matrix ($F_\theta$) met behulp van grondwaarheid-data uit een kalibratieset. Voor een MoE-expert $E_i$ met gewichten $W^{gate}_i, W^{up}_i, W^{down}_i$, wordt de Fisher-score berekend voor elke intermediaire dimensie $j$.
• Granulariteit: De auteurs breiden deze scoring uit naar het intermediaire dimensieniveau (rijen van $W^{gate}/W^{up}$ en kolommen van $W^{down}$), in plaats van het volledige expert- of router-niveau.
• Validatie: Empirisch bewijs toont aan dat Fisher-belangrijkheid alle baselines overtreft. Cruciaal is dat het op nul zetten van slechts 12 van de ~1,35 miljoen intermediaire dimensies die als "top" door Fisher-scores zijn geïdentificeerd, de prestaties van wiskundig redeneren (GSM8K/MATH) doet instorten naar bijna nul, terwijl feitelijke kennis grotendeels behouden blijft. Dit bevestigt dat Fisher succesvol een minuscule set taalkritieke dimensies identificeert.

2. Compressiestrategie: Fisher-MoE

Bouwend op de toeschrijvingsanalyse, stellen de auteurs Fisher-MoE voor, een fijnmazige compressiemethode die opereert binnen de FFN van elke expert in plaats van experts volledig te verwijderen.

• Mechanisme: Voor elke expert worden de intermediaire dimensies gerangschikt op basis van hun Fisher-scores. Het laagst scorende deel (bijv. 50%) wordt fysiek verwijderd door de gewichtsmatrices ($W^{gate}, W^{up}, W^{down}$) te herschalen.
• Allocatieregels: Het papier verkent drie budgetallocatiestrategieën:
  • IntDim-E: Houdt de top $(1-p)$ dimensies binnen elke expert.
  • IntDim-L: Voegt dimensies samen over alle experts in een laag en houdt de top $(1-p)$ per laag aan.
  • IntDim-G: Voegt dimensies samen over het hele model en houdt de top $(1-p)$ globaal aan.
• Preservatie: Deze aanpak behoudt het routinggedrag en het aantal actieve experts per token, maar vermindert de interne dimensionaliteit ($d_{ff}$) van de actieve experts.

Belangrijkste Bijdragen

1. Structureel Inzicht: Het papier identificeert een structurele eigenschap van MoE-modellen waarbij capaciteiten niet gelokaliseerd zijn op expert-niveau, maar in plaats daarvan geconcentreerd zijn in een kleine subset van intermediaire dimensies die over alle experts verspreid zijn. Dit verklaart het falen van expert-niveau compressie.
2. Fisher-belangrijkheid als Toeschrijvingsinstrument: De auteurs definiëren de intermediare dimensie als de toeschrijfbare eenheid en demonstreren dat Empirische Fisher-informatie een robuust instrument is om kritieke dimensies te onderscheiden van redundante dimensies, waarbij het prestaties op basis van activatie, router en magnitude overtreft.
3. Fisher-MoE Algoritme: Ze stellen een fijnmazige compressiemethode voor die FFN-matrices fysiek herschaalt op basis van Fisher-rangschikkingen. Deze methode bereikt hoge compressieratio's zonder de catastrofale uitval die wordt gezien bij expert-niveau pruning.

Resultaten

De auteurs evalueren Fisher-MoE op Qwen1.5-MoE-A2.7B, OLMoE-1B-7B, en grotere frontier-modellen (Qwen3-30B-A3B, Qwen3.5-35B-A3B) over acht algemene benchmarks (Kennis, Code, Redeneren, Wiskunde).

• Prestatiebehoud: Bij een 50% MoE-compressieratio (het verwijderen van 50% van de gerouteerde FFN-parameters):
  • Expert-niveau methoden (zelfs die Fisher-scores gebruiken) lijden onder catastrofale dalingen op GSM8K, HumanEval en MATH.
  • Fisher-MoE (IntDim-E) behoudt de downstream-prestaties, waarbij het capaciteiten in wiskunde en code-redeneren behoudt die expert-niveau methoden verliezen. In sommige gevallen (bijv. CEval, MultiArith) komt het overeen met of overtreft het zelfs het ongecomprimeerde basismodel.
  • Schaalbaarheid: Het voordeel houdt stand voor grotere modellen (30B+ parameters) en lange Chain-of-Thought (CoT) redeneertaken.
• Post-Training Herstel: Wanneer gevolgd door Supervised Fine-Tuning (SFT) op domeindata, herstelt Fisher-MoE de prestaties naar niveaus die concurrerend zijn met de ongecomprimeerde Base + SFT-plafond, terwijl expert-niveau methoden aanzienlijk gedegradeerd blijven.
• Implementatie-efficiëntie:
  • Geheugen: Vermindert het gewichtsgeheugen met ~45%.
  • Doorvoer: Verbetert de inferentie-doorvoer met 21% (1,21x versnelling) op H100 GPU's.
  • KV Cache: Vrijgekomen VRAM maakt een 33,7% toename van het KV-cachebudget mogelijk, wat de aanvraagcapaciteit vergroot.
• Compatibiliteit: Fisher-MoE combineert effectief met 4-bit kwantisatie (AWQ), wat de implementatievoetafdruk verder verkleint naar ~1/8e van de oorspronkelijke grootte zonder de kwantisatiegevoeligheid te versterken.
• Generalisatie: Modellen die gecomprimeerd zijn met wiskunde-gekalibreerde Fisher-scores (GSM8K) behouden sterke prestaties op out-of-domain taken (Kennis, Code, Redeneren), wat aangeeft dat de methode niet overmatig specialiseert naar het kalibratiedomein.

Betekenis en Claims

Het papier beweert dat de intermediare dimensie granulariteit de effectieve eenheid is voor zowel compressie als capaciteitsanalyse in MoE-modellen. De betekenis van het werk ligt in:

1. Herdefiniëren van Compressie Granulariteit: Het daagt de heersende aanname uit dat MoE-compressie op expert-niveau moet plaatsvinden, door aan te tonen dat fijnmazige trimming binnen experts noodzakelijk is om complexe redeneercapaciteiten te behouden.
2. Superieure Toeschrijving: Het vestigt Empirische Fisher-informatie als een cruciaal instrument om te begrijpen waar capaciteiten "leven" binnen de MoE-modellen, waarbij wordt onthuld dat kritieke parameters schaars en verspreid zijn.
3. Praktische Implementatie: Het biedt een praktisch pad om grote MoE-modellen te implementeren met aanzienlijk verminderde geheugen- en latentievereisten zonder de prestaties op te offeren die vereist zijn voor hoogwaardige taken zoals wiskunde en codegeneratie.

De auteurs merken bescheiden de beperkingen op, specifal dat zij vanwege computationele beperkingen geen 100B+ parameter backbones hebben onderzocht, noch uitgebreide post-training herstelstudies op diverse corpora hebben uitgevoerd om de resterende kloof tot ongecomprimeerde modellen volledig te karakteriseren. Deze worden geïdentificeerd als richtingen voor toekomstig werk.