Technische Samenvatting: Het Snoeien en Distilleren van Mixture-of-Experts naar Dichte Taalmodellen

Probleemstelling

Mixture-of-Experts (MoE)-architecturen zijn het dominante paradigma geworden voor geavanceerde grote taalmodellen (LLM's) vanwege hun vermogen om het totale aantal parameters te schalen terwijl de efficiëntie van training en levering behouden blijft. Er blijft echter een fundamentele beperking bestaan: ondanks dat slechts een fractie van de parameters per token wordt geactiveerd, vereisen MoE-modellen dat alle expertparameters in het geheugen worden geladen. Deze geheugenvoetafdruk maakt ze ongeschikt voor scenario's met geheugenbeperkingen, zoals inferentie op het apparaat of levering op één GPU.

Huidige oplossingen omvatten het vrijgeven van aparte kleine dichte modellen die van scratch worden getraind of via cascadesnoeiing van grote dichte leraren. Deze benaderingen zijn computergewijs duur en halen de rijke capaciteiten die al in het getrainde MoE-model aanwezig zijn, niet optimaal uit. Bestaande MoE-compressiemethoden (bijv. MC-SMoE, HC-SMoE) verminderen het aantal experts, maar behouden de schaarse MoE-structuur, waardoor de geheugeninefficiëntie behouden blijft. Er ontbreekt een systematisch kader voor het converteren van een getraind MoE-model naar een standaard, volledig dichte architectuur.

Methodologie

De auteurs presenteren het eerste systematische kader voor het converteren van een getraind MoE-taalmodel naar een volledig dichte architectuur via een drie-traps pipeline: Expert Scoring & Selectie, Groepering & Concatenatie, en Kennisdistillatie.

1. Expert Scoring en Selectie

De kern van de methode bestaat uit het scoren van alle $E$ experts in een laag om een subset van grootte $K$ te selecteren ($K \ge k$, waarbij $k$ het aantal actieve experts per token is). Het artikel evalueert zeven scoremethoden:

• Frequentie-gebaseerd: Selectiefrequentie (SF), Pre-selectie Kans (PP), Post-selectie Kans (PS). Deze geven de voorkeur aan generalistische experts.
• Conditionele Kans (CP): Richt zich op routingvertrouwen en geeft de voorkeur aan specialisten.
• Actie-gewogen CP (ACP): Combineert routingvertrouwen met de grootte van de output.
• D-Optimale Selectie (DO): Een nieuw criterium dat gezamenlijk de expertbelangrijkheid en wederzijdse diversiteit maximaliseert. Het selecteert een subset $S$ om de log-determinant van een belang-gewogen Gram-matrix te maximaliseren:
  $$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$$
  waarbij $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$. Dit wordt gulzig opgelost. De auteurs stellen DO-ACP (D-Optimale selectie gebaseerd op ACP-scores) voor als de optimale strategie.

2. Groepering en Concatenatie

Geselecteerde experts worden toegewezen aan $k$ groepen.

• Puur Snoeien ($K=k$): Elke groep bevat precies één expert; er vindt geen gewichtsgemiddelde plaats.
• Samenvoegen ($K>k$): Experts in een groep worden samengevoegd via score-gewogen middeling van hun parameters.
  De resulterende $k$ groepen worden geconcateneerd tot één enkele dichte Feed-Forward Network (FFN) met een tussenliggende dimensie $d_{dense} = k \times d_{expert}$. Down-projectiematrices worden geschaald met factoren $\alpha_g$ (uniform of evenredig) om het gemiddelde routinggedrag van de oorspronkelijke MoE te benaderen.

3. Kennisdistillatie

Het geïnitieerde dichte model wordt verfijnd via kennisdistillatie van de MoE-leraar. Het doel minimaliseert de voorwaartse KL-divergentie tussen de outputverdelingen van leraar en student. De auteurs verkennen ook het uitbreiden van de routing van de leraar tijdens de distillatie (activeren van $k' > k$ experts) om de student kennis bloot te stellen van niet-geselecteerde experts.

Belangrijkste Bijdragen

1. Eerste MoE-naar-Dicht Kader: Het artikel introduceert het eerste end-to-end systeem voor het converteren van een getraind MoE naar een volledig dichte architectuur, verdergaand dan de beperking van het produceren van kleinere schaarse MoE-modellen.
2. Diversiteitsbewuste Expertselectie: De auteurs introduceren een D-optimale selectiecriterium (DO-ACP) dat de log-determinant van een belang-gewogen Gram-matrix maximaliseert. Deze methode straalt redundantie expliciet af en selecteert experts die zowel belangrijk als divers zijn.
3. Uitgebreide Evaluatie: De studie evalueert 350 configuraties (7 scoring $\times$ 5 groepering $\times$ 2 schaling $\times$ 5 waarden van $K$) op Qwen3-30B-A3B en valideert de bevindingen op DeepSeek-V2-Lite en GPT-OSS-20B.

Resultaten

Prestaties op Qwen3-30B-A3B

• Dominantie van Scoring: De keuze van de scoremethode is de meest invloedrijke factor, wat een gat van 5,7 procentpunten (pp) in de gemiddelde downstream-nauwkeurigheid creëert tussen de beste en slechtste methoden. Groepeerstrategieën dragen slechts $\sim$1 pp bij.
• Superioriteit van DO-ACP: De DO-ACP-methode presteert consistent beter dan alle andere configuraties. Bij $K=8$ (puur snoeien) bereikt het 43,41% gemiddelde nauwkeurigheid op downstream-benchmarks (Winogrande, HellaSwag, ARC-E/C, MMLU).
• Puur Snoeien versus Samenvoegen: Voor diversiteitsbewuste scoring (DO-ACP, ACP) presteert puur snoeien ($K=k$) beter dan samenvoegen ($K>k$). Frequentie-gebaseerde methoden (SF) profiteren van samenvoegen, maar DO-ACP-experts zijn individueel sterk genoeg om alleen te staan.
• Vergelijking met Baselines:
  • vs. MoE-compressie: Presteert beter dan hergebruikte MoE-compressiemetrics (bijv. MC-SMoE, HC-SMoE) met 5,9–7,1 pp.
  • vs. Dicht-naar-Dicht (D2D) Snoeien: In een gecontroleerde vergelijking met een dichte leraar met overeenkomend aantal parameters (Qwen3-32B $\to$ 3,4B student), presteert MoE-naar-dicht (DO-ACP) beter dan D2D-snoeien met +6,3 pp (58,10% versus 51,84%) na $\sim$4B-token distillatie.
  • vs. Willekeurige Initialisatie: Presteert beter dan willekeurige FFN-initialisatie met +12,7 pp, wat aantoont dat de expertstructuur een krachtige initialisatie biedt.

Uitgebreide Training en Cross-Model Validatie

• Schalen: Het prestatievoordeel van DO-ACP blijft bestaan en verbreedt zich met uitgebreide training ($\sim$4B tokens).
• Generalisatie: De bevindingen generaliseren naar DeepSeek-V2-Lite (64 experts) en GPT-OSS-20B (32 experts). Hoewel het absolute gat tussen scoremethoden smaller wordt naarmate de grootte van het expertpool afneemt, blijft DO-ACP de beste performer.
• Efficiëntie: MoE-naar-dicht distillatie is 1,6$\times$ sneller in wandkloktijd dan D2D-snoeien, omdat de MoE-leraar tijdens de distillatiefase minder parameters per token activeert.

Kwalitatieve Analyse

Foutenanalyse op MMLU-taken met keten van redenering (chain-of-thought) onthult dat DO-ACP-modellen de laagste rates van catastrofale fouten (incoherentie, repetitieve lussen) en kennisfouten hebben in vergelijking met D2D- en frequentie-gebaseerde methoden. De diversiteitsbewuste selectie lijkt feitelijke en culturele kennis effectiever te behouden, met name in geesteswetenschappen en sociale wetenschappen.

Betekenis en Claims

Het artikel claimt een eenvoudige, effectieve recept te bieden voor het inzetten van MoE-capaciteiten in omgevingen met geheugenbeperkingen: Score met DO-ACP, behoud precies de top-$k$ experts per laag (puur snoeien), en distilleer met voorwaartse KL.

De auteurs benadrukken dat deze benadering de "geheugeninefficiëntie" van MoE omzet in "dichte efficiëntie" zonder afbreuk te doen aan de prestatiewinsten die voortvloeien uit de gespecialiseerde expertstructuur van de MoE. Zij stellen dat MoE-modellen een sterkere startpunt bieden voor distillatie dan dichte leraren met een overeenkomend aantal parameters, wat de noodzaak uitdaagt om dichte modellen van scratch te trainen of dichte leraren te snoeien. Het werk stelt vast dat expertdiversiteit, en niet alleen frequentie of grootte, de kritieke factor is bij het comprimeren van MoE-modellen naar dichte architecturen.