Technische Samenvatting: Zero-Expert Self-Distillation Adaptation (ZEDA)

1. Probleemstelling

Mixture-of-Experts (MoE)-architecturen zijn standaard geworden voor het schalen van Large Language Models (LLM's) door de capaciteit te vergroten terwijl de berekening per token wordt begrensd. Hoewel dynamische MoE-varianten verdere efficiëntie bieden door het aantal geactiveerde experts aan te passen aan de moeilijkheidsgraad van de input, vereisen bestaande methoden doorgaans pre-training vanaf nul of taakspecifieke aanpassing. Bijgevolg blijft de praktische conversie van volledig post-getrainde statische MoE-modellen (die uitgebreide pre-training, Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) hebben ondergaan) naar efficiënte dynamische tegenhangers onderbelicht. Het direct toepassen van bestaande dynamische routingmethoden op deze volwassen modellen riskeert het verstoren van de zorgvuldig gekalibreerde routingdistributies en capaciteiten die tijdens hun volledige trainingspijplijnen zijn vastgesteld. De kernuitdaging is om een post-getraind statisch MoE-model te migreren naar een dynamisch model dat onnodige experts overslaat voor "makkelijke" tokens, zonder de gevestigde prestaties te offeren of prohibitieve aanpassingskosten te maken.

2. Methodologie: ZEDA

Het artikel introduceert Zero-Expert Self-Distillation Adaptation (ZEDA), een goedkoop framework dat post-getrainde statische MoE-modellen transformeert naar dynamische modellen. De methode bestaat uit drie hoofdcomponenten:

2.1 Zero-Expert Injectie

ZEDA converteert architecturaal een statisch MoE-model naar een dynamisch model door parameterloze zero experts ($Z = \{Z_1, ..., Z_{N_Z}\}$) in te brengen in het bestaande expertenpool.

• Mechanisme: Deze zero experts geven identiek nul uit ($Z_j(h) = 0$) voor elke invoer verborgen toestand $h$.
• Routing: De router selecteert een top-$K$ subset uit de uitgebreide pool van $N + N_Z$ experts. Als een zero expert wordt geselecteerd, draagt deze geen berekening bij, wat effectief het aantal actieve normale experts voor dat token vermindert.
• Initialisatie: Originele routerparameters voor normale experts worden behouden. Nieuwe routerparameters voor zero experts worden geïnitieerd vanuit een Gaussische verdeling die overeenkomt met het gemiddelde en de variantie van de originele parameters om de schaal van router-logits te behouden.

2.2 Twee-staps Self-Distillation

Om het aangevulde model aan te passen zonder opnieuw vanaf nul te trainen, hanteert ZEDA een twee-staps self-distillatieproces waarbij het originele post-getrainde MoE-model als bevroren leraar fungeert:

1. Supervised Fine-Tuning (SFT): Het studentenmodel wordt getraind op antwoorden die zijn bemonsterd van de leraar. De loss combineert standaard cross-entropy met de Group Auxiliary Loss.
2. On-Policy Distillation (OPD): De student genereert zijn eigen trajecten, en de leraar evalueert deze om token-niveau doelen te bieden. Het doel minimaliseert de reverse KL-divergentie tussen de on-policy distributie van de student en de distributie van de leraar.

2.3 Group Auxiliary Loss ($L_{GA}$)

Standaard load-balancing losses (die uniformiteit over alle experts afdwingen) zijn ongeschikt voor post-getrainde MoE-modellen, aangezien deze de geleerde, niet-uniforme routingpatronen tussen normale experts zouden verstoren. ZEDA introduceert een Group Auxiliary Loss die activatie op groepsniveau balanceert in plaats van op het niveau van individuele experts:

• Groepen: Normale experts vormen groep $\mathcal{E}$; zero experts vormen groep $\mathcal{Z}$.
• Doel: De loss reguleert de relatieve activatiefrequentie tussen de twee groepen, gecontroleerd door een weegparameter $w$. Het moedigt aan dat de verhouding van geactiveerde normale experts tot zero experts convergeert naar een doelverhouding ($N : N_Z \cdot w$), zonder de routingdistributie binnen de groep normale experts te egaliseren.
• Resultaat: Dit stelt het model in staat te leren wanneer het berekening moet overslaan (zero experts selecteren) terwijl de interne routinglogica van het originele model behouden blijft.

3. Belangrijkste Bijdragen

1. Post-Training Aanpassingsframework: ZEDA is de eerste methode om volledig post-getrainde statische MoE-modellen effectief om te zetten in dynamische modellen via zero-expert injectie en self-distillatie, waardoor de noodzaak voor dure her-pre-training wordt vermeden.
2. Stabiele Architecturale Conversie: De introductie van de Group Auxiliary Loss stabiliseert de conversie door zero-expert-gebruik te reguleren zonder de geleerde routingstructuren van normale experts te verstoren.
3. Efficiëntie-Prestatie Trade-off: De methode bereikt een significante reductie in berekening (>50% van de experts overslaan) met slechts marginale verlies in nauwkeurigheid, en presteert beter dan bestaande dynamische MoE-baselines en varianten (bijv. Naive Expert Truncation).
4. Inzicht in Activatiedynamiek: Het artikel biedt analyses die aantonen dat zero-expert-activatie correleert met leraar-student distributieverschillen (logp-diff) en modelonzekerheid, in plaats van met de algehele taakmoeilijkheid. Gestructureerde segmenten (zoals code of wiskundige expressies) hebben de neiging om hogere zero-expert-activatieverhoudingen te hebben (minder berekening) in vergelijking met natuurlijke tekst.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-30B-A3B en GLM-4.7-Flash over 11 benchmarks die wiskunde, code en instructievolgen bestrijken.

• Prestaties: ZEDA elimineert meer dan 50% van de expert FLOPs (met $r_{ZE} \approx 51,2\%$ op Qwen en $53,0\%$ op GLM) terwijl het prestaties behoudt die vergelijkbaar zijn met het originele statische model.
  • Op Qwen3-30B-A3B presteert ZEDA gemiddeld 6,1 punten beter dan de sterkste dynamische baseline (AdaMoE).
  • Op GLM-4.7-Flash presteert het 4,0 punten beter dan de baseline.
  • In tegenstelling tot baselines die instorten bij zware redenering of codetaken, behoudt ZEDA overal in alle domeinen competitieve prestaties.
• Efficiëntie: De aanpassing levert een end-to-end inferentieversnelling van ongeveer 1,20× op (ongeveer 20% versnelling in zowel de prefill- als decode-fase) op 8 NVIDIA H200 GPU's.
• Aanpassingskosten: Het volledige aanpassingsproces duurt minder dan 31 uur voor Qwen en 62 uur voor GLM, wat verwaarloosbaar is in vergelijking met de kosten van pre-training of volledige post-training.
• Generalisatie: ZEDA toont sterke Out-of-Distribution (OOD) generalisatie op MMLU-Redux en GPQA-Diamond, waarbij de nauwkeurigheid wordt behouden terwijl een hoog zero-expert-gebruik wordt gehandhaafd.

5. Betekenis en Claims

Het artikel beweert dat ZEDA een praktische, kosteneffectieve oplossing biedt voor het verbeteren van de implementatie-efficiëntie van grootschalige MoE-systemen. Door gebruik te maken van de bestaande capaciteiten van post-getrainde modellen en self-distillatie om dynamische routing te leren, stelt ZEDA "makkelijke" tokens in staat onnodige expert-berekening te omzeilen zonder de gevestigde kennis of redeneervermogens van het model te compromitteren.

De auteurs benadrukken dat deze aanpak de aanzienlijke architecturale modificaties en hertrainingskosten vermijdt die geassocieerd zijn met eerdere dynamische MoE-methoden. De resultaten suggereren dat post-getrainde MoE-modellen succesvol kunnen worden gemigreerd naar efficiënte dynamische architecturen, waardoor hoogcapaciteitsmodellen levensvatbaarder worden voor real-world serving waar inferentiekosten een primaire beperking zijn. Het werk benadrukt dat dynamische toewijzing van berekening intrinsiek verbonden is met de interne onzekerheid van het model en de uitlijning tussen student- en leraardistributies, in plaats van alleen met externe taakmoeilijkheid.