ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns

Probleemstelling

Mixture-of-Experts (MoE) architecturen staan bekend om hun vermogen om de capaciteit van modellen te vergroten terwijl ze computationele efficiëntie behouden door slechts een subgroep van experts per token te activeren. Het trainen van hoogwaardige MoE-modellen van nul af is echter uiterst kostbaar. Een veelbelovende alternatieve aanpak is het converteren van vooraf getrainde dichte (dense) modellen naar sparse MoE-architecturen.

Bestaande methoden voor deze conversie vallen in twee categorieën:

1. Dynamische structurele pruning: Convertie naar MoE met matige sparsiteit (bijv. 25%) om prestaties en efficiëntie in balans te brengen.
2. Downcycling: Het initialiseren van zeer sparse MoE-architecturen (75%+ sparsiteit) door vooraf getrainde dichte MLP-lagen op te splitsen.

De huidige beperkingen van deze methoden zijn echter significant:

• Ze breken de intrinsieke activatiepatronen binnen het dichte model, wat leidt tot suboptimale expert-construction.
• Ze negeren vaak laagspecifieke verschillen (bijv. dat verschillende lagen verschillende gradaties van specialisatie vereisen).
• Ze vereisen vaak extra training van de router (routing mechanisme), wat de "training-free" belofte ondermijnt.

Methodologie: ExpertWeaver

Het paper introduceert ExpertWeaver, een trainingsvrij framework dat dichte Large Language Models (LLMs) omzet in MoE-architecturen door gebruik te maken van de GLU (Gated Linear Unit) activatiepatronen. De kern van de methode is de observatie dat de fijne-granulariteit van GLU-activaties een ruwe-granulariteit structuur onthult die als blauwdruk kan dienen voor MoE.

Het proces verloopt in drie fasen:

1. Vastleggen van Multi-task Activatiepatronen:

   • Er wordt een multi-task kalibratie-set (bijv. Flan-v2) gebruikt om de GLU-activaties van alle neuronen te registreren.
   • Voor elk neuron wordt een activatieprofiel gegenereerd over diverse taken.

2. Laag-bewuste Expert Allocatie (Layer-Aware Allocation):

   • De auteurs gebruiken de Coefficient of Variation (CV) van de activaties om neuronen te kwantificeren als "universeel" (consistent geactiveerd) of "gespecialiseerd" (selectief geactiveerd).
   • Een cruciale ontdekking is dat de verhouding tussen universele en gespecialiseerde neuronen varieert per laag (bijv. randlagen zijn meer universeel, middenlagen meer gespecialiseerd).
   • ExpertWeaver past de verhouding van gedeelde experts (shared) versus gerouteerde experts (routed) dynamisch aan per laag op basis van deze CV-waarden, in plaats van een uniforme configuratie te gebruiken.

3. Constructie van Experts en Router:

   • Gedeelde Experts: De meest consistent actieve neuronen (universeel) worden gegroepeerd tot één of meer gedeelde experts die altijd geactiveerd zijn.
   • Gerouteerde Experts: De gespecialiseerde neuronen worden geklusterd (via Balanced K-Means) op basis van hun co-activatiepatronen om gespecialiseerde experts te vormen.
   • Router: De router wordt trainingsvrij geconstrueerd door de centroiden van de originele GLU-gate gewichten van de geklusterde neuronen te gebruiken. Dit behoudt de oorspronkelijke activatiepatronen zonder extra training.

Het framework kan worden toegepast als:

• Een dynamische structurele pruner voor inferentie-efficiëntie (zonder extra training).
• Een initialisatiestrategie voor downcycling, gevolgd door beperkte continue pre-training (CPT) voor superieure prestaties.

Belangrijkste Bijdragen

1. Systematische Analyse van GLU: Het paper toont aan dat GLU-activatiepatronen in dichte LLMs een natuurlijke blauwdruk bieden voor het construeren van MoE's met ruwe-granulariteit activatie, waarbij universele en gespecialiseerde neuronen onderscheiden kunnen worden.
2. ExpertWeaver Framework: Een nieuwe, trainingsvrije methode die neuronen partitioneert op basis van hun activatiepatronen en laag-specifieke configuraties toepast voor optimale expert-construction.
3. Superieure Prestaties: Uitgebreide experimenten tonen aan dat ExpertWeaver bestaande methoden significant overtreft, zowel bij structurele pruning als bij MoE-downcycling.

Resultaten

De experimenten zijn uitgevoerd op modellen zoals Qwen2.5-7B en LLaMA3-8B.

• Dynamische Structurele Pruning (25% sparsiteit):

  • ExpertWeaver presteert consequent beter dan bestaande trainingsvrije baselines (zoals LLM-Pruner, FLAP, CMoE).
  • Op LLaMA3-8B werd een relatieve verbetering van 5,6% behaald ten opzichte van CMoE.
  • Het behoudt de oorspronkelijke kennis beter omdat het geen parameters permanent verwijdert, maar selectief activeert.

• Model Downcycling:

  • Bij het converteren van Qwen2.5-7B naar een MoE (met 3,5B actieve parameters) en slechts 200B tokens aan continue pre-training, behaalde het model een gemiddelde score van 63,5 op diverse benchmarks.
  • Dit is 4,6 punten hoger dan de sterke OLMoE-baseline (OLMoE-1B-7B*), die van nul af is getraind met meer dan het dubbele aan data (500B tokens).
  • Het model behoudt 87,6% van de prestaties van het oorspronkelijke dichte model, terwijl het slechts 25% van de MLP-parameters activeert.
  • Vergelijkingen met "upcycling" (het samenvoegen van kleinere modellen) tonen aan dat downcycling via ExpertWeaver leidt tot snellere convergentie en betere eindprestaties, omdat het een rijker feature-ruimte behoudt zonder parameter-duplicatie.

Betekenis en Impact

ExpertWeaver biedt een efficiënte en kosteneffectieve route om de enorme rekenkracht van grote dichte modellen om te zetten in snellere, lichtere MoE-modellen zonder de hoge kosten van training van nul af.

• Efficiëntie: Het verlaagt de inferentiekosten en energieverbruik aanzienlijk door minder parameters per token te activeren.
• Toegankelijkheid: Het democratiseert toegang tot state-of-the-art MoE-architecturen voor organisaties die geen resources hebben voor het trainen van enorme MoE-modellen van nul af.
• Inzicht: Het biedt nieuw inzicht in de interne structuur van dichte LLMs, aantonend dat deze modellen al een inherente MoE-structuur bezitten die alleen "ontsloten" hoeft te worden.

Kortom, ExpertWeaver bewijst dat door het slim benutten van de bestaande GLU-activaties, we dichte modellen kunnen "weven" tot hoogwaardige MoE-architecturen met minimale extra training.