Technische Samenvatting: Eigenvectoren van Experts zijn Training-vrije Non-collapsing Routers

Probleemstelling

Sparse Mixture of Experts (SMoE) architecturen zijn een hoeksteen geworden voor het schalen van Large Language Models (LLMs) en vision-language modellen door input-tokens te routeren naar een subset van gespecialiseerde experts. Deze modellen lijden echter aan een hardnekkig probleem dat bekend staat als expert collapse (of representatie-collapse), waarbij verschillende experts convergeren naar het produceren van vergelijkbare of redundante outputs, wat de effectieve capaciteit en prestaties van het model vermindert.

Hoewel voorgaand onderzoek heeft geprobeerd dit te mitigeren door de router (het mechanisme dat experts selecteert) te verbeteren, vereisen deze benaderingen doorgaans training vanaf nul of fine-tuning, wat hoge computationele en dataverwerkingskosten met zich meebrengt. Bovendien toont empirisch bewijs gepresenteerd in dit werk aan dat zelfs goed voorgetrainde SMoE-modellen, inclusief state-of-the-art systemen zoals GPT-OSS, Qwen3 en DeepSeek-MoE, nog steeds significante router-collapse vertonen over diverse lagen en model-schalen. Deze persistentie suggereert dat conventionele verbeteringen aan de router onvoldoende zijn en dat een fundamentele herziening van het routingmechanisme noodzakelijk is.

Methodologie: Singular Value Decomposition SMoE (SSMoE)

De auteurs stellen SSMoE voor, een nieuw, training-vrij framework dat de afhankelijkheid van geleerde routers elimineert door gebruik te maken van de spectrale eigenschappen van de gewichtsmatrices van de experts zelf.

Kerninzicht

Door een analyse van geavanceerde, voorgetrainde SMoE-modellen observeren de auteurs dat de eigenvectoren van de gewichtsmatrices van de experts rijke semantische informatie coderen. In tegen tegenstelling tot geleerde router-embeddings, die kunnen collapsen, behouden deze eigenvectoren van nature hun orthogonaliteit en leggen ze intrinsieke expert-specialisatie vast.

Het SSMoE Framework

De methode werkt in vier primaire stappen:

1. Eigenvector Extractie: Voor elke expert $i$ berekenen de auteurs twee Gram-matrices afgeleid van de FFN-gewichten ($FFN_1$ en $FFN_2$) van de expert. Vervolgens extraheren ze de eigenvectoren van deze matrices.
2. Spectrale Embedding Constructie: Voor een gegeven expert worden de top-$c$ eigenvectoren die het meest lijken op de router-embedding van de expert geselecteerd uit beide Gram-matrices. Deze worden gemiddeld om een "spectrale embedding" ($C^{(i)}$) te vormen die de semantische specialisatie van de expert vertegenwoordigt.
3. Routing: De spectrale embeddings van alle experts worden geconcateneerd om een routing-gewichtmatrix ($W_{EV}$) te vormen. De input-token $x$ wordt door deze matrix geprojecteerd om eigenvector-gebaseerde logits ($f_{EV}(x)$) te genereren.
4. Hybride Routing: Om het nieuwe spectrale signaal te balanceren met de originele context-bewuste router, gebruikt SSMoE een convexe combinatie:
   $$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$$
   waarbij $s(x)$ de originele geleerde router-logits zijn en $\alpha \in [0, 1]$ een instelbare balansfactor is. Empirische resultaten suggereren dat $\alpha$-waarden tussen 0,5 en 0,9 optimale prestaties opleveren.

Theoretische Garantie

Het artikel biedt een theoretisch lemma dat aantoont dat de SSMoE-router de paarwijze logit-correlaties vermindert. Specifiek, als de eigenvector-logits orthogonaal zijn aan de geleerde router-logits, wordt de covariantie van de gecombineerde router strikt verminderd met een factor van $(1-\alpha)^2$ vergeleken met de originele router. Dit bewijst wiskundig dat SSMoE het collapse-probleem dat inherent is aan conventionele SMoE-routers mitigeert.

Belangrijkste Bijdragen

1. Identificatie van Collapse in Voorgetrainde Modellen: De auteurs demonstreren empirisch dat router-collapse een hardnekkig probleem is in tien state-of-the-art MoE-gebaseerde modellen (variërend van 4B tot 120B parameters), wat zowel redeneer- als niet-redeneerarchitecturen beïnvloedt.
2. Semantische Codering in Eigenvectoren: Het werk onthult dat de eigenvectoren van expert-gewichtsmatrices van nature rijke semantische informatie coderen, wat dient als een robuust alternatief voor geleerde router-embeddings.
3. SSMoE Framework: De introductie van een training-vrij, efficiënt framework dat deze spectrale eigenschappen gebruikt om token-routing en expert-representatie te verbeteren zonder extra training te vereisen.
4. Expert Pruning Strategie: De voorstel van een methode voor het droppen van experts gebaseerd op SSMoE, die de prestaties verbetert terwijl het geheugengebruik aanzienlijk wordt verminderd.

Experimentele Resultaten

De auteurs evalueerden SSMoE over diverse taken en model-schalen onder zowel schone als gecorrumpeerde (ruisige) data-instellingen.

• Grote Redeneermodellen (GPT-OSS): Op GPT-OSS-20B en GPT-OSS-120B presteerde SSMoE beter dan de originele modellen en baseline random dropping strategieën.
  • Het behaalde een gemiddelde verbetering van ~6% ten opzichte van de originele GPT-OSS modellen op redeneer-benchmarks (ARC, GSM8K, etc.) terwijl het geheugengebruik met ~23% werd verminderd.
  • In een 10-shot setting verbeterde SSMoE de prestaties met 21% ten opzichte van baselines voor het 20B model en 10% voor het 120B model.
  • Cruciaal was dat ablatie-studies lieten zien dat de prestatiewinsten werden gedreven door het routingmechanisme zelf, en niet enkel door het verminderen van het aantal experts.
• Large Language Models (MTEB): Geëvalueerd op OLMoE, Qwen-MoE en DeepSeekMoE, presteerde SSMoE consequent beter dan baselines (Router, SMoE, MoEE) op de Massive Text Embedding Benchmark (MTEB).
  • Het behaalde state-of-the-art prestaties op 15/18 taken in schone settings en 16/18 taken in gecorrumpeerde settings.
  • De methode demonstreerde superieure robuustheid onder adversariële perturbaties (gecorrumpeerde data), waarbij het complexe representaties overtrof die aanzienlijke prestatiedalingen leden.
• Vision-Language Modellen (CLIP-MoE): Op zero-shot image-text retrieval (COCO, Flickr30k) en classificatietaken verbeterde SSMoE de Recall@1 met wel +1,1% en demonstreerde een grotere robuustheid tegen beeldruis vergeleken met de baseline CLIP-MoE.
• Efficiëntie: Het framework verminderde het geheugengebruik met ongeveer 23% in redeneertaken en met 5% in GFLOPs voor embedding-taken, terwijl de nauwkeurigheid gelijk bleef of verbeterde.

Betekenis en Claims

Het artikel claimt dat SSMoE een paradigmaverschuiving vertegenwoordigt in de manier waarop SMoE-architecturen kunnen worden geoptimaliseerd. Door de focus te verschuiven van het leren van een router naar het analyseren van de intrinsieke spectrale eigenschappen van de experts, demonstreren de auteurs dat:

• Training-vrije optimalisatie levensvatbaar is: Significante prestatiewinsten en robuustheid kunnen worden behaald zonder de computationele kosten van hertraining of fine-tuning.
• Interne structuur ertoe doet: Een dieper begrip van de interne modelstructuur (specifiek de orthogonaliteit van eigenvectoren) kan de ontwikkeling van effectievere architecturen sturen.
• Robuustheid: De eigenvector-gebaseerde representatie biedt een stabieler en semantisch rijker signaal dat minder gevoelig is voor collapse en veerkrachtiger is tegen data-corruptie dan traditionele geleerde routers.

De auteurs concluderen dat hun bevindingen het belang onderstrepen van het benutten van spectrale inzichten om efficiëntere, effectievere en robuustere SMoE-architecturen te creëren, wat een praktische oplossing biedt voor het langdurige probleem van expert collapse.