Technische Samenvatting: Geometrische Asymmetrie in MoE-specialisatie

Probleemstelling

Hoewel Mixture-of-Experts (MoE)-architecturen een standaardmechanisme zijn geworden voor het schalen van Transformer-modellen door grote parameteraantallen mogelijk te maken met vaste rekentarieven, blijft de interne geometrische structuur van expert-specialisatie slecht begrepen. Bestaande analyses richten zich grotendeels op routingstatistieken, load balancing of prestaties op systeemniveau. Er bestaat een kritieke kloof in het begrijpen hoe experts verschillen in functieruimte (de transformaties die ze uitvoeren) versus representatieruimte (hoe gerouteerde tokens zijn georganiseerd in verborgen toestanden).

De huidige intuïtie suggereert dat MoE-lagen de inputverdeling partitioneren in disjuncte clusters, waarbij elke expert fungeert als een lokale benaderaar. Empirisch bewijs suggereert echter dat experts vaak opereren op overlappende tokenregimes, wat de vraag oproept: Welke geometrische structuur induceert routing binnen een voorgeprogrammeerde MoE-Transformer? Specifiek: implementeren experts verschillende functies, en hoe verhouden hun representaties zich tot elkaar?

Methodologie

De auteurs introduceren een unificerend Jacobian-PCA-Grassmann-raamwerk om MoE-lagen in zowel functieruimte als representatieruimte te analyseren. Dit raamwerk wordt toegepast op voorgeprogrammeerde modellen (Mistral, Qwen) en gecontroleerde 3-laags Transformer-modellen die vanaf nul zijn getraind.

1. Functionele Geometrie: Expert-lokale Jacobianen

Om de functie van individuele experts onafhankelijk van routingdynamica te karakteriseren, analyseren de auteurs de expert-lokale Jacobiaan ($J_e(x) = \partial f_e(x) / \partial x$).

• Meting: Ze berekenen de gemiddelde Jacobiaan ($\bar{J}_e$) voor elke expert over een dataset en vectoriseren deze.
• Alignatie: Paarsgewijze functionele alignatie wordt gemeten via het genormaliseerde Frobenius-inproduct (cosinus-achtigheid) tussen deze gevectoriseerde Jacobianen.
• Interpretatie: Een lage cosinus-achtigheid geeft functionele decorrelatie aan, wat betekent dat experts lokaal verschillende transformaties implementeren in plaats van redundante varianten van dezelfde functie.

2. Representatiegeometrie: Gerouteerde PCA en Grassmanniaanse Afstanden

Om de geometrie van gerouteerde representaties te karakteriseren, verzamelen de auteurs verborgen toestanden gewogen met routinggewichten ($h_e(x) = g_e(x)h(x)$).

• PCA: Standaard Principal Component Analysis (PCA) wordt uitgevoerd op de gerouteerde verborgen toestanden om hoofdrichtingen en variantiespectra te identificeren.
• Subruimteafstand: De geometrische scheiding tussen experts wordt gekwantificeerd met behulp van de Grassmanniaanse Geodetische Afstand tussen de top-$n$ PCA-subruimten van verschillende experts.
• Interpretatie: Deze metriek vangt meerdimensionale scheiding tussen volledige subruimten op. Een afstand dicht bij nul impliceert redundante functionele rollen, terwijl een afstand die de theoretische maximumwaarde ($\frac{\pi}{2}\sqrt{n}$) nadert, orthogonaliteit impliceert.

3. Gecontroleerde Routingexperimenten

Om het effect van routingmechanismen te isoleren van trainingsdynamica, vergelijken de auteurs twee regimes op een gecontroleerd 3-laags model met vaste expertparameters:

• Top-k Routing: Sparse, discrete selectie.
• Volledig-Soft Routing: Dichte, continue mengeling.

Belangrijkste Resultaten

1. Structurele Asymmetrie: Functionele Decorrelatie versus Representatie-overlap

Over voorgeprogrammeerde MoE-Transformers heen (Mistral-8x7B en Qwen1.5-MoE-A2.7B) observeren de auteurs een consistente structurele asymmetrie:

• Sterke Functionele Decorrelatie: Cross-expert Jacobiaan-alignatie is consequent dicht bij nul (gemiddelde $\approx$ 0,000–0,068). Dit geeft aan dat experts niet redundant zijn; ze implementeren verschillende lokale transformaties.
• Partiële Representatie-overlap: Ondanks functionele decorrelatie bezetten de gerouteerde representaties verschillende maar partiële overlappende subruimten. Grassmanniaanse afstanden zijn aanzienlijk (wat scheiding aangeeft) maar blijven significant onder het theoretische maximum voor volledige orthogonaliteit.
• Conclusie: Functionele decorrelatie en representatie-overlap coëxisteren. Experts fungeren als lokaal decorreleerde operatoren over overlappende regimes op een gedeelde variëteit, in plaats van de inputruimte te partitioneren in disjuncte clusters.

2. Routing-Sparseitheid als Geometrische Regelaar

Gecontroleerde experimenten onthullen dat de scherpte van routing deze geometrie direct vormgeeft:

• Top-k Routing: Induceert scherpere functionele scheiding (lage Jacobiaan-alignatie) en grotere Grassmanniaanse afstanden (grotere subruimte-divergentie).
• Volledig-Soft Routing: Levert verstrengelde expertstructuren op met hoge Jacobiaan-alignatie (wat instorting naar redundante mapping aangeeft) en ingestorte Grassmanniaanse afstanden (hoge subruimte-overlap).
• Implicatie: Routing-sparseitheid is een sleutelfactor in het afdwingen van specialisatie.

3. Vergelijking met Dichte Lagen

MoE-experts vertonen een steilere eigenwaardedecay in hun variantiespectra in vergelijking met dichte feedforward-lagen. De eerste paar hoofdcomponenten vangen een significant hoger percentage variantie op in MoE-experts, wat suggereert dat routing tokens concentreert in lagere-dimensionale, meer gefocuste subruimten.

4. Cross-model Consistentie

De waargenomen geometrische patronen (lage Jacobiaan-alignatie + hoge maar sub-maximale Grassmann-scheiding) zijn consistent over verschillende modellen (Mistral, Qwen), lagen (vroeg, midden, laat) en datasets, wat suggereert dat dit een robuuste eigenschap is van MoE-architecturen in plaats van een artefact van specifieke trainingsruns.

Betekenis en Claims

Het artikel claimt een generiek diagnostisch raamwerk te bieden voor het bestuderen van conditionele berekening in moderne Transformer-architecturen. De primaire bijdragen zijn:

1. Unificerend Diagnostisch Hulpmiddel: Het biedt een systematische methode om expert-specialisatie te analyseren, voorbij eenvoudige routingstatistieken of activatiepatronen, door functieruimte en representatieruimte gezamenlijk te karakteriseren.
2. Geometrische Interpretatie van MoE: De resultaten ondersteunen een visie op MoE-lagen als implementatie van een zachte partitionering van een gedeelde representatievariëteit. Experts zijn functioneel verschillend maar opereren op overlappende subvariëteiten.
3. Mechanistisch Inzicht: De studie identificeert routing-scherpte (sparseitheid) als een directe controlemechanisme voor de graad van specialisatie, waardoor architecturale ontwerpkeuzes worden gekoppeld aan meetbare geometrische structuren.
4. Implicaties voor Modelontwerp: De auteurs suggereren dat strategieën voor het samenvoegen of uitdunnen van experts op basis van uitsluitend representatiegelijkheid (bijvoorbeeld activatie-overlap) mogelijk gebrekkig zijn. Omdat experts overlappende representaties kunnen hebben terwijl ze verschillende functies uitvoeren, zijn functionele metrieken (zoals Jacobiaan-alignatie) mogelijk vereist om echte redundantie correct te identificeren.

Het artikel behoudt een bescheiden reikwijdte, waarbij wordt erkend dat de analyse lokaal is (eerste-orde Jacobianen) en lineair (PCA), en geen globale niet-lineaire gedragingen of de evolutie van geometrie tijdens training vastlegt. Het vestigt echter een fundamenteel geometrisch perspectief op hoe MoE-modellen berekening organiseren.