SMoES: Soft Modality-Guided Expert Specialization in MoE-VLMs

1. Probleemstelling

Mixture-of-Experts (MoE)-architecturen zijn de standaard ruggegraat geworden voor Large Vision-Language Models (VLMs) om capaciteit efficiënt te schalen. Echter, bestaande routingstrategieën in MoE-VLMs lijden aan fundamentele beperkingen met betrekking tot modality-specialisatie:

• Hard Routing: Wijs experts vooraf toe aan specifieke modaliteiten (bijvoorbeeld alleen visueel of alleen tekst). Hoewel dit specialisatie creëert, legt het starre grenzen op die het natuurlijke, laagafhankelijke mengen van modaliteiten niet vastleggen, wat leidt tot prestatieverlies in cross-modale taken.
• Soft Routing: Staat experts toe om dynamisch elk token te verwerken. Zonder expliciete begeleiding resulteert dit echter vaak in "over-mixing" waarbij experts niet specialiseren, of vertrouwt het op heuristische priors die de evoluerende verdeling van modaliteiten over netwerklagen negeren.
• Efficiëntiefles: In Expert-Parallel (EP)-implementaties verspreidt modality-agnostische routing tokens over apparaten, wat leidt tot hoge communicatie- overhead tussen apparaten. Visuele tokens domineren vaak de sequentielengte maar hebben een lagere informatiedichtheid, terwijl tekstonen dichtbij zijn maar minder talrijk zijn. Standaard load balancing wijst resources vaak verkeerd toe, wat zowel prestaties als inferentie-efficiëntie belemmert.

De kernuitdaging is: Hoe kan expert-routing worden geleid met modality-specifieke signalen om dynamische, laagadaptieve specialisatie te bereiken zonder flexibiliteit of efficiëntie te offeren?

2. Methodologie: Soft Modality-Guided Expert Specialization (SMoES)

De auteurs stellen SMoES voor, een kader dat expert-routing afstemt op de dynamische fusiepatronen van modaliteiten via drie kerncomponenten:

A. Dynamische Soft Modality Scores

In plaats van statische binaire labels (hard routing) te gebruiken, berekent SMoES continue soft modality scores ($M \in [0, 1]$) voor elk token op elke laag. Deze scores vangen de evoluerende staat van een token in als het overgaat van modality-specifieke naar cross-modale representaties. Twee complementaire schatters worden gebruikt:

1. Attention-Accumulated Score: Propageert modality-signalen via het attention-mechanisme. Het initialiseert met harde labels op de inputlaag en update scores in volgende lagen door geattendeerde tokenscores te aggregeren, gewogen door attention-weights. Dit vangt lokale, sequentiespecifieke interacties.
2. Gaussian-Statistics Score: Een globale schatter die online Gaussische verdelingen (gemiddelde en variantie) voor tekst- en visuele tokens bijhoudt via Exponential Moving Average (EMA). Het berekent de log-likelihood van een token onder elke verdeling om zijn modality-afhankelijkheid af te leiden, en vangt globale statistische regelmatigheden die onafhankelijk zijn van laaginitialisatie.

B. Expert Binning

Om implementatie-efficiëntie aan te pakken, partitioneert SMoES de pool van experts in bins (groepen).

• Adaptive Binning: Experts worden dynamisch gesorteerd en gegroepeerd op basis van hun historische last van specifieke modaliteiten (bijgehouden via EMA). Experts met vergelijkbare modality-preferenties worden in dezelfde bin geplaatst.
• Deployment Alignment: Deze bins dienen als eenheid voor apparaatplaatsing in EP-implementaties. Door bins met vergelijkbare modality-affiniteiten op hetzelfde apparaat te co-loceren, minimaliseert de methode de overdracht van tokens tussen apparaten.

C. Inter-Bin Mutual Information (MI) Regularization

Om effectieve specialisatie te stimuleren, introduceert SMoES een verliesfunctie die de Mutual Information maximaliseert tussen de soft modality scores ($M$) en de expert bins ($B$).

• Doel: $\mathcal{L}_{MI} = -\sum I(M; B)$.
• Mechanisme: Dit moedigt verschillende bins aan om zich te specialiseren in distincte modality-patronen. Als een bin wordt geselecteerd, moet deze hoge informatie bieden over of het token visueel of tekstueel is. Dit wordt geoptimaliseerd op bin-niveau om af te stemmen op apparaatgranulariteit, en vermijdt de instabiliteit van optimalisatie op individueel expert-niveau.

Trainingsdoel: Het totale verlies combineert de taakverlies (taalmodelleren), een load-balancing-verlies op bin-niveau en de inter-bin MI-regularisatie.

3. Belangrijkste Bijdragen

1. Dynamische Soft Modality Scores: Geïntroduceerde attention-accumulated en Gaussian-statistics schatters die laagafhankelijke fusiepatronen vangen, verdergaand dan starre hard routing of ongeleide soft routing.
2. Expert Binning & MI Regularization: Een structureel mechanisme (binning) gekoppeld aan een MI-gedreven doelstelling voorgesteld, wat coherente modality-groepering bevordert en zowel model-effectiviteit als implementatie-efficiëntie verbetert.
3. Uitgebreide Validatie: Toonde state-of-the-art prestaties over vier diverse MoE-ruggegraten (DeepSeekMoE, OLMoE, Moonlight-MoE, Qwen3-MoE) en 16 benchmarks, bewijzend dat data-gedreven specialisatie capaciteit ontsluit zonder load balance te offeren.

4. Experimentele Resultaten

De auteurs evalueerden SMoES op 16 benchmarks (10 multimodaal, 6 alleen taal) over vier VLM-architecturen.

• Effectiviteit (Nauwkeurigheid):

  • Multimodale Taken: Bereikte een gemiddelde winst van 0,9% ten opzichte van soft routing baselines.
  • Alleen-Taal Taken: Bereikte een aanzienlijke gemiddelde winst van 4,2%, wat aantoont dat SMoES taalcapaciteiten behoudt (en verbetert), in tegenstelling tot hard routing die deze vaak verslechtert.
  • Vergelijking: Presteerde beter dan Hard Routing, Hybrid Routing (MoIIE) en op KL-divergentie gebaseerde methoden (SMAR). Opmerkelijk is dat SMAR, hoewel het specialisatie verbeterde, vaak taalprestaties schaadde door load-balancing conflicten; SMoES loste dit op.

• Efficiëntie (Implementatie):

  • Communicatie-Overhead: In een realistische 2-GPU edge-implementatie (NVIDIA Orin) verlaagde SMoES de EP-communicatie- overhead met 56,1% voor visuele tokens tijdens de prefill-fase.
  • Throughput: Bereikte een verbetering van 12,3% in throughput (tokens per seconde) onder realistische implementatievoorwaarden door verminderde communicatie en betere parallelisme.
  • Latentie: Verminderde Time to First Token (TTFT) met maximaal 22% en Time Per Output Token (TPOT) met 10-11%, afhankelijk van de batchgrootte.

• Ablatie Studies:

  • Bevestigde dat soft scores (attention/Gaussian) significant beter presteren dan harde binaire scores.
  • Toonde aan dat MI-regularisatie superieur is aan KL-divergentie voor het leiden van specialisatie zonder expert-capaciteit te laten instorten.
  • Valideerde dat adaptive binning (gebaseerd op runtime-statistieken) superieur is aan vaste binning-strategieën.

5. Betekenis

Dit werk adresseert een kritieke kloof in het schalen van MoE-VLMs. Het demonstreert dat modality-specialisatie geen statische, handgemaakte beperking mag zijn, maar een dynamische, geleerde eigenschap die evolueert met netwerkdiepte.

• Theoretisch Inzicht: Het onthult dat modality-fusie heterogeen en laagafhankelijk is, wat zachte, data-gedreven routing vereist in plaats van starre scheiding.
• Praktische Impact: Door expert-specialisatie af te stemmen op implementatiebeperkingen (EP), biedt SMoES een weg om grote multimodale modellen te implementeren op middelen-beperkte edge-apparaten (bijvoorbeeld autonome voertuigen) met aanzienlijk lagere communicatiekosten en hogere throughput, terwijl hoge nauwkeurigheid op zowel visuele als taal-taken behouden blijft.