MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping

Het paper introduceert MoDES, een trainingsvrij framework dat de inferentie-efficiëntie en nauwkeurigheid van MoE-multimodale grote taalmodellen verbetert door dynamisch experts over te slaan via een globaal-gemoduleerd lokaal poortmechanisme en een dubbel-modale drempelwaarde-methode.

De kern

🚀 De Kern: MoDES, de Slimme Chef in een Restaurant

Stel je voor dat een Multimodaal Groot Taalmodel (MLLM) een enorm, luxe restaurant is. Dit restaurant is gespecialiseerd in het begrijpen van zowel tekst (zoals menu's) als beelden (zoals foto's van gerechten).

In dit restaurant werken er honderden chefs (de "experts"). Voor elk gerecht dat een klant bestelt, roept de manager normaal gesproken een paar chefs bij elkaar om het te bereiden.

• Het probleem: Soms roept de manager chefs op die niet nodig zijn voor dat specifieke gerecht. Een vischef hoeft niet te helpen bij het bakken van een steak. Dit kost veel tijd en energie, waardoor het restaurant traag is en de klanten (de gebruikers) lang moeten wachten.
• De oude oplossing: Eerdere methoden probeerden chefs te ontslaan die "niet vaak genoeg" werden gebruikt. Maar dit werkte slecht voor dit restaurant. Ze ontsloven soms de verkeerde chefs (bijvoorbeeld de sous-chef in de beginfase van het koken) of behandelden vis- en vleesklanten precies hetzelfde, terwijl ze heel verschillende behoeften hebben. Het resultaat: het eten werd minder lekker (de AI werd slimmer) of het restaurant werd niet snel genoeg.

💡 De Oplossing: MoDES (Multimodal Dynamic Expert Skipping)

De onderzoekers van dit paper hebben MoDES bedacht. Dit is geen nieuwe manier om het restaurant te bouwen, maar een slimme, gratis manager die tijdens het werk de juiste beslissingen neemt.

MoDES werkt met twee slimme regels:

1. De "Tijdslijn"-Regel (Globale Modulatie)

Stel je voor dat het koken van een gerecht in drie fases zit:

• Fase 1 (De beginfase): De basis leggen. Als je hier een fout maakt, is het hele gerecht verpest.
• Fase 3 (De afwerking): De garnering. Als je hier een fout maakt, is het nog steeds eetbaar, maar niet perfect.

MoDES weet dit: In de beginfase van het "denken" (de eerste lagen van het model) zijn alle chefs cruciaal. Je mag daar niemand ontslaan. Maar in de latere fasen zijn veel chefs overbodig.

• De analogie: MoDES zegt: "In de beginfase houden we alle chefs aan het werk. Maar tegen het einde van het proces kunnen we 80% van de chefs naar huis sturen zonder dat het gerecht er minder lekker uitziet."

2. De "Vis vs. Vlees"-Regel (Dubbele Modus)

Dit is het meest unieke deel. In dit restaurant komen twee soorten klanten:

• Tekst-klanten: Ze willen een recept lezen.
• Visuele-klanten: Ze willen een foto analyseren.

Oude managers behandelden iedereen hetzelfde. Maar MoDES ziet het verschil:

• Visuele informatie (foto's) is vaak "ruimtelijk" en heeft veel redundantie. Je kunt hier veel chefs ontslaan zonder dat de foto er anders uitziet.
• Tekst is vaak preciezer en logischer. Hier moet je voorzichtig zijn met ontslagen.

MoDES zegt: "Voor de foto-klant sturen we 90% van de chefs naar huis. Voor de tekst-klant sturen we maar 50% naar huis." Hierdoor wordt het restaurant veel sneller, maar blijft de kwaliteit voor beide soorten klanten hoog.

🎯 Hoe vinden ze de perfecte balans? (De "Frontier Search")

De grootste uitdaging is: Hoeveel chefs mag je precies ontslaan?

• Te weinig ontslaan? Je wint geen tijd.
• Te veel ontslaan? Het eten wordt rot.

De onderzoekers hebben een slimme zoekmethode ontwikkeld (de "Frontier Search").

• De analogie: Stel je zoekt de perfecte temperatuur voor een oven. Je zou kunnen proberen elke temperatuur van 0 tot 200 graden één voor één (dat duurt dagen).
• MoDES' methode is als een slimme thermostaat die weet: "Als het al te heet is, hoef ik niet naar nog hogere temperaturen te kijken." Hierdoor vinden ze de perfecte instelling in uren in plaats van dagen.

🏆 Wat is het resultaat?

De tests tonen aan dat MoDES wonderen doet:

1. Snelheid: Het restaurant is nu 2x sneller in het ontvangen van bestellingen en 1,2x sneller in het serveren.
2. Kwaliteit: Zelfs als ze 88% van de chefs ontslaan (wat klinkt als een ramp), is het eten (de antwoorden van de AI) bijna net zo goed als toen ze allemaal werkten.
3. Vergelijking: Oude methoden gaven bij zo'n hoge ontslagratio vaak slecht eten (de AI werd "dom"). MoDES houdt het eten heerlijk.

Samenvattend

MoDES is als een super-efficiënte restaurantmanager die weet:

1. Wanneer je alle handen aan het werk moet hebben (in het begin).
2. Wanneer je kunt relaxen (aan het einde).
3. Dat je vis-klanten en tekst-klanten anders moet behandelen.

Hierdoor wordt de AI veel sneller, goedkoper en blijft hij tegelijkertijd heel slim. En het beste van alles? Ze hoeven het restaurant niet opnieuw te bouwen; ze passen alleen de managementregels aan!

Technische samenvatting

Titel: MoDES: Versnelling van Multimodale Large Language Models op Basis van Mixture-of-Experts via Dynamisch Overslaan van Experts

1. Het Probleem

Multimodale Large Language Models (MLLMs) die gebruikmaken van de Mixture-of-Experts (MoE) architectuur, presteren uitstekend in visueel-taaktaken (zoals het begrijpen van afbeeldingen en video's). Ze lossen het probleem van hoge rekenkosten op door voor elk token slechts een subset van de totale parameters (experts) te activeren.

Echter, deze modellen lijden nog steeds aan inefficiëntie tijdens inferentie:

• Bestaande methoden voor het "overslaan" van experts (om redundantie te verminderen) zijn oorspronkelijk ontworpen voor unimodale taalmodellen (LLMs).
• Wanneer deze methoden direct worden toegepast op MLLMs, leidt dit tot een significante daling in prestaties (tot wel 10% of meer).
• De reden hiervoor is dat bestaande methoden twee cruciale factoren negeren:
  1. Globale bijdrage per laag: Experts in de lagere (shallow) lagen van het netwerk zijn kritischer voor de uiteindelijke output dan experts in diepere lagen, maar bestaande methoden behandelen alle lagen gelijk.
  2. Modaal verschil: Tokens van verschillende modaliteiten (tekst vs. visueel) gedragen zich anders wanneer ze door de experts gaan. Visuele tokens ondergaan minder grote updates dan teksten, wat betekent dat ze meer redundantie bevatten en agressiever kunnen worden overslagen zonder kwaliteitsverlies.

2. Methodologie: MoDES Framework

MoDES is het eerste training-vrije framework dat experts adaptief overslaat voor MoE-MLLMs. Het bestaat uit twee kerncomponenten en een zoekalgoritme:

A. Globaal Gemoduleerde Lokale Gating (GMLG)
Om het probleem van de globale bijdrage op te lossen, combineert MoDES lokale routeringskansen met een globale factoren:

• Lokale Routering: De standaard waarschijnlijkheid ($\pi$) dat een expert wordt gekozen voor een specifiek token.
• Globale Kalibratie: Een offline berekende factor ($\alpha^{(l)}$) die de impact van experts in een specifieke laag op de uiteindelijke modeloutput weergeeft. Dit wordt bepaald door de Kullback-Leibler (KL) divergentie te meten tussen de output van het originele model en een model waarbij experts in die laag zijn verwijderd.
• Berekening: De uiteindelijke belangrijkheidsscore ($s$) voor een expert is het product van de globale factor en de lokale kans: $s = \alpha \cdot \pi$. Hierdoor worden experts in kritieke lagen (vaak de lagere lagen) minder snel overslagen.

B. Dual-Modality Thresholding (DMT)
Om het modaal verschil te adresseren, introduceert MoDES twee verschillende drempelwaarden:

• $\tau_t$ voor teksttokens: Een strengere drempel, aangezien teksttokens meer afhankelijk zijn van specifieke experts.
• $\tau_v$ voor visuele tokens: Een lagere drempel, omdat visuele tokens meer redundantie vertonen en agressiever kunnen worden overslagen.
• Experts worden alleen uitgevoerd als hun belangrijkheidsscore boven de specifieke drempel voor hun token-type ligt.

C. Frontier Search Algorithm
Om de optimale drempelwaarden ($\tau_t, \tau_v$) te vinden binnen een gegeven budget voor overslaan (bijv. 80% overslaan), wordt een efficiënt zoekalgoritme gebruikt:

• Het algoritme maakt gebruik van de monotonie-eigenschap: hogere drempels leiden tot meer overslaan en lagere nauwkeurigheid.
• In plaats van een brute-force zoektocht ($O(N \cdot D^2)$), zoekt het naar een "frontier" van optimale combinaties met een complexiteit van $O(N \cdot D)$.
• Dit reduceert de zoektijd van dagen naar slechts enkele uren voor modellen met tientallen miljarden parameters.

3. Belangrijkste Resultaten

MoDES werd getest op drie verschillende modelseries (Kimi-VL, Qwen3-VL-MoE, InternVL-3.5) over 13 benchmarks voor beeld- en videobegrip.

• Prestatieverbetering: Bij een zeer agressieve overslaan-ratio van 88% (voor Qwen3-VL-MoE-30B), behaalde MoDES een prestatieverbetering van 10,67% ten opzichte van de beste bestaande methoden (DiEP, MC-MoE, NAEE).
  • Voorbeeld: Qwen3-VL behaalde 97,33% van de originele nauwkeurigheid met MoDES, terwijl andere methoden rond de 86,66% bleven.
• Snelheidswinst:
  • Prefilling: 2,16x sneller.
  • Decoding: 1,26x sneller.
• Robuustheid: De methode werkt consistent goed over verschillende backbones en is compatibel met kwantisatie (combinatie met MC-MoE levert nog betere resultaten op).
• Efficiëntie: De kalibratie en zoektijd voor een 30B-parameter model duurt minder dan 4 uur op 8x H200 GPU's.

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Inzicht in MLLM-dynamiek: Het paper identificeert en kwantificeert voor het eerst dat expert-bijdrage per laag varieert en dat er een fundamenteel verschil is in hoe tekst- en visuele tokens door experts worden verwerkt.
2. Training-vrije oplossing: MoDES vereist geen hertraining van het model, wat het direct toepasbaar maakt voor bestaande state-of-the-art modellen.
3. Efficiëntie zonder kwaliteitsverlies: Het demonstreert dat het mogelijk is om meer dan 80% van de rekenkracht (experts) te besparen zonder de nauwkeurigheid van multimodale taken significant te verlagen.
4. Praktische toepasbaarheid: Door de snelle zoekalgoritme en de integratie in de CUDA-kernels (zonder extra kernel launches), is MoDES direct inzetbaar voor productiesystemen.

Conclusie:
MoDES oplost het fundamentele probleem van inefficiëntie in MoE-MLLMs door slimme, modaal- en laag-specifieke dynamiek te gebruiken. Het stelt onderzoekers en ontwikkelaars in staat om zeer grote multimodale modellen veel sneller en goedkoper te draaien, terwijl ze de hoge prestaties behouden die nodig zijn voor complexe visueel-taaktaken.