💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

Dit artikel diagnoseert systematisch vijf verschillende trainingsfoutmodi van Token-Choice sparse Mixture-of-Experts in video Diffusion Transformers, stelt een "Functionele Redundantie Hypothese" voor om de waargenomen selectieve deadlock te verklaren, en biedt een complete engineeringoplossing samen met een evolutionaire routekaart voor het schalen van deze architecturen.

Oorspronkelijke auteurs: Haiying Sha

Gepubliceerd 2026-05-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haiying Sha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Video-generator Upgrade

Stel je voor dat je een zeer getalenteerde, eenpersoons video-editor hebt (een "Dicht Model") die alles kan doen: clips bewerken, tekst toevoegen, kleuren veranderen en instructies volgen. Ze is geweldig, maar ze is traag en duur om te draaien.

De onderzoekers wilden deze editor upgraden naar een Mixture-of-Experts (MoE) team. Denk hierbij aan het inhuren van een team specialisten:

De Manager (Router): Beslist welke taak naar wie gaat.
De Specialist (Routed Experts): Twee klonen van de oorspronkelijke editor, klaar om specifieke taken te doen.
De Stage-assistent (Shared Expert): Een nieuwe aanwinst die algemene kennis leert om iedereen te helpen.

Het doel was om de video-generator slimmer en sneller te maken door de Manager verschillende delen van een video naar verschillende Specialist te sturen. Echter, de onderzoekers ontdekten dat deze upgrade niet soepel verliep. In plaats van een gelukkig team, vonden ze een systeem dat vaak "bevroor" of instortte.

De Drie Regels van de Upgrade (De "Drie Wetten")

Voordat de experimenten begonnen, realiseerden de onderzoekers zich dat ze drie strenge regels moesten volgen om überhaupt te kunnen beginnen, anders zou het hele project crashen:

Verander de Uniformen niet (Structurele Consistentie): De Specialist moeten exact gebouwd zijn zoals de oorspronkelijke editor. Als de oorspronkelijke een specifiek type wiskunde gebruikte (GELU), moeten de Specialist hetzelfde gebruiken. Als je probeert een andere stijl in te wisselen (zoals SwiGLU), passen de gewichten niet en breekt het model direct.
Verklein het Signaal niet (1:1 Klonen): Bij het kopiëren van het brein van de oorspronkelijke editor naar de Specialist, moet je het exact kopiëren. Probeer niet de getallen "te schalen" om ze beter te laten passen. Als je het signaal verkleint, vervaagt de video-uitvoer naar zwart omdat het signaal laag voor laag verloren gaat.
De "Micro-ruis" Stage-assistent (Initialisatie van de Gedeelde Expert): Dit is het lastigste deel. De "Stage-assistent" (Shared Expert) begint met bijna nul kennis.
- De Valstrik: Als je de Stage-assistent start met perfect nul-gewichten, is de wiskunde van de computer (specifiek de bfloat16 precisie) zo ruw dat het de kleine updates afrondt tot nul. De Stage-assistent wordt nooit wakker.
- De Oplossing: Je moet de Stage-assistent een tiny, bijna onzichtbare "vonk" van ruis geven (zoals een kleine statische schok) om te starten. Dit is genoeg om ze wakker te maken zonder de video-uitvoer te veranderen, maar het stelt hen in staat om te beginnen met leren.

Wat Ging Fout: De Diagnose van het Falen

De onderzoekers draaiden het systeem 5.000 stappen en keken hoe de "Manager" (Router) taken toewees. Ze vonden een hiërarchie van fouten:

1. De Lineaire Router: Het "Vlakke Lijn" Probleem

De Opzet: Ze gebruikten een simpele, rechte Manager.
Het Resultaat: De Manager raakte in de war. Hij kon het verschil tussen taken niet zien. Hij eindigde met het sturen van alles naar beide Specialist gelijk, maar op een manier die ze identiek maakte.
De Analogie: Stel je een manager voor die alleen een rechte lijn op een kaart kan tekenen. Als het terrein complex is (zoals een video met veel taken), kan een rechte lijn de gebieden niet scheiden. De twee Specialist werden klonen van elkaar (99% gelijk), en het systeem voegde alleen extra kosten toe zonder nieuwe vaardigheden.

2. De MLP Router: De "Selectieve Doodloop"

De Opzet: Ze upgradeerden de Manager om slimmer te zijn (niet-lineair/MLP).
Het Resultaat: De globale verwarring stopte, maar een nieuw, sluimerend probleem verscheen genaamd Selectieve Doodloop.
Het Fenomeen: Ongeveer één derde van de videolagen stopte met het gebruik van beide Specialist. In plaats daarvan kozen ze één Specialist en negeerden de ander volledig.
De Analogie: Stel je een team van twee werknemers voor. De Manager beseft: "Hé, Werknemer A doet 90% van het werk, en Werknemer B voegt niet veel toe." Dus stopt de Manager met het sturen van werk naar Werknemer B. Werknemer B zit inactief. Zelfs als je de Manager toeschreeuwt (de straf voor gebrek aan balans verhogen), zal hij niet veranderen omdat het systeem zichzelf heeft overtuigd dat één werknemer genoeg is.
Het Patroon: Dit gebeurde niet willekeurig. Het gebeurde in een U-vorm:
- Bovenkant van de U (Vroege Lagen): De "ogen" van het model (ruwe pixels verwerken) raakten vast.
- Bodem van de U (Diepe Lagen): Het "brein" van het model ( complexe betekenis verwerken) raakte vast.
- Midden: De middelste lagen werkten prima.

3. De Cross-Attention Router: De "Zelfhelende" Poging

De Opzet: Ze gaven de Manager een superkracht: het vermogen om de tekst-instructies te lezen terwijl hij naar de video keek (met behulp van Cross-Attention).
Het Resultaat: Dit was de beste opzet. Sommige lagen die "dood" waren, werden daadwerkelijk wakker en begonnen weer te werken!
De Beperking: Zelfs met deze superkracht bleven ongeveer 9 lagen koppig vastzitten. De Manager kon nog steeds niet uitzoeken hoe hij beide Specialist in die specifieke lagen moest gebruiken.

De "Functionele Redundantie" Theorie: Waarom gebeurde dit?

De onderzoekers stelden een theorie op om uit te leggen waarom de Specialist vastliepen. Ze noemen het de Functionele Redundantie Hypothese.

De Metafoor: Stel je een team voor van "Twee Meesters + Één Leerling".
- De Meesters (Routed Experts) zijn identieke klonen van de oorspronkelijke expert.
- De Leerling (Shared Expert) begint met bijna geen vaardigheden (micro-ruis).
Het Proces:
1. Start: De Leerling doet niets. De twee Meesters zijn identiek. De Manager (Gate) ziet geen reden om beide Meesters te gebruiken, dus kiest hij er één en negeert de ander. De genegeerde Meester wordt een "strategische reserve" (vastgelopen).
2. Growth: De Leerling leert langzaam algemene vaardigheden.
3. Het Ontwaken: Zodra de Leerling goed genoeg is om de saaie, basis taken te doen, beseft de Manager: "Ik kan de basiszaken aan de Leerling geven!" Dit maakt de "dode" Meester vrij om iets nieuws en anders te leren.
De Conclusie: De "dode" lagen zijn niet kapot; ze wachten. Ze wachten tot de Leerling (Shared Expert) groot genoeg is om hen te ondersteunen. Totdat de Leerling sterk is, blijft het systeem in een "doodloop" om energie te besparen.

De "Bfloat16" Valstrik

Het paper vond ook een verborgen technische valstrik. Bij training met een specifiek type computerwiskunde (bfloat16), als een getal heel klein is (zoals de kleine ruis die aan de Stage-assistent wordt gegeven), rondt de computer de updates af tot nul. Het is alsof je de groei van een zaadje probeert te meten met een liniaal die alleen in meters meet. Het zaadje groeit, maar de liniaal zegt "0."

De Oplossing: Houd de "hoofdkopie" van de gewichten in hoge precisie (float32) en gebruik alleen de ruwere wiskunde voor de daadwerkelijke stappen van de video-generatie.

Het Stappenplan: Waar gaat dit naartoe?

Op basis van deze bevindingen stellen de auteurs een drie-stappenplan voor voor de toekomst:

Korte Termijn: De tekstgeneratie repareren. Momenteel kan het model woorden niet goed spellen. Ze plannen om een specifieke "Tekst Expert" aan het team toe te voegen die alleen letters en vormen behandelt.
Middellange Termijn: Geluid toevoegen. Ze willen een "Audio Expert" toevoegen zodat het model video en geluid samen kan genereren, in plaats van ze apart te maken.
Lange Termijn: Een "Wereldmodel" bouwen. Ze willen experts toevoegen die fysica begrijpen (zwaartekracht, botsingen) zodat de AI niet alleen mooie plaatjes maakt, maar begrijpt hoe de wereld echt werkt.

De Conclusie

Het paper concludeert dat onder het huidige "Token-Choice" systeem (waar tokens experts kiezen), doodloop een structureel probleem is, geen bug. Je kunt het niet oplossen door alleen maar aan nummers te sleutelen. Om alle experts volledig wakker te maken, moet je óf beginnen met een slimmere "Stage-assistent" (Shared Expert) óf de hele manier waarop het team is georganiseerd veranderen. Dit is een van de eerste gedetailleerde studies die precies laat zien waarom deze video-AI-upgrades vaak niet werken zoals verwacht.

Technische Samenvatting: Diagnose van Visual MoE Routing

1. Probleemstelling

Hoewel Mixture-of-Experts (MoE) taalmodellen succesvol heeft geschaald, blijft de toepassing op videogeneratie met Diffusion Transformers (DiT's) in de kinderschoenen en vatbaar voor mislukking. Bestaande pogingen leveren vaak beperkte voordelen op vanwege fundamentele verschillen tussen visuele en taal-tokens: visuele tokens vertonen extreme ruimtelijke redundantie, distributiedrift veroorzaakt door diffusiestappen, en conflicterende routing-signalen in multi-task omgevingen.

Dit artikel adresseert het gebrek aan systematische diagnose van de trainingsdynamiek van Token-Choice sparse MoE in video DiT's. Specifiek onderzoekt het waarom routing-mechanismen falen, wat leidt tot een "deadlock" waarbij specifieke lagen of experts niet meer effectief functioneren, en streeft het naar begrip van de randvoorwaarden van het huidige Token-Choice paradigma.

2. Methodologie

Het onderzoek maakt gebruik van een rigoureuze, minimalistische experimentele opstelling die is ontworpen om maskeringseffecten van voorgeprogrammeerde capaciteiten te elimineren:

Basismodel: Een voorgeprogrammeerd dicht videogeneratiemodel (Kiwi-Edit, ~8B parameters, een combinatie van Wan2.2-TI2V-5B en Qwen2.5-VL-3B) wordt omgezet naar een MoE-architectuur.
Conversiestrategie (De "Drie Wetten"):
1. Structurele consistentie: Gerouteerde experts moeten exact overeenkomen met de oorspronkelijke FFN-structuur (bijvoorbeeld GELU-activering, bias-configuraties).
2. 1:1 Gewichtscloning: Gerouteerde experts worden geïnitieerd door de dichte FFN-gewichten exact te klonen zonder schaling (in tegenstelling tot standaard strategieën voor willekeurige initialisatie).
3. Gedeelde expert-initialisatie: Gedeelde experts worden geïnitieerd met alle-nul-gewichten voor architecturale verificatie (zorgend voor output-equivalentie met het dichte model) en vervolgens herinitialiseerd met extreem kleine niet-nul ruis (bijvoorbeeld $\sigma=10^{-4}$ ) voor training om symmetrie te doorbreken en hardware-truncatie te voorkomen.
Router-architecturen: Drie router-types worden vergeleken: Lineair (Softmax), Niet-lineair MLP en Cross-Attention (gebruikmakend van multimodale tekstinstructies).
Trainingsregime: Een 9-in-1 multi-task videogeneratie-dataset (20k samples) wordt gebruikt voor 5.000 stappen op een enkele NVIDIA A100. Training gebruikt bfloat16 mixed precision met trainbare parameters (gates en gedeelde experts) bewaard in float32 master-kopieën.
Monitoring: Gedetailleerde logging van expertbenutting (minderheidsexpert-fraction) over 30 Transformer-lagen en meer dan 65 miljoen tokens.

3. Belangrijkste bevindingen en resultaten

3.1 Hiërarchie van routing-fouten

De studie identificeert een progressie van faalmodi:

Globale zachte verzadiging (Lineaire routers): Lineaire routers lijden aan globale zachte verzadiging waarbij Softmax-gradiënten verdwijnen, wat leidt tot volledige expert-homogenisatie (cosinussimilariteit >0,99). De MoE ontaardt in een structureel ongelijk dicht netwerk zonder capaciteitswinst.
Selectieve deadlock (MLP-routers): Niet-lineaire MLP-routers lossen globale verzadiging op maar introduceren "selectieve deadlock". Ongeveer een derde van de lagen ontaardt in een single-expert-modus. Het verhogen van de auxiliary loss (tot 0,2) voorkomt dit niet, wat wijst op een structureel systeemniveau-probleem in plaats van een eenvoudig load-balancing-probleem.
Zelfherstel en aanhoudende deadlock (Cross-Attention routers): Cross-attention routers vertonen een uniek "zelfherstel"-fenomeen waarbij sommige vergrendelde lagen spontaan herstellen. Ongeveer 9 lagen blijven echter hardnekkig vergrendeld.

3.2 De "U-vormige" deadlock-distributie

Vergrendelde lagen zijn niet willekeurig verdeeld maar volgen een uitgesproken U-vormige structuur:

Flauwe lagen (1–10): Zwaar geconcentreerd vanwege de moeilijkheid om ruimtelijk redundante laag-niveau visuele kenmerken te onderscheiden.
Diepe lagen (18–25): Zwaar geconcentreerd vanwege samengeperste beslissingsruimtes in semantische integratielagen.
Intermediaire lagen: Handhaven een bijna uniforme benutting.

3.3 De bfloat16 precisie-val

Een kritieke numerieke val is geïdentificeerd: onder bfloat16 mixed precision worden kleine gewichtsupdates voor gedeelde experts (geïnitieerd dicht bij nul) tot nul getruncateerd door hardware omdat de updategrootte onder de Unit in the Last Place (ULP) valt.

Oplossing: Het artikel documenteert de noodzaak om trainbare parameter-masterkopieën in float32 te houden en gedeelde experts te initialiseren met micro-ruis ( $10^{-4}$ ) in plaats van absolute nul om gradiëntaccumulatie te waarborgen.

3.4 De hypothese van functionele redundantie

Het artikel stelt de hypothese van functionele redundantie voor om selectieve deadlock te verklaren. Het postuleert dat deadlock een rationele, gefaseerde resource-allocationstrategie is binnen een triade van "gate, gedeelde expert, gerouteerde experts":

Initieel heeft de gedeelde expert (leerling) een bijna-nul capaciteit. Het systeem vertrouwt op de twee gerouteerde experts (meesters), die identiek zijn vanwege gewichtscloning.
De gate kiest natuurlijk één meester om redundantie te minimaliseren, waardoor de andere als "strategische reserve" achterblijft (vergrendeld).
Naarmate de gedeelde expert geleidelijk gemeenschappelijke kennis leert, creëert deze nieuwe functionele redundantie. Dit stelt het systeem uiteindelijk in staat om de vergrendelde gerouteerde expert te "bevrijden" voor gespecialiseerde arbeidsverdeling.
De hypothese suggereert dat het elimineren van deadlock vereist dat de gedeelde expert een kritieke capaciteitsdrempel bereikt voordat het systeem kan herconfigureren.

4. Ingenieursbijdragen

Drie wetten van Dense-naar-MoE conversie: Een geverifieerd protocol voor het converteren van voorgeprogrammeerde dichte modellen naar MoE zonder architecturale mismatch of signaalinstorting.
Mitigatie van precisie-val: Een complete oplossing voor het bfloat16 update-truncatie-probleem in MoE-training.
In-context conditioning: Validatie van sequentieconcatenatie (in plaats van optelling) voor multimodale kenmerkenfusie om kenmerkcontaminatie te voorkomen.
Oplossing voor tekstweergave: Een voorgestelde MoE-gebaseerde architectuur voor tekstgeneratie met een dedicated "tekstexpert" en een Glyph-ByT5-encoder om instorting op te karakter-niveau op te lossen.

5. Betekenis en claims

Het artikel claimt de eerste uitgebreide empirische diagnose te bieden van routing-falen in real-world videogeneratie MoE-implementaties. De betekenis ligt in:

Kalibratie van grenzen: Het definieert precies de capaciteitsgrens van het Token-Choice paradigma, met de conclusie dat onder huidige single-GPU, frozen-expert-omstandigheden, volledige eliminatie van dode experts structureel onmogelijk is, ongeacht de complexiteit van de router.
Theoretisch perspectief: Het biedt een nieuw theoretisch kader (Functionele Redundantie) geworteld in systeembiologie om MoE-trainingsdynamiek te interpreteren, verder gaand dan eenvoudige load-balancing-metrieken.
Evolutionaire routekaart: Gebaseerd op deze bevindingen schetsen de auteurs een pad van "visuele unificatie" naar een "engine voor algemene intelligentie", waarbij toekomstige vooruitgang vereist:
1. Verbeterde gedeelde expert-initialisatie (voorgeprogrammeerde kennis).
2. Gedifferentieerd expert-gewichtsontwerp.
3. Potentiële migratie naar Expert-Choice of dynamische routing-paradigma's.
4. Integratie van fysische priors en causale redenering voor wereldmodellering.

Het werk benadrukt dat, hoewel huidige Token-Choice MoE structurele deadlock ondervindt in visuele domeinen, het begrijpen van deze faalmodi de noodzakelijke basis vormt voor de volgende generatie multimodale generatieve modellen.