💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

Ce papier diagnostique systématiquement cinq modes de défaillance d'entraînement distincts des mélanges d'experts à sélection de tokens (Token-Choice sparse Mixture-of-Experts) dans les transformateurs de diffusion vidéo, propose une « hypothèse de redondance fonctionnelle » pour expliquer le blocage sélectif observé, et offre une solution d'ingénierie complète accompagnée d'une feuille de route évolutive pour le passage à l'échelle de ces architectures.

Auteurs originaux : Haiying Sha

Publié 2026-05-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haiying Sha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Essayer de Mettre à Niveau un Générateur Vidéo

Imaginez que vous avez un monteur vidéo très talentueux, travaillant seul (un « Modèle Dense »), capable de tout faire : éditer des séquences, ajouter du texte, changer les couleurs et suivre des instructions. Il est excellent, mais il est lent et coûteux à faire tourner.

Les chercheurs voulaient transformer ce monteur en une équipe de type Mélange d'Experts (MoE). Imaginez cela comme embaucher une équipe de spécialistes :

Le Manager (Routeur) : Décide quelle tâche revient à qui.
Les Spécialistes (Experts Routés) : Deux clones du monteur original, prêts à accomplir des tâches spécifiques.
Le Stagiaire (Expert Partagé) : Un nouvel embauché qui apprend des connaissances générales pour aider tout le monde.

L'objectif était de rendre le générateur vidéo plus intelligent et plus rapide en faisant en sorte que le Manager envoie différentes parties d'une vidéo à différents Spécialistes. Cependant, les chercheurs ont découvert que cette mise à niveau ne se passait pas sans accroc. Au lieu d'une équipe heureuse, ils ont trouvé un système qui « gelait » souvent ou s'effondrait.

Les Trois Règles de la Mise à Niveau (Les « Trois Lois »)

Avant les expériences, les chercheurs ont réalisé qu'ils devaient suivre trois règles strictes pour même commencer, sinon tout s'effondrerait :

Ne Changez Pas les Uniformes (Cohérence Structurelle) : Les Spécialistes doivent être construits exactement comme le monteur original. Si l'original utilisait un type spécifique de mathématiques (GELU), les Spécialistes doivent utiliser le même. Si vous essayez d'en remplacer un par un style différent (comme SwiGLU), les poids ne correspondent pas et le modèle se brise immédiatement.
Ne Réduisez Pas le Signal (Clonage 1:1) : Lorsque vous copiez le cerveau du monteur original vers les Spécialistes, vous devez le copier exactement. N'essayez pas de « réduire l'échelle » des nombres pour qu'ils s'intègrent mieux. Si vous réduisez le signal, la sortie vidéo s'éteint jusqu'au noir car le signal se perd couche par couche.
Le Stagiaire « Micro-Bruit » (Initialisation de l'Expert Partagé) : C'est la partie la plus délicate. Le « Stagiaire » (Expert Partagé) commence avec presque zéro connaissance.
- Le Piège : Si vous démarrez le Stagiaire avec des poids parfaitement nuls, les mathématiques de l'ordinateur (spécifiquement la précision bfloat16) sont si grossières qu'elles arrondissent les minuscules mises à jour à zéro. Le Stagiaire ne se réveille jamais.
- La Solution : Vous devez donner au Stagiaire une étincelle minuscule, presque invisible, de bruit (comme une petite décharge statique) pour démarrer. Cela suffit à le réveiller sans modifier la sortie vidéo, mais cela lui permet de commencer à apprendre.

Ce Qui a Mal Tourne : Le Diagnostic de l'Échec

Les chercheurs ont fait tourner le système pendant 5 000 étapes et ont observé comment le « Manager » (Routeur) assignait les tâches. Ils ont trouvé une hiérarchie d'échecs :

1. Le Routeur Linéaire : Le Problème de la « Ligne Plate »

La Configuration : Ils ont utilisé un Manager simple, en ligne droite.
Le Résultat : Le Manager s'est confondu. Il ne pouvait pas faire la différence entre les tâches. Il a fini par envoyer tout aux deux Spécialistes de manière égale, mais d'une manière qui les rendait identiques.
L'Analogie : Imaginez un manager qui ne peut tracer qu'une ligne droite sur une carte. Si le terrain est complexe (comme une vidéo avec de nombreuses tâches), une ligne droite ne peut pas séparer les zones. Les deux Spécialistes sont devenus des clones l'un de l'autre (99 % similaires), et le système a simplement ajouté des coûts supplémentaires sans ajouter de nouvelles compétences.

2. Le Routeur MLP : Le « Verrouillage Sélectif »

La Configuration : Ils ont amélioré le Manager pour le rendre plus intelligent (non linéaire/MLP).
Le Résultat : La confusion globale a cessé, mais un nouveau problème sournois est apparu, appelé Verrouillage Sélectif.
Le Phénomène : Environ un tiers des couches vidéo ont cessé d'utiliser les deux Spécialistes. Au lieu de cela, ils ont choisi un Spécialiste et ont ignoré complètement l'autre.
L'Analogie : Imaginez une équipe de deux travailleurs. Le Manager réalise : « Hé, l'Ouvrier A fait 90 % du travail, et l'Ouvrier B n'ajoute pas grand-chose. » Alors, le Manager arrête d'envoyer du travail à l'Ouvrier B. L'Ouvrier B reste inactif. Même si vous criez sur le Manager (augmenter la pénalité pour déséquilibre), il ne changera pas car le système s'est convaincu qu'un seul travailleur suffit.
Le Motif : Cela ne s'est pas produit au hasard. Cela s'est produit en forme de U :
- Haut du U (Couches Tardives) : Les « yeux » du modèle (traitement des pixels bruts) sont restés coincés.
- Bas du U (Couches Profondes) : Le « cerveau » du modèle (traitement du sens complexe) est resté coincé.
- Milieu : Les couches du milieu ont bien fonctionné.

3. Le Routeur à Attention Croisée : La Tentative d'« Auto-Guérison »

La Configuration : Ils ont donné au Manager un super-pouvoir : la capacité de lire les instructions textuelles tout en regardant la vidéo (en utilisant l'Attention Croisée).
Le Résultat : C'était la meilleure configuration. Certaines couches qui étaient « mortes » se sont en fait réveillées et ont recommencé à travailler !
La Limite : Même avec ce super-pouvoir, environ 9 couches sont restées obstinément coincées. Le Manager ne parvenait toujours pas à comprendre comment utiliser les deux Spécialistes dans ces couches spécifiques.

La Théorie de la « Redondance Fonctionnelle » : Pourquoi Cela s'est-il Produite ?

Les chercheurs ont proposé une théorie pour expliquer pourquoi les Spécialistes se sont coincés. Ils l'appellent l'Hypothèse de la Redondance Fonctionnelle.

La Métaphore : Imaginez une équipe de « Deux Maîtres + Un Apprenti ».
- Les Maîtres (Experts Routés) sont des clones identiques de l'expert original.
- L'Apprenti (Expert Partagé) commence avec presque aucune compétence (micro-bruit).
Le Processus :
1. Début : L'Apprenti ne fait rien. Les deux Maîtres sont identiques. Le Manager (Porte) ne voit aucune raison d'utiliser les deux Maîtres, alors il en choisit un et ignore l'autre. Le Maître ignoré devient une « réserve stratégique » (verrouillée).
2. Croissance : L'Apprenti apprend lentement des compétences générales.
3. L'Éveil : Une fois que l'Apprenti est assez bon pour gérer les tâches ennuyeuses et de base, le Manager réalise : « Je peux donner les choses de base à l'Apprenti ! » Cela libère le Maître « mort » pour apprendre quelque chose de nouveau et de différent.
La Conclusion : Les couches « mortes » ne sont pas cassées ; elles attendent. Elles attendent que l'Apprenti (Expert Partagé) grandisse assez pour les soutenir. Tant que l'Apprenti n'est pas fort, le système reste dans un « verrouillage » pour économiser de l'énergie.

Le Piège du « Bfloat16 »

Le papier a également découvert un piège technique caché. Lors de l'entraînement avec un type spécifique de mathématiques informatiques (bfloat16), si un nombre est très petit (comme le minuscule bruit donné au Stagiaire), l'ordinateur arrondit les mises à jour à zéro. C'est comme essayer de mesurer la croissance d'une graine avec une règle qui ne mesure qu'en mètres. La graine grandit, mais la règle indique « 0 ».

La Solution : Gardez la « copie maître » des poids en haute précision (float32) et n'utilisez les mathématiques plus grossières que pour les étapes réelles de génération vidéo.

La Feuille de Route : Où Cela Mène-t-il ?

Sur la base de ces résultats, les auteurs proposent un plan en trois étapes pour l'avenir :

Court Terme : Corriger la génération de texte. Actuellement, le modèle n'arrive pas bien à épeler les mots. Ils prévoient d'ajouter un « Expert Texte » spécifique à l'équipe qui ne gère que les lettres et les formes.
Moyen Terme : Ajouter le Son. Ils veulent ajouter un « Expert Audio » afin que le modèle puisse générer vidéo et son ensemble, plutôt que de les créer séparément.
Long Terme : Construire un « Modèle du Monde ». Ils veulent ajouter des experts qui comprennent la physique (gravité, collisions) afin que l'IA ne crée pas seulement de jolies images, mais comprenne comment le monde fonctionne réellement.

La Conclusion

Le papier conclut que sous le système actuel de « Choix de Token » (où les tokens choisissent les experts), le verrouillage est un problème structurel, et non un bug. Vous ne pouvez pas le réparer simplement en ajustant des nombres. Pour réveiller complètement tous les experts, vous devez soit commencer avec un « Stagiaire » (Expert Partagé) plus intelligent, soit changer toute l'organisation de l'équipe. C'est l'une des premières études détaillées montrant exactement pourquoi ces mises à niveau d'IA vidéo échouent souvent à fonctionner comme prévu.

Résumé Technique : Diagnostic du Routage MoE Visuel

1. Énoncé du Problème

Bien que le mélange d'experts (MoE) ait permis de mettre à l'échelle avec succès les modèles de langage, son application à la génération vidéo utilisant des Transformers de Diffusion (DiT) reste naissante et sujette à l'échec. Les tentatives existantes offrent souvent des bénéfices limités en raison de différences fondamentales entre les tokens visuels et les tokens linguistiques : les tokens visuels présentent une redondance spatiale extrême, une dérive de distribution induite par les pas de diffusion, et des signaux de routage conflictuels dans des contextes multi-tâches.

Ce papier aborde l'absence de diagnostic systématique concernant la dynamique d'entraînement du MoE épars à choix de tokens dans les DiT vidéo. Plus précisément, il enquête sur les raisons pour lesquelles les mécanismes de routage échouent, conduisant à un « blocage » où certaines couches ou certains experts cessent de fonctionner efficacement, et cherche à comprendre les conditions limites du paradigme actuel de choix de tokens.

2. Méthodologie

La recherche emploie une configuration expérimentale rigoureuse et minimaliste conçue pour éliminer les effets de masquage des capacités préentraînées :

Modèle de Base : Un modèle vidéo dense préentraîné (Kiwi-Edit, ~8 milliards de paramètres, combinant Wan2.2-TI2V-5B et Qwen2.5-VL-3B) est converti en une architecture MoE.
Stratégie de Conversion (Les « Trois Lois ») :
1. Cohérence Structurelle : Les experts routés doivent correspondre exactement à la structure FFN originale (par exemple, activation GELU, configurations de biais).
2. Clonage de Poids 1:1 : Les experts routés sont initialisés en clonant exactement les poids FFN denses sans mise à l'échelle (contrairement aux stratégies d'initialisation aléatoire standard).
3. Initialisation de l'Expert Partagé : Les experts partagés sont initialisés avec des poids tous nuls pour vérification architecturale (assurant l'équivalence de sortie avec le modèle dense) puis réinitialisés avec un bruit non nul extrêmement faible (par exemple, $\sigma=10^{-4}$ ) pour l'entraînement, afin de briser la symétrie et éviter le troncature matérielle.
Architectures de Routeur : Trois types de routeurs sont comparés : Linéaire (Softmax), MLP non linéaire, et Attention Croisée (exploitant les instructions textelles multimodales).
Régime d'Entraînement : Un jeu de données vidéo multi-tâches 9-en-1 (20k échantillons) est utilisé pendant 5 000 étapes sur une seule NVIDIA A100. L'entraînement utilise la précision mixte bfloat16 avec des paramètres entraînables (portes et experts partagés) maintenus dans des copies maîtres float32.
Surveillance : Journalisation fine de l'utilisation des experts (fraction d'experts minoritaires) à travers 30 couches Transformer et plus de 65 millions de tokens.

3. Résultats et Constats Clés

3.1 Hiérarchie des Échecs de Routage

L'étude identifie une progression des modes d'échec :

Saturation Douce Globale (Routeurs Linéaires) : Les routeurs linéaires souffrent d'une saturation douce globale où les gradients Softmax s'évanouissent, conduisant à une homogénéisation complète des experts (similarité cosinus >0,99). Le MoE dégénère en un réseau dense structurellement inégal sans gain de capacité.
Blocage Sélectif (Routeurs MLP) : Les routeurs MLP non linéaires résolvent la saturation globale mais introduisent un « blocage sélectif ». Environ un tiers des couches dégénèrent en un mode à expert unique. L'augmentation de la perte auxiliaire (jusqu'à 0,2) échoue à prévenir cela, indiquant un problème systémique structurel plutôt qu'un simple problème d'équilibrage de charge.
Récupération Autonome et Blocage Persistant (Routeurs à Attention Croisée) : Les routeurs à attention croisée présentent un phénomène unique de « récupération autonome » où certaines couches bloquées rebondissent spontanément. Cependant, environ 9 couches restent opiniâtrement bloquées.

3.2 La Distribution de Blocage en « U »

Les couches bloquées ne sont pas distribuées au hasard mais suivent une structure en U prononcée :

Couches Superficielles (1–10) : Fortement concentrées en raison de la difficulté à distinguer les caractéristiques visuelles de bas niveau spatialement redondantes.
Couches Profondes (18–25) : Fortement concentrées en raison des espaces de décision compressés dans les couches d'intégration sémantique.
Couches Intermédiaires : Maintiennent une utilisation quasi uniforme.

3.3 Le Piège de Précision bfloat16

Un piège numérique critique a été identifié : sous la précision mixte bfloat16, les minuscules mises à jour de poids pour les experts partagés (initialisés près de zéro) sont tronquées à zéro par le matériel car l'amplitude de la mise à jour tombe en dessous de l'Unité dans le Dernier Rang (ULP).

Solution : Le papier documente la nécessité de maintenir les copies maîtres des paramètres entraînables en float32 et d'initialiser les experts partagés avec un micro-bruit ( $10^{-4}$ ) plutôt qu'un zéro absolu pour assurer l'accumulation des gradients.

3.4 L'Hypothèse de Redondance Fonctionnelle

Le papier propose l'Hypothèse de Redondance Fonctionnelle pour expliquer le blocage sélectif. Il postule que le blocage est une stratégie rationnelle d'allocation de ressources en phases au sein d'un triade « porte, expert partagé, experts routés » :

Initialement, l'expert partagé (apprenti) a une capacité proche de zéro. Le système repose sur les deux experts routés (maîtres), qui sont identiques en raison du clonage des poids.
La porte sélectionne naturellement un maître pour minimiser la redondance, laissant l'autre comme « réserve stratégique » (bloqué).
À mesure que l'expert partagé apprend progressivement des connaissances communes, il crée une nouvelle redondance fonctionnelle. Cela permet éventuellement au système de « libérer » l'expert routé bloqué pour une division spécialisée du travail.
L'hypothèse suggère que l'élimination du blocage nécessite que l'expert partagé atteigne un seuil de capacité critique avant que le système ne puisse se reconfigurer.

4. Contributions Techniques

Trois Lois de la Conversion Dense-vers-MoE : Un protocole vérifié pour convertir des modèles denses préentraînés en MoE sans incohérence architecturale ni effondrement de signal.
Atténuation du Piège de Précision : Une solution complète au problème de troncature des mises à jour bfloat16 dans l'entraînement MoE.
Conditionnement In-Context : Validation de la concaténation de séquences (par opposition à l'addition) pour la fusion de caractéristiques multimodales afin d'éviter la contamination des caractéristiques.
Solution de Rendu Textuel : Une architecture basée sur MoE proposée pour la génération de texte impliquant un « expert texte » dédié et un encodeur Glyph-ByT5 pour résoudre l'effondrement au niveau des caractères.

5. Importance et Revendications

Le papier revendique fournir le premier diagnostic empirique complet de l'échec de routage dans les déploiements MoE de génération vidéo réels. Son importance réside dans :

Calibration des Limites : Il définit précisément la limite de capacité du paradigme de choix de tokens, concluant que dans les conditions actuelles d'un seul GPU et d'experts figés, l'élimination complète des experts morts est structurellement impossible, quelle que soit la complexité du routeur.
Perspective Théorique : Il offre un nouveau cadre théorique (Redondance Fonctionnelle) ancré dans la biologie des systèmes pour interpréter la dynamique d'entraînement MoE, dépassant les simples métriques d'équilibrage de charge.
Feuille de Route Évolutive : Sur la base de ces résultats, les auteurs esquissent un chemin allant de l'« unification visuelle » à un « moteur d'intelligence générale », suggérant que les progrès futurs nécessitent :
1. Une amélioration de l'initialisation des experts partagés (connaissances préentraînées).
2. Une conception différenciée des poids des experts.
3. Une migration potentielle vers des paradigmes de choix d'experts ou de routage dynamique.
4. L'intégration de priors physiques et de raisonnement causal pour la modélisation du monde.

L'ouvrage souligne que si le MoE à choix de tokens actuel fait face à un blocage structurel dans les domaines visuels, la compréhension de ces modes d'échec fournit la base nécessaire pour la prochaine génération de modèles génératifs multimodaux.