🤖 machine learning

MMOE: Modernizing Diffusion Transformers with Efficient Expert Design

Le document introduit ModernMOE (MMOE), une architecture de transformateur de diffusion modernisée qui adapte les principes de mise à l'échelle efficaces des LLM — tels que les experts routés, les experts légers partagés et le routage résiduel — pour parvenir à une convergence plus rapide et à un meilleur équilibre qualité-coût dans la génération AIGC par rapport aux bases de référence denses et traditionnellement creuses, le tout dans un budget d'entraînement accessible sur une seule machine.

Auteurs originaux : Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Publié 2026-07-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs apprennent à peindre, à rêver et à créer de l'art à partir de rien. C'est le domaine de l'Intelligence Artificielle, plus précisément d'une branche appelée « IA générative », où les machines génèrent de nouvelles images, vidéos et histoires. Pour ce faire, elles utilisent de gigantesques cerveaux numériques appelés « Modèles de Fondation ». Voyez ces modèles comme de gigantesques bibliothèques de motifs ; plus ils lisent de livres (données) et plus leurs étagères (paramètres) sont grandes, plus ils deviennent performants pour créer. Cependant, il y a un bémol : agrandir ces bibliothèques signifie généralement qu'elles mettent une éternité à lire et nécessitent un supercalculateur pour fonctionner, ce qui est coûteux et lent.

Récemment, des scientifiques ont découvert une astuce ingénieuse utilisée par les modèles de langage (ceux qui écrivent du texte) pour résoudre ce problème. Au lieu de lire chaque livre de la bibliothèque pour chaque question, ils ont construit un système composé de nombreux « experts » différents. Lorsqu'une question arrive, un gardien intelligent décide quels quelques experts sont nécessaires pour répondre, tandis que les autres peuvent prendre une pause café. C'est ce qu'on appelle un « Mélange d'Experts » (Mixture of Experts ou MoE). C'est comme avoir une équipe de spécialistes où l'on n'appelle le plombier que lorsqu'il y a une fuite, plutôt que de réveiller toute l'équipe de médecins, de chefs et de mécaniciens. La grande question pour les créateurs d'images était : pouvons-nous utiliser cette même astuce consistant à « n'appeler que les experts dont on a besoin » pour rendre les générateurs d'images plus rapides et moins chers sans les rendre moins créatifs ?

Ce document présente un nouveau système appelé MMOE (ModernMOE) pour répondre à cette question. Les chercheurs ont pris un générateur d'images standard, qui force habituellement chaque partie de son cerveau à travailler sur chaque pixel, et lui ont offert une mise à niveau moderne. Au lieu de simplement ajouter plus d'experts en espérant le meilleur, ils ont redessiné le flux de travail de l'équipe. Ils ont ajouté quelques experts « paresseux » spéciaux capables de faire des choses simples comme copier une image ou ne rien faire du tout, économisant ainsi de l'énergie. Ils ont également ajouté un système de « porte résiduelle » (gate-residual), qui permet au gardien de se souvenir de ce qu'il a décidé à l'étape précédente, afin de ne pas avoir à tout repenser à partir de zéro. Enfin, ils ont permis aux experts de partager des notes entre eux à travers les différentes couches du cerveau, afin que l'information circule plus fluidement.

L'équipe a testé ce nouveau système MMOE sur un seul ordinateur puissant doté de huit cartes graphiques, en l'entraînant pendant 400 000 étapes. Ils l'ont comparé à d'anciens modèles « denses » où tout fonctionne tout le temps, et à d'autres modèles « creux » (sparse) qui possèdent simplement plus d'experts mais sans raccourcis intelligents. Les résultats suggèrent que le MMOE est le vainqueur dans une course à l'efficacité. Il a appris à créer des images de haute qualité plus rapidement que les autres, atteignant un score d'erreur plus bas (appelé FID) à chaque étape. Il ne s'est pas contenté de s'améliorer ; il s'est amélioré de manière plus rentable. L'analyse a montré que le système a appris à utiliser fréquemment ses experts « paresseux », surtout lors des premières étapes de la création d'une image, et que les experts se sont spécialisés dans différentes tâches sans se confondre.

Le document soutient que le simple fait de rendre les modèles plus grands et plus complexes n'est pas la seule façon de les améliorer. Au lieu de cela, en empruntant des astuces d'efficacité intelligentes aux modèles de langage — comme l'utilisation d'experts légers et le partage d'informations — l'équipe suggère que nous pouvons construire des générateurs d'images qui soient à la fois de haute qualité et pratiques à exploiter avec des budgets plus modestes. Bien que l'étude ait été limitée à des types d'images spécifiques et n'ait pas testé tous les scénarios possibles, les résultats suggèrent fortement que cette approche « modernisée » est une voie prometteuse, offrant un meilleur équilibre entre la qualité visuelle des images et le coût de leur production.

Résumé Technique : MMOE : Moderniser les Diffusion Transformers avec une conception d'experts efficace

Problématique
Alors que les grands modèles de langage (LLM) ont réussi leur mise à l'échelle en découplant la capacité totale de paramètres de la computation activée grâce aux mélanges d'experts (MoE) épars et aux mécanismes d'efficacité (ex: experts à calcul nul, routage par résidu de porte), les modèles de fondation pour l'AIGC (AFM), spécifiquement les architectures de type diffusion-transformer, ont suivi une trajectoire différente. Les efforts actuels pour appliquer le MoE aux diffusion transformers (ex: DiT-MoE, Race-DiT) se concentrent principalement sur l'élargissement du pool d'experts total et des ratios de parcimonie sans importer les mécanismes d'efficacité qui rendent la mise à l'échelle des LLM pratique. Cette approche produit souvent des modèles difficiles à entraîner et à déployer sur des appareils aux ressources limitées, échouant à équilibrer la qualité de génération avec les coûts d'entraînement et de déploiement. Le papier pose la question suivante : les principes architecturaux derrière la mise à l'échelle efficace des LLM peuvent-ils être adaptés aux AFM pour améliorer la qualité de génération sans augmenter proportionnellement la computation effective ou la charge d'entraînement ?

Méthodologie : ModernMOE (MMOE)
Les auteurs proposent ModernMOE (MMOE), une modernisation des diffusion transformers de style SiT qui intègre systématiquement quatre mécanismes d'efficacité prouvés dans les LLM dans le backbone de diffusion. Crucialement, MMOE garde l'interface externe (objectif de débruitage, conditionnement, représentation latente et échantillonneur) inchangée, ne modifiant que le calcul interne au niveau des blocs.

L'architecture introduit les composants suivants :

Couche d'experts MoE++ : Au lieu des MLPs routés standards, le pool d'experts comprend :
- Experts Lourds (Heavy Experts) : MLPs standards.
- Experts Légers à Calcul Nul (Lightweight Zero-Computation Experts) : Des experts « Copy » (identité), « Zero » (sortie nulle) et « Constant » (mélange de vecteurs appris). Ils permettent au modèle de sauter l'exécution complète du MLP pour les tokens où une mise à jour lourde est inutile.
Routage par Résidu de Porte (Gate-Residual Routing) : Le routeur incorpore un résidu de la décision de la porte de la couche d'expert précédente, permettant aux tendances de routage d'être héritées à travers les couches, ce qui stabilise les décisions.
Experts Partagés (Shared Experts) : Un expert dense partagé est toujours actif pour fournir un chemin de calcul commun, aux côtés d'experts routés pour la spécialisation dépendante du token.
Agrégation par Résidu d'Attention (Attention-Residual Aggregation) : Le modèle réutilise les informations des états de blocs précédemment complétés. Avant les sous-couches d'attention et de MLP, le modèle agrège les représentations d'une liste d'états de blocs complétés en utilisant une pseudo-requête apprise, permettant la réutilisation de l'information cross-profondeur sans nouveaux objectifs génératifs.

Le passage direct (forward pass) maintient des états récurrents (états de blocs complétés, état partiel actuel et résidus de porte) pour faciliter cette agrégation et ce routage.

Contributions Clés

Formulation de la modernisation des AFM : Le papier cadre la mise à l'échelle des AFM comme un problème de modernisation, examinant systématiquement si les conceptions MoE des LLM peuvent améliorer les diffusion transformers sans simplement gonfler les nombres de paramètres ou les ratios de parcimonie.
Architecture Unifiée : La proposition de MMOE, qui intègre les experts routés, les experts partagés, les experts légers à calcul nul, le routage par résidu de porte et l'agrégation par résidu d'attention dans un seul backbone de style SiT.
Étude Empirique Contrôlée : Les auteurs fournissent une comparaison rigoureuse et contrôlée du chemin de modernisation (Dense SiT $\to$ Standard MoE $\to$ Shared MoE $\to$ MoE++ $\to$ AttnRes-MoE $\to$ MMOE) sous un budget d'entraînement correspondant et accessible (un seul nœud de huit GPU H100, taille de batch 256, 400k étapes).

Résultats
Évalué sur la génération ImageNet-256 conditionnelle par classe :

Convergence et Qualité : MMOE atteint un FID (Fréchet Inception Distance) plus bas à chaque checkpoint enregistré par rapport au SiT dense et aux baselines intermédiaires à experts épars. Il converge plus rapidement par étape d'entraînement, atteignant un FID de 3,75 à 400k étapes contre 5,20 pour la baseline dense.
Efficacité : Alors que les variantes MoE standards augmentaient le temps d'entraînement réel dû au surcoût du routage, MMOE a obtenu le meilleur équilibre qualité-coût parmi les variantes éparses. Il a réduit le temps d'entraînement de la variante la plus coûteuse (AMOE) de 120 heures à 67 heures tout en maintenant un FID supérieur.
Scalabilité : Les améliorations se maintiennent à travers différentes échelles de modèles (S/2, B/2, L/2) et résolutions (ImageNet-512), indiquant que les bénéfices ne sont pas limités au réglage XL/2.
Analyse du Routage : L'analyse du modèle convergé révèle :
- Spécialisation Stable : Une forte spécialisation des experts par bloc (coefficient de Gini de charge élevé) plutôt qu'une utilisation uniforme.
- Utilisation Légère Dépendante de la Profondeur : Les experts légers (copy/zero/constant) sont fortement utilisés dans les premiers blocs (44,6 % des routes) et diminuent dans les blocs ultérieurs (23,4 %), soutenant l'hypothèse que les premières étapes de débruitage bénéficient de transformations peu coûteuses.
- Faibles Taux de Commutation : L'ensemble des deux meilleurs experts change pour seulement ~1,4 % à 2,7 % des tokens entre des étapes de débruitage adjacentes, indiquant des décisions de routage stables.
Économies de Mémoire : L'utilisation d'experts légers réduit la mémoire d'activation forward d'environ 20 % et la mémoire backward d'environ 32 % par bloc par rapport à l'Attention-Residual MoE sans experts légers.

Signification et Revendications
Le papier affirme que les AFM peuvent suivre la « voie de mise à l'échelle équilibrée » des LLM en important des conceptions d'efficacité éprouvées plutôt qu'en augmentant simplement le nombre total de paramètres et les ratios de parcimonie. La signification de MMOE réside dans la démonstration que :

Équilibre Qualité-Coût : Une génération de haute qualité peut être obtenue avec de meilleurs compromis qualité-coût en combinant le routage épars avec des chemins d'experts peu coûteux et la réutilisation de représentations, plutôt qu'en comptant uniquement sur de plus grands pools d'experts.
Faisabilité sur des Budgets Accessibles : Ces améliorations sont réalisables avec un budget d'une seule machine (8x H100), rendant la recherche avancée sur les diffusion transformers plus accessible que les travaux antérieurs nécessitant des clusters multi-nœuds massifs et des millions d'itérations.
Transfert de Mécanisme : Les mécanismes d'efficacité spécifiques aux LLM (experts à calcul nul, résidus de porte, résidus d'attention) se transfèrent efficacement aux diffusion transformers, améliorant la vitesse de convergence et la stabilité de la spécialisation.

Les auteurs restent modestes quant à leurs affirmations, notant qu'ils ne prétendent pas détenir l'état de l'art en termes de FID par rapport à des méthodes entraînées à des échelles beaucoup plus grandes (ex: 7M d'itérations), mais plutôt que leur contribution est l'étude de modernisation contrôlée et la démonstration d'une performance supérieure sous un budget contraint d'un seul nœud. Ils reconnaissent des limites, notamment l'accent mis sur la génération conditionnelle par classe et la nécessité d'une étude plus approfondie sur l'efficacité de l'entraînement distribué, qui est actuellement limité par la communication.

Articles similaires