🤖 machine learning

MMOE: Modernizing Diffusion Transformers with Efficient Expert Design

Das Paper stellt ModernMOE (MMOE) vor, eine modernisierte Diffusion-Transformer-Architektur, die effiziente Skalierungsprinzipien von LLMs – wie geroutete Experten, geteilte leichte Experten und Residual Routing – adaptiert, um im Vergleich zu dichten und traditionellen spärlichen Baselines eine schnellere Konvergenz sowie ein überlegenes Qualitäts-Kosten-Verhältnis bei der AIGC-Generierung zu erreichen, alles innerhalb eines zugänglichen Single-Machine-Trainingsbudgets.

Ursprüngliche Autoren: Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer lernen, zu malen, zu träumen und Kunst von Grund auf neu zu erschaffen. Dies ist das Reich der Künstlichen Intelligenz, speziell eines Zweigs namens „Generative KI“, bei dem Maschinen neue Bilder, Videos und Geschichten erzeugen. Um dies zu tun, nutzen sie riesige digitale Gehirne, die sogenannten „Foundation Models“. Stellen Sie sich diese Modelle wie gigantische Bibliotheken voller Muster vor; je mehr Bücher (Daten) sie lesen und je größer ihre Regale (Parameter) sind, desto besser werden sie im Erschaffen. Es gibt jedoch einen Haken: Diese Bibliotheken größer zu machen, bedeutet meist, dass sie ewig zum Lesen brauchen und einen Supercomputer zur Ausführung benötigen, was teuer und langsam ist.

Kürzlich entdeckten Wissenschaftler einen cleveren Trick, den Sprachmodelle (diejenigen, die Texte schreiben) nutzen, um dieses Problem zu lösen. Anstatt für jede Frage jedes einzelne Buch in der Bibliothek zu lesen, bauten sie ein System mit vielen verschiedenen „Experten“ auf. Wenn eine Frage eingeht, entscheidet ein intelligenter Torwächter, welche wenigen Experten benötigt werden, während der Rest eine Kaffeepause machen kann. Dies wird als „Mixture of Experts“ (MoE) bezeichnet. Es ist wie das Besitzen eines Teams von Spezialisten, bei dem man nur den Klempner ruft, wenn es ein Leck gibt, anstatt das gesamte Team aus Ärzten, Köchen und Mechanikern zu wecken. Die große Frage für Bildgeneratoren war: Können wir denselben Trick des „nur die Experten rufen, die man braucht“ nutzen, um Bildgeneratoren schneller und günstiger zu machen, ohne sie weniger kreativ zu machen?

Diese Arbeit stellt ein neues System namens MMOE (ModernMOE) vor, um diese Frage zu beantworten. Die Forscher nahmen einen Standard-Bildgenerator, der normalerweise jeden einzelnen Teil seines Gehirns dazu zwingt, an jedem einzelnen Pixel zu arbeiten, und gaben ihm ein modernes Upgrade. Anstatt einfach nur mehr Experten hinzuzufügen und auf das Beste zu hoffen, gestalteten sie den Arbeitsablauf des Teams neu. Sie fügten einige spezielle „faule“ Experten hinzu, die einfache Dinge tun können, wie etwa ein Bild zu kopieren oder gar nichts zu tun, was Energie spart. Sie fügten außerdem ein „Gate-Residual“-System hinzu, das es dem Torwächter ermöglicht, sich an das zu erinnern, was er im vorherigen Schritt entschieden hat, damit er nicht alles von Grund auf neu überdenken muss. Schließlich ließen sie die Experten Notizen untereinander über verschiedene Schichten des Gehirns hinweg austauschen, damit die Informationen reibungsloser fließen.

Das Team testete dieses neue MMOE-System auf einem einzelnen leistungsstarken Computer mit acht Grafikkarten und trainierte es über 400.000 Schritte. Sie verglichen es mit älteren, „dichten“ Modellen, bei denen alles die ganze Zeit arbeitet, und anderen „spärlichen“ (sparse) Modellen, die einfach nur mehr Experten, aber keine intelligenten Abkürzungen haben. Die Ergebnisse legen nahe, dass MMOE der Gewinner im Wettlauf um Effizienz ist. Es lernte, hochwertigere Bilder schneller zu erstellen, indem es bei jedem Kontrollpunkt einen niedrigeren Fehlerwert (genannt FID) erreichte. Es wurde nicht nur besser; es wurde besser günstiger. Die Analyse zeigte, dass das System lernte, seine „faulen“ Experten oft zu nutzen, besonders in der frühen Phase der Bilderstellung, und dass die Experten sich auf unterschiedliche Aufgaben spezialisierten, ohne sich zu verwirren.

Die Arbeit argumentiert, dass es nicht der einzige Weg ist, Modelle zu verbessern, sie einfach nur größer und komplexer zu machen. Stattdessen schlägt das Team vor, dass wir – indem wir kluge Effizienztricks von Sprachmodellen entlehnen, wie etwa die Verwendung von leichtgewichtigen Experten und das Teilen von Informationen – Bildgeneratoren bauen können, die sowohl qualitativ hochwertig als auch praktisch zu betreiben sind. Obwohl die Studie auf spezifische Bildtypen beschränkt war und nicht alle möglichen Szenarien testete, deuten die Ergebnisse stark darauf hin, dass dieser „modernisierte“ Ansatz ein vielversprechender Weg nach vorne ist, der eine bessere Balance zwischen der Qualität der Bilder und den Kosten ihrer Erstellung bietet.

Technische Zusammenfassung: MMOE: Modernisierung von Diffusion-Transformern durch effizientes Experten-Design

Problemstellung
Während Large Language Models (LLMs) erfolgreich skaliert werden konnten, indem sie die gesamte Parameterkapazität von der aktivierten Kompensation durch spärliche Mixture-of-Experts (MoE) und Effizienzmechanismen (z. B. Zero-Computation-Experten, Gate-Residual-Routing) entkoppelt haben, sind AIGC-Foundation-Models (AFMs), insbesondere Diffusion-Transformer-Backbones, weitgehend einem anderen Pfad gefolgt. Aktuelle Bemühungen, MoE auf Diffusion-Transformer anzuwenden (z. B. DiT-MoE, Race-DiT), konzentrieren sich primär darauf, den gesamten Expertenpool und die Sparsity-Ratios zu vergrößern, ohne jedoch die Effizienzmechanismen zu importieren, die das Skalieren von LLMs praktikabel machen. Dieser Ansatz führt oft zu Modellen, die schwierig zu trainieren und auf ressourcenbeschränkten Geräten zu implementieren sind, da sie das Gleichgewicht zwischen Generationsqualität und Trainings- sowie Deployment-Kosten nicht halten können. Die Arbeit wirft die Frage auf: Können die architektonischen Prinzipien hinter dem effizienten LLM-Scaling auf AFMs adaptiert werden, um die Generationsqualität zu verbessern, ohne die effektive Kompensation oder die Trainingslast proportional zu erhöhen?

Methodik: ModernMOE (MMOE)
Die Autoren schlagen ModernMOE (MMOE) vor, eine Modernisierung von SiT-Stil Diffusion-Transformern, die systematisch vier in LLMs bewährte Effizienzmechanismen in das Diffusion-Backbone integriert. Entscheidend ist, dass MMOE die externe Schnittstelle (Denoising-Ziel, Konditionierung, latente Repräsentation und Sampler) unverändert lässt und nur die interne Block-Level-Berechnung modifiziert.

Die Architektur führt folgende Komponenten ein:

MoE++ Expert Layer: Anstelle von standardmäßigen gerouteten MLPs umfasst der Expertenpool:
- Heavy Experts: Standard-MLPs.
- Leichtgewichtige Zero-Computation-Experten: „Copy“ (Identität), „Zero“ (Null-Ausgabe) und „Constant“ (gelernte Vektor-Mischung) Experten. Diese ermöglichen es dem Modell, die volle MLP-Ausführung für Token zu überspringen, bei denen eine schwere Aktualisierung nicht notwendig ist.
Gate-Residual Routing: Der Router beinhaltet ein Residual aus der Gate-Entscheidung der vorherigen Experten-Schicht, wodurch Routing-Tendenzen über Schichten hinweg vererbt werden können, was die Entscheidungen stabilisiert.
Shared Experts: Ein geteilter dichter Experte ist immer aktiv, um einen gemeinsamen Berechnungspfad bereitzustellen, neben gerouteten Experten für die token-abhängige Spezialisierung.
Attention-Residual Aggregation: Das Modell nutzt Informationen aus zuvor abgeschlossenen Block-Zuständen wieder. Vor sowohl den Attention- als auch den MLP-Subschichten aggregiert das Modell Repräsentationen aus einer Liste abgeschlossener Block-Zustände unter Verwendung eines gelernten Pseudo-Queries, was eine über die Tiefe verteilte Informationswiederverwendung ermöglicht, ohne neue generative Ziele einzuführen.

Der Forward-Pass pflegt rezidivierende Zustände (abgeschlossene Block-Zustände, aktueller partieller Zustand und Gate-Residuals), um diese Aggregation und das Routing zu erleichtern.

Wesentliche Beiträge

Formulierung der AFM-Modernisierung: Die Arbeit rahmt die AFM-Skalierung als Modernisierungsproblem ein und untersucht systematisch, ob LLM-MoE-Designs die Diffusion-Transformer verbessern können, ohne lediglich die Parameteranzahl oder die Sparsity-Ratios aufzublähen.
Einheitliche Architektur: Der Vorschlag von MMOE, der geroutete Experten, geteilte Experten, leichtgewichtige Zero-Computation-Experten, Gate-Residual-Routing und Attention-Residual-Aggregation in ein einziges SiT-basiertes Backbone integriert.
Kontrollierte empirische Studie: Die Autoren bieten einen rigorosen, kontrollierten Vergleich des Modernisierungspfads (Dense SiT $\to$ Standard MoE $\to$ Shared MoE $\to$ MoE++ $\to$ AttnRes-MoE $\to$ MMOE) unter einem angeglichenen, zugänglichen Trainingsbudget (ein einzelner Eight-GPU H100 Node, Batch Size 256, 400k Steps).

Ergebnisse
Evaluierung auf klassenbedingter ImageNet-256 Generierung:

Konvergenz und Qualität: MMOE erreicht bei jedem aufgezeichneten Checkpoint einen niedrigeren Fréchet Inception Distance (FID) im Vergleich zu dichten SiT- und intermediären Sparse-Expert-Baselines. Es konvergiert schneller pro Trainingsschritt und erreicht einen FID von 3,75 bei 400k Schritten gegenüber 5,20 für die dichte Baseline.
Effizienz: Während Standard-MoE-Varianten aufgrund von Routing-Overhead die Wandlaufzeit des Trainings erhöhten, erreichte MMOE das beste Qualitäts-Kosten-Verhältnis unter den Sparse-Varianten. Es reduzierte die Trainingszeit der teuersten Variante (AMOE) von 120 Stunden auf 67 Stunden bei gleichzeitig überlegener FID.
Skalierbarkeit: Die Verbesserungen halten über verschiedene Modellskalen (S/2, B/2, L/2) und Auflösungen (ImageNet-512) hinweg stand, was zeigt, dass die Vorteile nicht auf das XL/2-Setting beschränkt sind.
Routing-Analyse: Die Analyse des konvergierten Modells zeigt:
- Stabile Spezialisierung: Starke blockweise Experten-Spezialisierung (hoher Load Gini Koeffizient) anstelle einer gleichmäßigen Nutzung.
- Tiefenabhängige Leichtgewicht-Nutzung: Leichtgewichtige Experten (Copy/Zero/Constant) werden in frühen Blöcken stark genutzt (44,6 % der Routings) und nehmen in späteren Blöcken ab (23,4 %), was die Hypothese stützt, dass frühe Denoising-Schritte von günstigen Transformationen profitieren.
- Niedrige Switch-Raten: Das Top-2-Experten-Set ändert sich zwischen benachbarten Denoising-Schritten nur für etwa 1,4 % bis 2,7 % der Token, was auf stabile Routing-Entscheidungen hindeutet.
Speichereinsparung: Die Verwendung von Leichtgewicht-Experten reduziert den Forward-Aktivierungs-Speicher um ca. 20 % und den Backward-Speicher um ca. 32 % pro Block im Vergleich zu Attention-Residual-MoE ohne Leichtgewicht-Experten.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass AFMs dem „balancierten Skalierungspfad“ von LLMs folgen können, indem sie bewährte Effizienzdesigns importieren, anstatt lediglich die Gesamtzahl der Parameter und Sparsity-Ratios zu erhöhen. Die Bedeutung von MMOE liegt in der Demonstration, dass:

Qualitäts-Kosten-Balance: Eine hohe Generationsqualität durch Kombination von Sparse-Routing mit günstigen Expertenpfaden und Repräsentationswiederverwendung statt rein durch größere Expertenpools erreicht werden kann.
Machbarkeit auf zugänglichen Budgets: Diese Verbesserungen sind innerhalb eines Single-Machine-Budgets (8x H100) realisierbar, was fortgeschrittene Diffusion-Transformer-Forschung zugänglicher macht als bisherige Arbeiten, die massive Multi-Node-Cluster und Millionen von Iterationen erforderten.
Mechanismus-Transfer: Spezifische LLM-Effizienzmechanismen (Zero-Computation-Experten, Gate-Residuals, Attention-Residuals) übertragen sich effektiv auf Diffusion-Transformer und verbessern die Konvergenzgeschwindigkeit sowie die Stabilität der Spezialisierung.

Die Autoren bleiben hinsichtlich ihrer Ansprüche bescheiden und merken an, dass sie nicht den State-of-the-Art FID im Vergleich zu Methoden beanspruchen, die auf viel größeren Skalen (z. B. 7M Iterationen) trainiert wurden, sondern dass ihr Beitrag die kontrollierte Modernisierungsstudie und der Nachweis einer überlegenen Performance unter einem beschränkten Single-Node-Budget ist. Sie räumen Einschränkungen ein, einschließlich des Fokus auf klassenbedingte Generierung und der Notwendigkeit weiterer Studien zur Effizienz des verteilten Trainings, welches derzeit kommunikationsgebunden ist.

Mehr davon