Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance
Die Arbeit stellt ProMoE vor, ein Mixture-of-Experts-Framework für Diffusion-Transformer, das durch einen zweistufigen Router mit expliziter Leitlinie und einem kontrastiven Verlust die spezialisierte Zuweisung von Bild-Token-Experten verbessert und so den aktuellen Stand der Technik auf ImageNet übertrifft.