DOT-MoE: Differentiable Optimal Transport for MoEfication
DOT-MoE एक नवीन फ्रेमवर्क है जो न्यूरॉन डीकंपोजिशन को एक डिफरेंशिएबल ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में स्वरूपित करके प्री-ट्रेंड डेंस LLMs को कुशल मिक्चर ऑफ एक्सपर्ट्स मॉडल्स में परिवर्तित करता है, जो असाइनमेंट्स के एंड-टू-एंड लर्निंग को सक्षम बनाता है जो मौजूदा ह्यूरिस्टिक विधियों से काफी बेहतर प्रदर्शन करता है और साथ ही 50% कम सक्रिय पैरामीटर्स के साथ मूल प्रदर्शन का 90% बनाए रखता है।