OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale
OmniMoE एक सिस्टम-एल्गोरिदम सह-डिज़ाइन किया गया फ्रेमवर्क है जो कार्टेशियन प्रोडक्ट राउटर और एक्सपर्ट-सेंट्रिक शेड्यूलिंग जैसे नवीन घटकों के माध्यम से मिक्सचर-ऑफ-एक्सपर्ट्स ग्रैनुलैरिटी को वेक्टर स्तर तक बढ़ाकर उच्च सटीकता और महत्वपूर्ण इन्फरेंस स्पीडअप दोनों प्राप्त करता है।