DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
यह शोध पत्र DECO को प्रस्तुत करता है, जो एक स्पार्स Mixture-of-Experts आर्किटेक्चर है जो ReLU-आधारित रूटिंग, लर्नेबल एक्सपर्ट-वाइज स्केलिंग और एक नवीन NormSiLU एक्टिवेशन फंक्शन का लाभ उठाकर केवल 20% एक्सपर्ट एक्टिवेशन और एंड-साइड डिवाइसेस पर 3.00× इन्फरेंस स्पीडअप के साथ डेंस-तुलनीय प्रदर्शन प्राप्त करता है।