MobileMoE: Scaling On-Device Mixture of Experts
यह शोधपत्र MobileMoE को पेश करता है, जो एक बिलियन से कम पैरामीटर वाले ऑन-डिवाइस मिक्स्चर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) भाषा मॉडलों का एक परिवार है, जो मौजूदा डेंस और MoE बेसलाइनों की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त करने के लिए आर्किटेक्चर और प्रशिक्षण को अनुकूलित करता है, जिससे साधारण स्मार्टफोन पर तेज़ इन्फरेंस (inference) सक्षम होता है।