DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
यह शोध पत्र DECO को प्रस्तुत करता है, जो एक स्पार्स Mixture-of-Experts आर्किटेक्चर है जो ReLU-आधारित रूटिंग, लर्नेबल एक्सपर्ट-वाइज स्केलिंग और एक नवीन NormSiLU एक्टिवेशन फंक्शन का लाभ उठाकर केवल 20% एक्सपर्ट एक्टिवेशन और एंड-साइड डिवाइसेस पर 3.00× इन्फरेंस स्पीडअप के साथ डेंस-तुलनीय प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च श्रेणी का रेस्तरां चला रहे हैं। आप अधिक से अधिक ग्राहकों को सर्वोत्तम संभव भोजन (उच्च प्रदर्शन) परोसना चाहते हैं, लेकिन आपके पास दो सख्त नियम हैं:
- कम लागत: आप हर ग्राहक के लिए हर एक व्यंजन बनाने के लिए हर शेफ को काम पर रखने का खर्च नहीं उठा सकते (कम गणना/लो कम्प्यूटेशन)।
- छोटा किचन: आपके पास हर शेफ के लिए हर एक रेसिपी बुक और सामग्री रखने के लिए पर्याप्त जगह नहीं है (छोटा स्टोरेज)।
लंबे समय तक, उद्योग का मानक एक विशाल टीम के शेफ को काम पर रखना था (एक "डेंस" मॉडल) जहाँ हर कोई सब कुछ पकाने की कोशिश करता है। यह स्वाद में तो बेहतरीन होता है लेकिन यह अविश्वसनीय रूप से महंगा है और इसके लिए एक विशाल किचन की आवश्यकता होती है।
फिर, लोगों ने "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) दृष्टिकोण आज़माया। यह एक ऐसी स्थिति की तरह है जहाँ आपके पास 100 विशेषज्ञ शेफों की एक बड़ी टीम है, लेकिन प्रत्येक ऑर्डर के लिए, आप केवल 20 को खाना पकाने के लिए जगाते हैं। यह खाना पकाने के समय को बचाकर पैसे बचाता है। हालाँकि, आपको अभी भी उन सभी 100 शेफों के लिए रेसिपी और सामग्री रखनी पड़ती है जो आपके किचन में हैं। यदि आपका किचन छोटा है (जैसे कि एक फोन या लैपटॉप), तो आपके पास जगह कम पड़ जाएगी, और सही शेफ के पास जाने और वापस आने में लगने वाला समय काम को धीमा कर देगा।
DECO से मिलिए।
लेखकों ने एक नया रेस्तरां डिज़ाइन बनाया जिसे DECO कहा जाता है। उनका लक्ष्य एक "स्पार्स" (sparse) किचन बनाना है (जहाँ एक समय में कुछ ही शेफ काम करते हैं) जो एक विशाल "डेंस" किचन जितना ही स्वादिष्ट हो, लेकिन एक बहुत छोटी जगह में समा जाए और तेज़ चले।
उन्होंने इसे कैसे किया, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. स्मार्ट वेटर (द राउटर)
एक सामान्य MoE रेस्तरां में, वेटर (राउटर) थोड़ा कठोर होता है। वे कह सकते हैं, "हर मेज के लिए, ठीक 2 शेफ को खाना बनाना चाहिए।"
- DECO का नवाचार: उन्होंने वेटर को एक लचीला, डिफरेंशिएबल टूल (जिसे ReLU-आधारित रूटिंग कहा जाता है) दिया। अब, वेटर विशिष्ट ऑर्डर को देख सकता है और निर्णय ले सकता है, "इस व्यंजन के लिए 3 शेफ चाहिए," या "उसमें केवल 1 की आवश्यकता है।" यह एक कठोर नियम के बजाय भोजन के आधार पर लिया गया एक तरल निर्णय है।
- स्केलिंग फैक्टर: कभी-कभी, एक शेफ स्वाभाविक रूप से दूसरे की तुलना में अधिक तेज़ या प्रभावशाली होता है। DECO वेटर को प्रत्येक शेफ के लिए एडजस्टेबल वॉल्यूम नॉब्स (लर्नेबल स्केलिंग) देता है। यदि शेफ A स्वाभाविक रूप से शांत है, तो वेटर उनकी आवाज़ बढ़ा देता है ताकि उनका योगदान तेज़ आवाज़ वाले शेफों के साथ संतुलित रहे।
2. विशेषज्ञ शेफ (द एक्सपर्ट्स)
DECO में शेफ को अधिक स्थिर होने के लिए अलग तरह से डिज़ाइन किया गया है।
- "NormSiLU" एप्रन: लेखकों ने देखा कि जब शेफ एक मानक एप्रन (एक्टिवेशन फंक्शन) का उपयोग करते हैं, तो वे कभी-कभी भ्रमित हो जाते हैं या पूरी तरह से काम करना बंद कर देते हैं (वेनिशिंग सिग्नल्स)। उन्होंने एक नया एप्रन बनाया जिसे NormSiLU कहा जाता है। इसे एक विशेष यूनिफॉर्म के रूप में सोचें जो शेफ की ऊर्जा को काम शुरू करने से पहले कैलिब्रेट करती है। यह उनके आउटपुट को स्थिर रखता है और उन्हें बहुत शांत होने या थक जाने से रोकता है।
- कोई गेटकीपर नहीं: अधिकांश रेस्तरां में एक "गेटकीपर" शेफ होता है जो यह तय करता है कि मुख्य शेफ को काम शुरू करना चाहिए या नहीं। DECO ने पाया कि उनके लचीले वेटर के लिए, गेटकीपर को हटा देना वास्तव में बेहतर है। शेफ बेहतर काम करते हैं जब वे बिना किसी अतिरिक्त "अनुमति" के सीधे वेटर के संकेत पर काम शुरू कर सकते हैं।
3. परिणाम: "आदर्श त्रिकोण" (द आइडियल ट्रायंगल)
पेपर का दावा है कि DECO एक साथ तीन चीजों का "पवित्र प्याला" (होली ग्रेल) प्राप्त करता है:
- उच्च प्रदर्शन: इसका स्वाद विशाल, महंगे रेस्तरां (डेंस मॉडल) जितना ही अच्छा है।
- कम लागत: यह किसी भी दिए गए समय में केवल 20% शेफ का उपयोग करता है, जिससे भारी मात्रा में ऊर्जा बचती है।
- छोटा स्टोरेज: क्योंकि इसका डिज़ाइन इतना कुशल है, इसलिए कुल "किचन फुटप्रिंट" (कुल पैरामीटर्स) इतना छोटा है कि यह फोन जैसे एंड-साइड डिवाइस पर आसानी से फिट हो सके, बिना लगातार स्टोरेज से सामग्री बदलने की आवश्यकता के।
4. प्रमाण
- टेस्ट टेस्ट: जब उन्होंने अन्य मॉडलों के मुकाबले DECO का परीक्षण किया, तो इसने विशाल "डेंस" मॉडलों के प्रदर्शन की बराबरी की और अन्य "स्पार्स" मॉडलों को पीछे छोड़ दिया, जबकि इसने समान मात्रा में ट्रेनिंग डेटा और कुल सामग्री का उपयोग किया।
- गति: उन्होंने इस रेस्तरां को चलाने के लिए एक कस्टम इंजन (एक्सेलरेशन कर्नल) बनाया। हाई-एंड ग्राफिक्स कार्ड और जेटसन डिवाइस जैसे वास्तविक हार्डवेयर पर, DECO इन मॉडलों को चलाने के मानक तरीके की तुलना में 3 गुना तेज़ था।
कमी (सीमाएं)
लेखक ईमानदार हैं कि उन्होंने अभी तक क्या परीक्षण नहीं किया है। उन्होंने अभी तक इस रेस्तरां डिज़ाइन का "फाइन-ट्यूनिंग" (मुख्य प्रशिक्षण के बाद शेफ को विशिष्ट नए कौशल सिखाना) या "रीइन्फोर्समेंट लर्निंग" (ट्रायल एंड एरर के माध्यम से उन्हें सिखाना) के लिए परीक्षण नहीं किया है। उन्हें संदेह है कि वहां कुछ अस्थिरता हो सकती है, इसलिए वे वर्तमान में उन विशिष्ट परिदृश्यों का परीक्षण करने के लिए एक बड़ा संस्करण बना रहे हैं।
संक्षेप में: DECO एआई मॉडलों के काम करने के तरीके का एक चतुर पुनर्कल्पन है। यह साबित करता है कि शानदार भोजन पाने के लिए आपको एक विशाल, बोझिल किचन की आवश्यकता नहीं है। सही वेटर, सही यूनिफॉर्म और एक लचीले दृष्टिकोण के साथ, आप एक छोटे, तेज़ और कुशल किचन के साथ भी वही उच्च-गुणवत्ता वाले परिणाम प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।