MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
MAPLE एक प्लग-एंड-प्ले फ्रेमवर्क है जो संवेदनशीलता के आधार पर परतों के बीच विशेषज्ञों के बजट को विश्लेषणात्मक और आनुवंशिक रूप से विषम रूप से पुनर्वितरित करके प्रीट्रेनड मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स की दक्षता को अनुकूलित करता है, जिससे बिना किसी वेट मॉडिफिकेशन या रिट्रेनिंग के बेहतर सटीकता और महत्वपूर्ण लेटेंसी में कमी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस अक्सर ट्रांसफॉर्मर्स (Transformers) नामक विशाल डिजिटल मस्तिष्क पर निर्भर करता है, जो सूचना को परतों की एक लंबी श्रृंखला के माध्यम से पारित करके भाषा को संसाधित करते हैं। इन परतों को प्रसंस्करण स्टेशनों की एक श्रृंखला के रूप में समझें जहाँ मॉडल संदर्भ, व्याकरण और अर्थ को समझना सीखता है। हाल के वर्षों में, इंजीनियरों ने 'मिक्सचर-ऑफ-एक्सपर्ट्स' (Mixture-of-Experts) नामक डिज़ाइन का उपयोग करके इन मॉडलों को अधिक कुशल बनाया है। हर स्टेशन द्वारा समान मात्रा में कंप्यूटिंग शक्ति का उपयोग करने के बजाय, मॉडल टेक्स्ट के प्रत्येक हिस्से के लिए केवल कुछ विशिष्ट उप-नेटवर्क, या "विशेषज्ञों" (experts) को सक्रिय करता है। यह सिस्टम को बहुत बड़ा और सक्षम बनाता है, बिना इसे चलाने के लिए असंभव मात्रा में ऊर्जा की आवश्यकता के। हालाँकि, एक मानक नियम इन विशेषज्ञों के उपयोग को नियंत्रित करता रहा है: श्रृंखला में प्रत्येक परत को विशेषज्ञों की बिल्कुल समान संख्या को सक्रिय करने के लिए मजबूर किया जाता है, चाहे उस परत को वास्तव में इतनी मदद की आवश्यकता हो या न हो।
ब्रिस्टल विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समान नियम को चुनौती दी है, उनका प्रस्ताव है कि एआई मॉडल की विभिन्न परतों की ज़रूरतें बहुत अलग होती हैं। कुछ परतें अत्यधिक संवेदनशील होती हैं और उन्हें सही ढंग से कार्य करने के लिए कई विशेषज्ञों की आवश्यकता होती है, जबकि अन्य परतें अनावश्यक होती हैं और सटीकता खोए बिना बहुत कम विशेषज्ञों के साथ काम कर सकती हैं। उन्होंने MAPLE नामक एक नया तरीका विकसित किया है, जो एक 'प्लग-एंड-प्ले' टूल के रूप में कार्य करता है। इसका मतलब है कि इसे मौजूदा, पूर्व-प्रशिक्षित (pre-trained) मॉडलों पर बिना उन्हें फिर से प्रशिक्षित किए या उनके आंतरिक भार (weights) को बदले लागू किया जा सकता है। यह प्रणाली पहले यह परीक्षण करती है कि यदि आप विशेषज्ञों की संख्या कम कर देते हैं तो प्रत्येक परत के प्रदर्शन में कितनी गिरावट आती है। फिर यह इन मापों का उपयोग एक कस्टम मानचित्र बनाने के लिए करती है, जो कंप्यूटिंग बजट को उन परतों से दूर ले जाता है जो इसे छोड़ सकती हैं और उन संसाधनों को उन परतों की ओर निर्देशित करता है जिन्हें उनकी सबसे अधिक आवश्यकता है।
इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। जब शोधकर्ताओं ने चार अलग-अलग लार्ज लैंग्वेज मॉडल्स पर MAPLE का परीक्षण किया, तो उन्होंने पाया कि मौजूदा संसाधनों को समान रूप से उपयोग करने के बजाय उन्हें पुनर्वितरित करना अधिक प्रभावी था। DeepSeek-MoE-16B नामक एक मॉडल का उपयोग करते हुए एक विशिष्ट परीक्षण में, इस नई पद्धति ने उपलब्ध विशेषज्ञों के केवल 75% का उपयोग करते हुए मूल, पूरी तरह से लोड किए गए मॉडल से बेहतर प्रदर्शन किया। कई रीजनिंग बेंचमार्क पर, सटीकता काफी बढ़ गई; उदाहरण के लिए, विज्ञान संबंधी प्रश्न-उत्तर कार्य पर, स्कोर 65.09 से बढ़कर 71.40 हो गया, और एक तार्किक तर्क (logical reasoning) परीक्षण पर, यह 48.49 से बढ़कर 51.50 हो गया। यह दर्शाता है कि एकरूपता की पुरानी धारणा मॉडलों को पीछे खींच रही थी, और प्रयास का एक स्मार्ट, असमान वितरण बेहतर परिणाम देता है।
केवल स्मार्ट उत्तर प्राप्त करने के अलावा, यह विधि मॉडलों को चलाने के लिए तेज़ और सस्ता भी बनाती है। क्योंकि कम विशेषज्ञों को सक्रिय किया जा रहा है, कंप्यूटर को प्रत्येक प्रश्न का उत्तर देने के लिए कम काम करना पड़ता है। जब शोधकर्ताओं ने MAPLE को एक वास्तविक दुनिया के सर्विंग सिस्टम में लागू किया, तो उन्होंने एक सिंगल ग्राफिक्स कार्ड पर प्रतिक्रिया उत्पन्न करने में लगने वाले समय में 32.2% की कमी दर्ज की। साथ ही, सिस्टम प्रति सेकंड 47.4% अधिक अनुरोधों को संभाल सकता था। ये लाभ मॉडल की मूल संरचना को बदले या इसके द्वारा सीखे गए ज्ञान को छोड़े बिना प्राप्त किए गए थे; सिस्टम ने बस अपने मौजूदा हिस्सों का अधिक कुशलता से उपयोग करना सीख लिया था। शोधकर्ताओं ने पुष्टि की कि यह सुधार किसी विशिष्ट परीक्षण का इत्तेफाक नहीं था बल्कि एक मजबूत खोज थी जो विभिन्न प्रकार के तर्क कार्यों में और मॉडल को स्केल अप या डाउन करने पर भी कायम रही।
इस अध्ययन ने यह भी पता लगाया कि यह विधि जटिल बहु-चरणीय तर्क (multi-step reasoning) के कार्य को कैसे संभालती है, जहाँ मॉडल को किसी समस्या को हल करने के लिए विचारों की एक लंबी श्रृंखला उत्पन्न करनी होती है। यहाँ तक कि इन चुनौतीपूर्ण परिदृश्यों में भी, पुनर्वितरित मॉडल ने अपनी सटीकता बनाए रखी और समस्याओं को हल करने के लिए आवश्यक कुल समय को कुछ मामलों में आधे से अधिक कम कर दिया। शोधकर्ताओं ने दिखाया कि यह विधि विभिन्न मॉडलों के साथ काम करने के लिए लचीली है और यह जो आवंटन योजना बनाती है उसे विभिन्न कार्यों के लिए बिना पुनर्गणना किए पुन: उपयोग किया जा सकता है। यह सिद्ध करके कि 'एक ही आकार सबके लिए उपयुक्त' (one-size-fits-all) दृष्टिकोण उप-इष्टतम है, यह कार्य बड़े आर्टिफिशियल इंटेलिजेंस सिस्टम को अधिक कुशल, शक्तिशाली और वास्तविक दुनिया में तैनाती के लिए तैयार बनाने का एक व्यावहारिक और सिद्धांतिक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।