Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models
यह शोध पत्र विशेषज्ञ चयन को प्रायिकता पुनर्सामान्यीकरण (probability renormalization) से अलग करके, फाइन-ग्रेंड मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स की अनुमान (inference) लागत को आधा करने के लिए एक प्रशिक्षण-मुक्त विधि प्रस्तावित करता है, जिससे कम किए गए सक्रिय सेट के बजाय विशेषज्ञों के एक बड़े संदर्भ सेट के विरुद्ध सामान्यीकरण करके प्रदर्शन को संरक्षित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम जो टेक्स्ट जेनरेट करते हैं, अक्सर एक ऐसे डिज़ाइन पर आधारित होते हैं जो उनके पास मौजूद कुल ज्ञान की मात्रा और प्रत्येक शब्द के लिए उनके द्वारा किए जाने वाले 'सोचने' की मात्रा को अलग करता है। एक विशाल पुस्तकालय की कल्पना करें जिसमें हजारों विशिष्ट पुस्तकें हैं, लेकिन प्रत्येक वाक्य लिखने के लिए, सिस्टम सही जानकारी खोजने के लिए उनमें से केवल कुछ ही किताबें खोलता है। यह दृष्टिकोण, जिसे 'मिक्सचर-ऑफ-एक्सपर्ट्स' (Mixture-of-Experts) मॉडल कहा जाता है, कंप्यूटरों को बोलने के दौरान धीमा हुए बिना भारी मात्रा में डेटा संग्रहीत करने की अनुमति देता है। सिस्टम एक छोटे आंतरिक मार्गदर्शक का उपयोग यह तय करने के लिए करता है कि प्रत्येक शब्द के लिए कौन सी विशिष्ट किताबें खोली जाएं, जिससे यह सुनिश्चित होता है कि किसी भी क्षण कुल पुस्तकालय के केवल एक बहुत छोटे हिस्से का ही परामर्श लिया जाए। यह एक अनूठी स्थिति बनाता है: कंप्यूटर को किसी भी विषय के लिए तैयार रहने हेतु अपनी अलमारियों पर ये सभी किताबें रखनी होंगी, लेकिन वह एक बार में केवल कुछ ही पन्ने पढ़ता है।
चूंकि कंप्यूटर को अपने मेमोरी में ये सभी विशिष्ट खंड रखने पड़ते हैं, इसलिए शोधकर्ताओं ने लंबे समय से सिस्टम को और भी कम पन्ने पढ़ने के लिए मजबूर करके इसे तेज़ बनाने के तरीके खोजे हैं। यह करने का मानक तरीका सरल है: सिस्टम को एक वाक्य के लिए कम किताबें खोलने के लिए कहें। हालांकि, यह सीधा दृष्टिकोण ऐतिहासिक रूप से सिस्टम को भ्रमित करने और अधिक गलतियाँ करने का कारण बना है। भ्रम इसलिए नहीं होता क्योंकि सिस्टम के पास सही किताबें नहीं हैं, बल्कि इसलिए होता है क्योंकि उन किताबों से प्राप्त जानकारी का वजन (weight) करने का तरीका तब अप्रत्याशित रूप से बदल जाता है जब किताबों की संख्या कम कर दी जाती है। ज़िंग चेन और हेंगशुआई याओ द्वारा किया गया एक नया अध्ययन बताता है कि यह भ्रम एक छिपे हुए गणितीय समायोजन (adjustment) के कारण होता है जो सिस्टम स्वचालित रूप से करता है, और उन्होंने पाया कि उस समायोजन को बिना सिस्टम को फिर से प्रशिक्षित (retrain) किए या कोई नया घटक जोड़े, बंद करने का एक तरीका है।
शोधकर्ताओं ने दो बहुत बड़े लैंग्वेज मॉडल्स पर ध्यान केंद्रित किया, जिनमें से एक 35 बिलियन पैरामीटर्स वाला था और दूसरा लगभग 400 बिलियन वाला। ये मॉडल प्रोसेसिंग के प्रत्येक स्तर के लिए सैकड़ों छोटे विशिष्ट खंडों, या 'एक्सपर्ट्स' के साथ डिज़ाइन किए गए हैं। अपने मानक संचालन में, सिस्टम प्रत्येक शब्द को प्रोसेस करने के लिए आठ एक्सपर्ट्स का चयन करता है। जब शोधकर्ताओं ने सिस्टम को तेज़ करने के लिए इस संख्या को आधा करने की कोशिश की, यानी केवल चार एक्सपर्ट्स का उपयोग करने के लिए मजबूर किया, तो प्रदर्शन काफी गिर गया। सामान्य ज्ञान के एक मानक परीक्षण पर, सटीकता लगभग पांच अंक गिर गई। यह नुकसान इतना गंभीर था कि कई लोगों ने मान लिया था कि सक्रिय एक्सपर्ट्स की संख्या कम करना वास्तव में उपयोगी होने के लिए बहुत महंगा है। शोधकर्ताओं को संदेह था कि समस्या एक्सपर्ट्स की कमी नहीं थी, बल्कि यह था कि शेष एक्सपर्ट्स के महत्व को सिस्टम कैसे पुनर्गणना (recalibrate) करता है।
मानक सेटअप में, जब सिस्टम अपने शीर्ष एक्सपर्ट्स को चुनता है, तो वह उनके प्रभाव को इस तरह समायोजित करता है कि उनका संयुक्त महत्व हमेशा एक निश्चित कुल योग के बराबर होता है। यह सिस्टम को स्थिर रखने के लिए एक सुरक्षा तंत्र है। हालांकि, इन सूक्ष्म-स्तरीय (fine-grained) मॉडल्स में, शीर्ष आठ एक्सपर्ट्स आमतौर पर कुल संभावित महत्व का केवल एक छोटा हिस्सा रखते हैं। जब सिस्टम को केवल चार एक्सपर्ट्स चुनने के लिए मजबूर किया जाता है, तो मानक समायोजन उनके प्रभाव को एक बड़े कारक से गुणा करता है ताकि अंतर को पूरा किया जा सके। यह अचानक उछाल सिस्टम को ऐसी स्थिति में धकेल देता है जिसे संभालने के लिए उसे प्रशिक्षित नहीं किया गया था, जिससे वह अति-प्रतिक्रिया (overreact) करने लगता है और गलतियाँ करता है। शोधकर्ताओं ने महसूस किया कि सिस्टम वास्तव में जानकारी खो नहीं रहा था; यह बस उसे उम्मीद से अधिक ज़ोर से चिल्लाने के लिए कहा जा रहा था।
इसे ठीक करने के लिए, टीम ने एक सरल परिवर्तन पेश किया जिसमें न तो प्रशिक्षण की आवश्यकता है और न ही अतिरिक्त कंप्यूटिंग पावर की। उन्होंने विशेषज्ञों का उपयोग करने के निर्णय को उनके वजन (weight) निर्धारित करने के निर्णय से अलग कर दिया। उन्होंने सिस्टम को काम करने के लिए केवल चार एक्सपर्ट्स चुनने की अनुमति दी, लेकिन उन्हें शीर्ष सोलह एक्सपर्ट्स के आधार पर महत्व के भार (weights) की गणना करने के लिए कहा, न कि केवल शीर्ष चार के आधार पर। ऐसा करके, सिस्टम ने उसी सूचना के आयतन (volume) को बनाए रखा जिसे सुनने का वह अभ्यस्त था, भले ही वह सक्रिय खंडों की आधी संख्या का ही उपयोग कर रहा था। यह छोटा सा समायोजन, जिसमें एक एकल पूर्णांक (integer) सेटिंग बदलना शामिल है, ने परिणाम को पूरी तरह से बदल दिया। 35-बिलियन-पैरामीटर वाले मॉडल पर, इस नई सेटिंग के साथ सक्रिय एक्सपर्ट्स को आठ से घटाकर चार करने से सटीकता में केवल 0.35 अंकों की गिरावट आई, जो कि मूल, धीमे सिस्टम से सांख्यिकीय रूप से अविभेद्य (indistinguishable) अंतर है।
अध्ययन ने इस पद्धति का परीक्षण बहुत बड़े 400-बिलियन-पैरामीटर वाले मॉडल पर भी किया, जहाँ परिणाम समान रूप से नाटकीय थे। मानक पद्धति के साथ सक्रिय एक्सपर्ट्स को आधा करने से प्रदर्शन में महत्वपूर्ण गिरावट आई, लेकिन नए वेटिंग मेथड का उपयोग करने से नुकसान घटकर केवल 0.55 अंक रह गया। शोधकर्ताओं ने पाया कि इस नए वेटिंग के लिए सबसे अच्छा सेटिंग विशिष्ट कार्य पर निर्भर करती है। उदाहरण के लिए, एक सेटिंग जिसने सिस्टम को टेक्स्ट पढ़ने के मामले में सबसे अच्छा बनाया, वह हमेशा लॉजिक पहेलियों या ज्ञान परीक्षणों पर सर्वश्रेष्ठ प्रदर्शन करने के लिए उपयुक्त नहीं था। यह निष्कर्ष बताता है कि केवल यह मापना कि एक संकुचित (compressed) मॉडल टेक्स्ट को कितनी अच्छी तरह पढ़ता है, यह गारंटी देने के लिए पर्याप्त नहीं है कि वह अन्य कार्यों पर भी अच्छा काम करेगा। शोधकर्ताओं ने निष्कर्ष निकाला कि इन मॉडल्स के लिए आवश्यक कंप्यूटिंग पावर को सुरक्षित रूप से कम करने के लिए, आपको केवल टेक्स्ट प्रवाह (fluency) पर भरोसा करने के बजाय वास्तविक प्रदर्शन परीक्षणों का उपयोग करके इस वेटिंग सेटिंग को सावधानीपूर्वक ट्यून करना होगा।
पेपर ने यह भी पता लगाया कि अतिरिक्त एक्सपर्ट्स को अस्थायी रूप से कम करने के बजाय उन्हें स्थायी रूप से हटाना कठिन क्यों है। उन्होंने पाया कि ये मॉडल्स अत्यधिक विशिष्ट हैं, जिसमें अलग-अलग एक्सपर्ट्स कोड या सामान्य लेखन जैसे विभिन्न प्रकार की सामग्री को संभालते हैं। क्योंकि एक्सपर्ट्स इतने विशिष्ट हैं और सिस्टम इतना संतुलित है, इसलिए विविध विषयों को संभालने की क्षमता खोए बिना उन्हें स्थायी रूप से हटाना बहुत कठिन है। इसलिए, आगे का सबसे प्रभावी रास्ता एक्सपर्ट्स को फेंक देना नहीं है, बल्कि बस उन्हें एक समय में कम भाग उपयोग करने के लिए कहना है जबकि उनके द्वारा संसाधित सूचना के समग्र आयतन को सुसंगत रखना है। यह दृष्टिकोण इन शक्तिशाली सिस्टमों को उनकी बुद्धिमत्ता से समझौता किए बिना तेज़ और अधिक कुशल बनाने का एक तरीका प्रदान करता है, जो केवल एक छिपे हुए कैलिब्रेशन एरर को ठीक करके संभव हुआ है जो नियमों के बदलने पर उत्पन्न होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।