SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs
SelectInfer एक न्यूरॉन-स्तरीय अनुकूलन ढांचा (framework) है जो एक ऑफलाइन प्रोफाइलर का उपयोग करके केवल सबसे महत्वपूर्ण न्यूरॉन्स को चुनिंदा रूप से लोड और कंप्यूट करने की सुविधा प्रदान करता है, जिससे कार्य प्रदर्शन से समझौता किए बिना मेमोरी और कंप्यूटेशनल लागत को काफी कम करके डिवाइस पर कुशल लार्ज लैंग्वेज मॉडल इन्फरेंस को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल पुस्तकालय है, जो इतना व्यापक है कि इसमें आपके द्वारा पूछे जाने वाले लगभग किसी भी प्रश्न का उत्तर समाहित है। वैज्ञानिक इसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहते हैं। इसे एक सुपर-स्मार्ट रोबोटिक मस्तिष्क की तरह समझें जिसने इंटरनेट की लगभग हर किताब पढ़ ली है। लेकिन यहाँ एक पेंच है: यह मस्तिष्क इतना विशाल और भारी है कि इसे चलाने के लिए आमतौर पर शक्तिशाली सुपरकंप्यूटरों वाले एक विशाल, महंगे डेटा सेंटर की आवश्यकता होती है। यह एक पूरी लाइब्रेरी को अपने बैकपैक में ले जाने की कोशिश करने जैसा है; यह उसमें फिट नहीं होता।
हाल ही में, लोग इस "लाइब्रेरी" को छोटे उपकरणों में डालना चाहते थे, जैसे आपकी जेब में मौजूद स्मार्ट गैजेट्स या सेल्फ-ड्राइविंग कारों में लगे कंप्यूटर। इन्हें "एज डिवाइसेस" (edge devices) कहा जाता है। समस्या यह है कि इन गैजेट्स में जगह और बैटरी की शक्ति बहुत सीमित होती है। यदि आप पूरी लाइब्रेरी को इनमें जबरदपूर्वक डालने की कोशिश करते हैं, तो डिवाइस क्रैश हो जाता है या इतना धीमा चलता है कि वह बेकार हो जाता है। वैज्ञानिकों ने लाइब्रेरी को सिकोड़ने के लिए किताबों को कुचलने (उन्हें छोटा बनाना लेकिन उन्हें पढ़ना कठिन बनाना) या पूरी की पूरी अलमारियों को फेंक देने (जिससे रोबोट चीजें भूल जाता है) की कोशिश की है। लेकिन इन पुराने तरीकों ने अक्सर रोबोट की स्पष्ट रूप से सोचने की क्षमता को बिगाड़ दिया। बड़ा सवाल यह है: क्या हम इस विशाल मस्तिष्क को उसकी प्रतिभा खोए बिना एक छोटे से बैकपैक में फिट कर सकते हैं?
यहाँ SelectInfer आता है, जो पाडरबॉर्न यूनिवर्सिटी के शोधकर्ताओं का एक नया विचार है, जो बताता है कि इस पहेली को सुलझाने का एक चतुर तरीका क्या है। पूरी लाइब्रेरी को सिकोड़ने या रैंडम तरीके से किताबें फेंकने के बजाय, SelectInfer एक बहुत ही समझदार लाइब्रेरियन की तरह काम करता है जिसे पता है कि आपको अभी इसी वक्त किन किताबों की आवश्यकता है।
यह कैसे काम करता है, इसे एक सरल कहानी के माध्यम से समझते हैं। कल्पना कीजिए कि आपका रोबोट मस्तिष्क हजारों श्रमिकों (जिन्हें "न्यूरॉन्स" कहा जाता है) वाली एक विशाल फैक्ट्री है। एक सामान्य फैक्ट्री में, हर एक श्रमिक हर दिन काम पर आता है, भले ही उसके पास करने के लिए कुछ भी न हो। इससे जगह और ऊर्जा दोनों बर्बाद होती है। शोधकर्ताओं ने पाया कि ये श्रमिक वास्तव में दो समूहों में बँटे हुए हैं। कुछ "जनरलिस्ट" (Generalists) हैं जो हमेशा उपस्थित रहते हैं, चाहे काम कैसा भी हो—जैसे वे लोग जो लाइट चालू रखते हैं और कॉफी मशीन चलाते हैं। अन्य "स्पेशलिस्ट" (Specialists) हैं जो केवल विशिष्ट कार्यों के लिए आते हैं, जैसे प्लंबिंग ठीक करने वाली टीम या दीवार पेंट करने वाली टीम।
यह पेपर दिखाता है कि किसी भी दिए गए कार्य के लिए, आपको सभी स्पेशलिस्ट्स की आवश्यकता नहीं है, और आपको निश्चित रूप से उन लोगों की भी आवश्यकता नहीं है जो आज काम नहीं कर रहे हैं। Select-Infer इस फैक्ट्री को एक छोटे डिवाइस पर चलाने के लिए एक दो-चरणीय जादुई ट्रिक का उपयोग करता है:
सिलेक्टिव लोडिंग (बैकपैक ट्रिक): रोबोट के काम शुरू करने से पहले, शोधकर्ता एक "ऑफलाइन प्रोफाइलर" (एक प्रकार के स्काउट या खोजकर्ता) का उपयोग करके यह पता लगाते हैं कि कौन से जनरलिस्ट और स्पेशलिस्ट सबसे महत्वपूर्ण हैं। फिर, जब रोबोट तैयार होता है, तो वह केवल उन विशिष्ट श्रमिकों को अपने बैकपैक (मेमोरी) में पैक करता है। वह बाकी सबको पीछे छोड़ देता है। यह केवल उस औजारों को पैक करने जैसा है जिनकी आपको कैंपिंग ट्रिप के लिए आवश्यकता है, न कि पूरे हार्डवेयर स्टोर की। यह रोबलेट को उन उपकरणों में फिट होने की अनुमति देता है जो पहले इसे रखने के लिए बहुत छोटे थे। उदाहरण के लिए, केवल 8 GB मेमोरी वाले डिवाइस पर (जैसे NVIDIA Jetson Orin Nano), एक मॉडल जिसे आमतौर पर 9 GB स्थान की आवश्यकता होती है, अब समा सकता है क्योंकि वह केवल अपने आवश्यक 70% श्रमिकों को ही साथ ले जा रहा है।
सिलेक्टिव कंप्यूटेशन (ऑन-डिमांड ट्रिक): हल्का बैकपैक होने के बावजूद, रोबोट को अभी भी हर श्रमिक को अपना काम करने के लिए कहना पड़ता है, जिसमें समय लगता है। SelectInfer एक दूसरा नियम जोड़ता है: एक बार जब रोबोट काम शुरू कर देता है, तो वह केवल उस विशिष्ट क्षण के लिए सबसे प्रासंगिक श्रमिकों को ही गणित करने के लिए कहता है। यदि रोबोट एक कविता लिख रहा है, तो उसे तुकबंदी (rhyme scheme) निर्धारित करने के लिए प्लंबिंग टीम की आवश्यकता नहीं है। वह केवल कवियों को ही सक्रिय करता है। यह रोबोट को बहुत तेज़ी से सोचने में मदद करता है।
शोधकर्ताओं ने तीन अलग-अलग रोबोट दिमागों (Llama3.2-3B, Llama3.2-1B, और Qwen2.5-3B) पर एक छोटे कंप्यूटर चिप पर इसका परीक्षण किया। उन्होंने पाया कि इस पद्धति का उपयोग करके, वे इन विशाल मॉडल्स को उन उपकरणों पर चला सकते थे जो पहले असंभव थे। 3-बिलियन-पैरामीटर वाले मॉडल के लिए, SelectInfer ने इसे वर्तमान के सबसे अच्छे तरीके (4-bit क्वांटाइजेशन) की तुलना में लगभग 1.53 गुना तेज़ और एक धीमी डिस्क से डेटा निकालने की तुलना में 13 गुना से अधिक तेज़ बना दिया।
महत्वपूर्ण रूप से, यह पेपर तर्क देता है कि इससे रोबोट "बेवकूफ" नहीं होता है। वास्तव में, अनुवाद और कहानियों का सारांश निकालने जैसे कई कार्यों के लिए, Select-Infer अन्य तरीकों की तुलना में अधिक सटीक था जो जगह बचाने की कोशिश करते हैं। शोधकर्ताओं ने पाया कि जबकि अन्य तरीके या तो मेमोरी बचाते थे लेकिन धीमे चलते थे, या तेज़ चलते थे लेकिन चीजें भूल जाते थे, Select-Infer ने इन तीनों के बीच संतुलन बनाया: इसने मेमोरी बचाई, सोचने की गति बढ़ाई और उत्तरों की सटीकता बनाए रखी।
यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि आपको पूरे मॉडल को फेंकने या इसे शून्य से फिर से प्रशिक्षित करने की आवश्यकता है। यह यह भी दिखाता है कि केवल रैंडम श्रमिकों को पीछे छोड़ने (रैंडम लोडिंग) से रोबोट पूरी तरह विफल हो जाता है, जो यह साबित करता है कि यह जानने के लिए कि किसे रखना है, आपको एक स्मार्ट मैप की आवश्यकता है। हालांकि इस पद्धति के लिए यह पता लगाने के लिए कि कौन से श्रमिक महत्वपूर्ण हैं, एक बार "स्काउटिंग" चरण की आवश्यकता होती है, लेकिन इसके परिणाम बताते हैं कि क्लाउड में सुपरकंप्यूटर की आवश्यकता के बिना हमारे जेबों में मौजूद छोटे गैजेट्स तक इस सुपर-स्मार्ट AI को लाने का यह एक व्यावहारिक और शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।