CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning
CoCurve एक प्रशिक्षण-मुक्त (training-free) स्ट्रक्चर्ड प्रूनिंग विधि है जो LLMs के लिए अटेंशन और FFN यूनिट्स को हटाने के लिए संयुक्त रूप से अनुकूलित करती है, जो फिशर मैट्रिक्स (Fisher matrix) के माध्यम से क्रॉस-मॉड्यूल निर्भरताओं को कैप्चर करने के लिए सेकंड-ऑर्डर टेलर एक्सपेंशन का लाभ उठाती है, जिससे बिना फाइन-ट्यूनिंग के सिंगल-शॉट क्वाड्रेटिक प्रोग्राम के माध्यम से कुशल, लेबल-मुक्त संपीड़न (label-free compression) सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोटिक मस्तिष्क है जो अरबों छोटे-छोटे गियर और स्प्रिंग्स से बना है। यह एक लार्ज लैंग्वेज मॉडल (LLM) है, जो एक प्रकार का AI है जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और यहाँ तक कि सॉफ़्टवेयर कोड भी लिख सकता है। लेकिन इसमें एक पेंच है: ये मस्तिष्क इतने विशाल और भारी हैं कि इन्हें चलाना अविश्वसनीय रूप से महंगा और सोचने में धीमा है। इन्हें आम लोगों के लिए उपयोगी बनाने के लिए, वैज्ञानिकों को इन्हें सिकोड़ने की आवश्यकता होती है, जैसे कि एक विशाल पुस्तकालय को जेब में समाने वाली छोटी किताब में पैक करना। इस प्रक्रिया को "प्रूनिंग" (pruning) कहा जाता है।
प्रूनिंग को एक लंबी फिल्म को एडिट करने की तरह समझें। आप उबाऊ दृश्यों को काट कर फिल्म को छोटा और तेज़ बनाना चाहते हैं, लेकिन आप कहानी को खराब नहीं करना चाहते। लंबे समय तक, एडिटर्स (वैज्ञानिकों) ने सोचा कि इसे करने का सबसे अच्छा तरीका प्रत्येक दृश्य को व्यक्तिगत रूप से देखना है। यदि कोई दृश्य अपने आप में उबाऊ दिखता था, तो वे उसे काट देते थे। उन्होंने माना कि यदि आप कुछ उबाऊ दृश्यों को काट देते हैं, तो फिल्म बस थोड़ी छोटी हो जाएगी, लेकिन कहानी वैसी ही रहेगी। उन्होंने फिल्म को स्वतंत्र क्लिप्स की एक साधारण सूची की तरह माना।
हालाँकि, यह शोध पत्र तर्क देता है कि एक फिल्म (या एक AI मस्तिष्क) केवल स्वतंत्र क्लिप्स की सूची नहीं है। यह एक जटिल जाल है जहाँ दृश्य एक-दूसरे से बात करते हैं। कभी-कभी, एक दृश्य जो अपने आप में उबाऊ दिखता है, वास्तव में दो अन्य महत्वपूर्ण दृश्यों को जोड़ने वाला गुप्त गोंद (glue) होता है। यदि आप उस "उबाऊ" दृश्य को काट देते हैं, तो पूरी कहानी बिखर सकती है, भले ही आपने अन्य दृश्यों को न काटा हो। पुराने तरीके ने इन छिपे हुए कनेक्शनों को मिस कर दिया।
CoCurve: वह जासूस जो कनेक्शनों का मानचित्र बनाता है
इस शोध पत्र के पीछे के शोधकर्ताओं ने, जो नानयांग टेक्नोलॉजिकल यूनिवर्सिटी से हैं, CoCurve (क्रॉस-मॉड्यूल को-प्रूनिंग कर्वेचर) नामक एक नई विधि पेश की। केवल यह देखने के बजाय कि प्रत्येक गियर कमजोर है या नहीं, CoCurve एक ऐसे जासूस की तरह काम करता है जो यह मैप करता है कि हर गियर दूसरे गियर से कैसे जुड़ा हुआ है।
उन्होंने इसे कैसे किया, इसके लिए एक सरल उपमा (analogy) का उपयोग किया है: कल्पना कीजिए कि AI मस्तिष्क एक विशाल शहर है जिसमें दो प्रकार की इमारतें हैं: अटेंशन टावर्स (जो AI को विशिष्ट शब्दों पर ध्यान केंद्रित करने में मदद करते हैं) और FFN फैक्ट्रियां (जो उन शब्दों को प्रोसेस और समझते हैं)।
- पुराना तरीका ("नोड-फर्स्ट" की गलती): पारंपरिक तरीके शहर में घूमते थे, प्रत्येक इमारत की व्यक्तिगत रूप से जाँच करते थे, और कहते थे, "यह टावर थोड़ा खाली लग रहा है, चलो इसे गिरा देते हैं," या "यह फैक्ट्री धीमी लग रही है, चलो इसे बंद कर देते हैं।" उन्होंने माना कि कुछ खाली इमारतों को गिराने से शहर को नुकसान नहीं होगा। लेकिन वे इस तथ्य को भूल गए कि कुछ "खाली" टावर वास्तव में दो व्यस्त फैक्ट्रियों को जोड़ने वाले एकमात्र पुल थे। उन्हें गिराने से ट्रैफिक जाम हो गया जिससे पूरा शहर रुक गया।
- CoCurve का तरीका: CoCurve केवल इमारतों की जाँच नहीं करता है; यह उनके बीच के पुलों की जाँच करता है। यह एक चतुर गणितीय ट्रिक (एक "KL डाइवर्जेंस" का सेकंड-ऑर्डर टेलर एक्सपेंशन, जो कि एक फैंसी तरीका है यह मापने का कि किसी हिस्से को छिपाने पर AI के उत्तर कितने बदलते हैं) का उपयोग करता है ताकि शहर का नक्शा बनाया जा सके।
- इस नक्शे पर, डायगोनल (विकर्ण) यह दिखाता है कि एक अकेली इमारत अपने आप में कितनी महत्वपूर्ण है (पुरानी विधि की तरह)।
- ऑफ-डायगोनल रेखाएं "को-प्रूनिंग कर्वेचर" दिखाती हैं। यह वह अतिरिक्त नुकसान है जो तब होता है जब आप दो विशिष्ट इमारतों को एक साथ गिरा देते हैं। यह प्रकट करता है कि कभी-कभी, दो कमजोर इमारतें वास्तव में एक बहुत मजबूत टीम होती हैं, और आपको उन दोनों को रखना चाहिए।
जादुई ट्रिक: बिना ट्रेनिंग के
आमतौर पर, इन कनेक्शनों को समझने के लिए बहुत अधिक मेहनत की आवश्यकता होती है, जैसे AI को फिर से ट्रेन करना या लाखों परीक्षण चलाना। लेकिन CoCurve एक "ट्रेनिंग-फ्री" विधि है। यह एक 'वन-शॉट' जादुई ट्रिक की तरह है।
- शोधकर्ता टेक्स्ट का एक छोटा, बिना लेबल वाला नमूना लेते हैं (जैसे एक किताब के कुछ पन्ने)।
- वे इस टेक्स्ट के माध्यम से AI को चलाते हैं, लेकिन वे एक बार में एक इमारत को "मास्क" (छिपा) देते हैं ताकि देखते सकें कि AI के उत्तर कैसे बदलते हैं।
- एक चतुर गणितीय शॉर्टकट (ग्राम प्रोडक्ट) का उपयोग करके, वे केवल इन एकल परीक्षणों से कनेक्शनों का पूरा नक्शा बना सकते हैं। उन्हें इमारतों के हर संभावित जोड़े का परीक्षण करने की आवश्यकता नहीं है (जिसमें बहुत समय लगेगा), और न ही उन्हें AI के वेट्स (weights) को अपडेट करने की आवश्यकता है। यह सब एक ही बार में हो जाता है।
उन्होंने क्या पाया
टीम ने चार अलग-अलग AI मॉडल्स पर Co-Curve का परीक्षण किया, जो 3 बिलियन से 24 बिलियन पैरामीटर्स तक के थे। उन्होंने इसकी तुलना नौ अन्य लोकप्रिय प्रूनिंग विधियों से की।
- परिणाम: CoCurve ने लगातार अन्य तरीकों को पछाड़ दिया। इसने AI को स्मार्ट और सक्षम बनाए रखा, विशेष रूप से कोडिंग या गणित हल करने जैसे कठिन कार्यों पर, जहाँ अन्य तरीके अक्सर AI को "कोलैप्स" (बिखरने) और पूरी तरह विफल होने पर मजबूर कर देते हैं।
- बड़ी जीत: एक विशाल 24-बिलियन-पैरामीटर वाले मॉडल पर, जब उन्होंने मस्तिष्क के 40% हिस्से को हटा दिया, तो CoCurve अगले शब्द की भविष्यवाणी करने में (परप्लेक्सिटी नामक एक माप) अगले-सर्वश्रेष्ठ तरीके की तुलना में 14.5 गुना बेहतर था।
- "ब्रिज" की खोज: शोध पत्र ने साबित किया कि लाभ केवल "सबसे अच्छे" भवनों को खोजने से नहीं आया। लाभ विशेष रूप से क्रॉस-मॉड्यूल एजेस से आया—यानी अटेंशन टावर्स और FFN फैक्ट्रियों के बीच के कनेक्शनों से। जब उन्होंने इन कनेक्शनों को गणित से हटा दिया, तो विधि का प्रदर्शन बहुत खराब हो गया, जिससे साबित हुआ कि ये छिपे हुए पुल ही असली "सीक्रेट सॉस" हैं।
यह कब काम करता है?
शोधकर्ताओं ने यह भी पाया कि यह जासूसी कार्य कब सबसे उपयोगी है। यदि किसी मॉडल में बहुत अधिक रेडंडेंट (अतिरिक्त) इमारतें हैं (जैसे एक शहर जिसमें 100 समान फैक्ट्रियां हैं जो एक ही काम करती हैं), तो कनेक्शनों का नक्शा शोर भरा और भ्रमित करने वाला हो जाता है। ऐसे मामलों में, Co-Curve के पास एक "सेफ्टी स्विच" (डैम्पिंग फैक्टर) है जो जटिल ब्रिज-मैपिंग को बंद कर देता है और बस सरल "प्रत्येक इमारत की जाँच करने" वाले तरीके पर टिक जाता है। यह सुनिश्चित करता है कि यह उन मॉडल्स पर भी स्थिति को बदतर न बनाए जहाँ कनेक्शन इतने महत्वपूर्ण नहीं हैं।
निष्कर्ष
CoCurve गेम बदल देता है क्योंकि यह हमें सिखाता है कि एक जटिल AI मस्तिष्क में, आप केवल नोड्स (हिस्सों) को ही नहीं काट सकते, बल्कि आपको एजेस (कनेक्शनों) को भी काटना होगा। AI के विभिन्न हिस्सों के बीच के छिपे हुए टीम वर्क का सम्मान करके, Co-Curve छोटे, तेज़ मॉडल बनाता है जो अपनी बुद्धिमत्ता नहीं खोते हैं। यह फिल्म को एडिट करने का एक स्मार्ट तरीका है, यह सुनिश्चित करता है कि रनटाइम आधा होने के बावजूद कहानी बरकरार रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।