CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search
यह शोधपत्र CRePE को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग प्रूनिंग विधि है जो 2D स्थानीय संदर्भ और अनुकूली गुणांकों के साथ सापेक्ष महत्व स्कोरिंग को बेहतर बनाता है, और PHO का प्रस्ताव करता है जो घंटों के बजाय मिनटों में इन हाइपरपैरामीटरों को कुशलतापूर्वक अनुकूलित करता है, जिससे विविध मॉडलों और स्पर्सिटी सेटिंग्स में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो लगभग सब कुछ जानता है। समस्या यह है कि यह पुस्तकालय इतना बड़ा है कि यह एक पूरे गोदाम में समा जाता है और एक अकेली किताब खोजने के लिए भी पुस्तकालयों की एक विशाल टीम की आवश्यकता होती है। आप इसे इस तरह छोटा करना चाहते हैं कि यह एक बैकपैक में फिट हो जाए, लेकिन इसकी अच्छी कहानियाँ सुनाने या सवालों के जवाब देने की क्षमता कम न हो।
यह पेपर CRePE नामक एक नया तरीका पेश करता है जो इन पुस्तकालयों को छोटा करने में मदद करता है, साथ ही इसे करने का सबसे अच्छा तरीका खोजने का एक सुपर-फास्ट तरीका भी बताता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "एक-आयामी" (One-Dimensional) गलती
पिछले तरीकों ने यह तय करने की कोशिश की कि किन किताबों (weights) को फेंक दिया जाए, लेकिन उन्होंने उन्हें बहुत ही सरल तरीके से देखा। कल्पना कीजिए कि एक लाइब्रेरियन एक बुकशेल्फ़ को देख रहा है।
- पुराना तरीका (RIA): लाइब्रेरियन केवल रो (row) (वह शेल्फ जिस पर किताब रखी है) और कॉलम (column) (किताबों का वह ऊर्ध्वाधर ढेर जो ऊपर और नीचे है) को देखता है। वह एक किताब को महत्वपूर्ण तब मानता है जब उसके पास उन सीधी रेखाओं में कई पड़ोसी हों।
- दोष: यह एक किताब के महत्व को केवल उसके बाएं/दाएं और ऊपर/नीचे के पड़ोसियों से आंकने जैसा है। लेकिन किताबें अपने विकर्ण (diagonally) बगल वाली किताबों से भी प्रभावित होती हैं। साथ ही, पुराने तरीके ने "रो" और "कॉलम" को समान रूप से महत्वपूर्ण माना, लेकिन लेखकों ने पाया कि रो (rows) को देखने से कॉलम की तुलना में अधिक मदद मिलती है।
2. समाधान: CRePE (द "2D नेबरहुड" लाइब्रेरियन)
लेखकों ने CRePE बनाया है, जो एक स्मार्ट लाइब्रेरियन है जो 2D नेबरहुड (2D Neighborhood) दृष्टिकोण का उपयोग करता है।
- आस-पास देखना: केवल ऊपर, नीचे, बाएँ और दाएँ देखने के बजाय, CRePE एक विशिष्ट पुस्तक के चारों ओर किताबों के पूरे छोटे वर्ग (जैसे कि 3x3 या 5x5 ग्रिड) को देखता है। यह समझता है कि एक किताब का मूल्य उसके पूरे स्थानीय पड़ोस से प्रभावित होता है, न कि केवल एक क्रॉस आकार से।
- अनुकूली भार (Adaptive Weights): CReSE यह भी समझता है कि कुछ दिशाएं अधिक महत्वपूर्ण होती हैं। यह "समायोज्य नॉब्स" (adjustable knobs/coefficients) का उपयोग करता है ताकि यह तय किया जा सके कि रो, कॉलम और विकर्ण पड़ोसियों पर कितना भरोसा करना है। यह उन सभी के साथ एक जैसा व्यवहार नहीं करता; यह सीखता है कि पुस्तकालय के ज्ञान को सुरक्षित रखने के लिए कौन सी दिशा सबसे महत्वपूर्ण है।
परिणाम: इस स्मार्ट, 2D दृश्य का उपयोग करके, CRePE पुस्तकालय की बुद्धिमत्ता को पुराने तरीकों की तुलना में बहुत बेहतर बनाए रखता है, भले ही आधी किताबें फेंक दी गई हों।
3. गति की समस्या: "टेस्ट टेस्ट" (Taste Test) की बाधा
एक पेच था। उन "समायोज्य नॉब्स" के लिए सही सेटिंग्स खोजने के लिए, पुराने तरीके में लाइब्रेरियन को वास्तव में पुस्तकालय को छोटा करना पड़ता था, यह परीक्षण करना पड़ता था कि यह कैसा काम करता है (एक परीक्षण पुस्तक पढ़कर), और फिर से प्रयास करना पड़ता था।
- पुराना तरीका: एक बड़े पुस्तकालय के लिए इस "टेस्ट टेस्ट" में लगभग 11 घंटे लगते थे। यह तो तेज़ और कुशल होने के उद्देश्य को ही विफल कर देता है!
4. समाधान: PHO (द "क्रिस्टल बॉल" शॉर्टकट)
गति की समस्या को हल करने के लिए, लेखकों ने PHO (प्रॉक्सी-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन) का आविष्कार किया।
- अंतर्दृष्टि: उन्होंने एक "क्रिस्टल बॉल" मीट्रिक खोजा जिसे गिनी कोएफिशिएंट (Gini Coefficient) कहा जाता है। पूरे पुस्तकालय का परीक्षण करने के बजाय, उन्होंने केवल पहली शेल्फ के पहले हिस्से (मॉडल की पहली लेयर) को देखा।
- जादू: उन्होंने पाया कि इस बहुत छोटे हिस्से में स्कोर की "असमानता" (Gini coefficient), पूरे पुस्तकालय के प्रदर्शन के साथ लगभग पूरी तरह से सह-संबंधित (95% मैच) है।
- परिणाम: पूरे 11 घंटे के पूर्ण परीक्षण के बजाय, PHO केवल उस एक छोटे से हिस्से पर एक त्वरित सिमुलेशन चलाता है। यह लगभग 20 मिनट में सर्वोत्तम सेटिंग्स ढूंढ लेता है। यह 30 गुना तेज़ है।
5. क्या यह हर जगह काम करता है?
लेखकों ने CReSE का परीक्षण कई अलग-अलग "पुस्तकालयों" (LLaMA, Qwen, Phi, और DeepSeek जैसे मॉडल) और उन्हें छोटा करने के विभिन्न तरीकों (रैंडम कटिंग बनाम स्ट्रक्चर्ड 2:4 पैटर्न) पर किया।
- लगातार विजेता: CReSE ने लगातार पिछले सर्वश्रेष्ठ तरीकों को पछाड़ दिया।
- मिक्स एंड मैच: यह एक यूनिवर्सल एडेप्टर की तरह काम करता है। आप CReSE को अन्य ट्रिक्स (जैसे किताबों का क्रम बदलना या बाद में लाइब्रेरी को फिर से काटना) के साथ मिलाकर इसे और भी बेहतर बना सकते हैं।
- एक खोज, कई मॉडल: यदि आप एक छोटे पुस्तकालय (LLaMA-7B) के लिए सही सेटिंग्स पा लेते हैं, तो वे समान सेटिंग्स बिना दोबारा खोज किए एक बड़े पुस्तकालय (LLaMA-13B) के लिए भी बेहतरीन काम करती हैं।
सारांश
- CReSE यह तय करने का एक स्मार्ट तरीका है कि AI के किन हिस्सों को काटा जाए, जो डेटा के क्रॉस आकार के बजाय उसके 2D नेबरहुड को देखता है।
- PHO एक तेज़ खोज उपकरण है जो सर्वोत्तम सेटिंग्स खोजने के लिए एक छोटे "प्रॉक्सी" परीक्षण का उपयोग करता है, जो 11 घंटे के बजाय 20 मिनट में काम पूरा करता है।
- मिलकर, वे AI मॉडल्स को छोटा करने के तरीके को तेज़ और स्मार्ट बनाते हैं, जिससे AI का "दिमाग" बरकरार रहता है जबकि वह बहुत छोटा हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।